Data Lake en AWS para la gestión de datos en Dislicores

Dislicores es una empresa Colombiana, fundada en 1956. Se ha consolidado como uno de los principales distribuidores de vinos, licores, tequilas, cervezas y bebidas no alcohólicas. A la fecha Dislicores cuenta con 50 tiendas ubicadas en ciudades como Medellín, Bogotá, Rionegro, Cali, Bucaramanga, Ibagué, Barranquilla, Cartagena, Santa Marta, Valledupar, Montería y Pereira. Dislicores espera tener una expansión más fuerte en los próximos meses en Bogotá, Armenia y Cartagena, entre otros territorios colombianos. Dentro de su visión estratégica está el plan de internacionalización el cual espera llegar a diferentes países de centro y sur américa con los centros de experiencia - Dislicores Store.

Actualmente, Dislicores cuenta con cinco canales de venta: Tiendas físicas, apps, ecommerce a través de su página web www.dislicores.com, además tiene una línea de WhatsApp para domicilios y líneas telefónicas nacionales y un botón para compras por Rappi con atención las 24 horas del día en algunas ciudades.
En su plataforma online, Dislicores tiene al mes más de 69.000 visitantes y una de sus apuestas es continuar creciendo gracias a sus programas de fidelización. Además, la compañía cuenta con más de 39.000 clientes al año.

¿Cuál fue el reto?

Para una compañía con presencia nacional como Dislicores, es de suma importancia contar con información de calidad y oportuna para la correcta operación de sus procesos de comercialización y distribución. Antes de la implementación del data lake, la compañía tenía dificultades para tener una vista única de sus clientes en los negocios B2B y B2C, debido a que los datos se encontraban dispersos entre distintos sistemas on-premise y archivos generados por las distintas áreas de la empresa.

Después de la implementación del data lake, la empresa logró establecer un repositorio centralizado con datos de calidad que incluía atributos como completitud, consistencia y confiabilidad. Esta iniciativa permitió la creación de una vista única de clientes, el desarrollo de estrategias de ventas basadas en datos y una mejora significativa en la gestión de relaciones con los clientes, adaptada a sus perfiles individuales.

Dentro de estas estrategias se incluyeron la creación de diversos modelos de segmentación, la ejecución y seguimiento de campañas a través de canales digitales, así como la monitorización de indicadores clave mediante tableros de negocio.

¿Cómo lo resolvimos?

Para dar respuesta a las necesidades de nuestro cliente, desde Pragma realizamos un abordaje estratégico sobre estas problemáticas, en primer lugar teniendo un mayor entendimiento sobre el negocio, a través de distintas sesiones de trabajo se delimitó el alcance de la solución a implementar y se establecieron objetivos claros, medibles y alcanzables a lograr con el desarrollo.

Una vez se establecieron los objetivos, los equipos técnicos de ambas compañías debieron sintonizar esfuerzos en pro de entender la arquitectura actual de los distintos aplicativos que serían la fuente de información, así como las reglas de negocio y de calidad claves a la hora de transformar los datos y extraer la información que el negocio necesitaba.

Teniendo una visión clara de la operación del cliente, desde Pragma se realiza la propuesta de arquitectura de datos para el data lake, contemplando las mejores prácticas del mercado para este tipo de soluciones y alineado con la necesidad del cliente, dada nuestra experiencia como Partner de AWS en el desarrollo de soluciones cloud, se propuso al cliente una arquitectura con múltiples componentes tipo serverless tales como Amazon S3, Glue, Lambda y Athena, que permiten al cliente tener flexibilidad en tanto a los costos con un modelo pay as you go, a la vez que se libera capacidad en el equipo de TI gracias a la reducción de tareas de administración y mantenimiento de servidores on-premise.

Como resultado final del proceso se entregó al cliente un data lake con los procesos ETL requeridos para la carga y transformación de datos desde sus sistemas on premise, un data warehouse con un modelo dimensional con la información clave para tener la visión 360 que requería la compañía para sus procesos de  fidelización y segmentación de clientes de los negocios B2B y B2C. 

Nuestro impacto: OUTCOMES

Para resolver este reto nos apoyamos de los siguientes servicios de AWS:

• Se logró implementar un data lake como la principal fuente de datos de la organización, lo que también condujo a establecer principios y mejores prácticas de arquitectura y gobierno de datos en Dislicores.

• La creación de una vista unificada de clientes sentó los cimientos para desarrollar un sistema CRM que facilita la retención y atracción de clientes.

• La consolidación de datos esenciales de los clientes en un sistema centralizado mejoró la disponibilidad oportuna de información en un 80%.

• Mediante la implementación de un data warehouse, se potenció la inteligencia de negocios al proporcionar datos limpios y filtrados a partir del catálogo de Glue y Amazon Athena.

• A partir de la consolidación de datos en un repositorio único y la automatización de procesos se optimizó la generación de indicadores clave para el negocio, pasando de varios días a solo algunas horas. Esto aceleró la toma de decisiones estratégicas basadas en información clave de la empresa, como ventas, promociones y canales, ahora accesible desde una única fuente centralizada.

Como se utiliza AWS como parte de la solución

Para abordar el reto de consolidar la información de múltiples sistemas, variedad de formatos y volúmenes importantes de información, la arquitectura propuesta contempló el uso del servicio Amazon S3 para la implementación del data lake, al ser un servicio costo eficiente, confiable y altamente escalable, era la opción adecuada para la necesidad de Dislicores.

A continuación mencionamos los principales servicios que hicieron parte de la solución y de qué manera estos aportaron a la construcción del Data Lake:

• Amazon S3: Es un servicio de almacenamiento de objetos que ofrece un almacenamiento seguro, duradero y escalable para todo tipo de datos. Debido a que puede usarse para almacenar documentos, fotos, videos, y cualquier otro tipo de archivo, es la solución perfecta para implementar un data lake.
• Amazon Athena: Amazon Athena es un servicio de análisis de datos que permite buscar y analizar datos almacenados en Amazon S3 sin necesidad de configurar una base de datos dedicada. Para el caso de Dislicores el uso de este servicio permitió implementar un datawarehouse moderno con un excelente performance, en donde solo se paga por la cantidad de datos escaneados, el poder de procesamiento va por cuenta de AWS.
• AWS Glue: Es un servicio de ETL (Extract, Transform, Load) completamente administrado que facilita las tareas de mover, transformar y preparar datos para su análisis. Dentro del data lake implementado, el catálogo de datos que provee Glue es clave para ordenar, catalogar y consultar toda la información almacenada en Amazon S3.
• AWS Lambda: Servicio de cómputo sin servidor que permite ejecutar código en respuesta a eventos. AWS Lambda puede ejecutar código sin necesidad de aprovisionar y administrar servidores. Dentro de la solución implementada, Lambda juega un papel importante en los procesos de transformación de datos ya que permite transformar y transportar la información a través de las distintas capas del data lake de manera costo eficiente.
• AWS Step Functions: Es un servicio que permite crear flujos de trabajo (workflows) visuales para coordinar tareas y servicios en las aplicaciones desplegadas sobre AWS. Para el caso de Dislicores se utilizó como herramienta de orquestación para las distintas tareas de transformación y transporte de datos, ya que funciona de manera perfecta en conjunto con Lambda.
• Amazon EventBridge: Este servicio permite conectar y enrutar eventos entre diferentes servicios de AWS y aplicaciones externas, así como programar la ejecución de tareas con base a las reglas o lógicas definidas por el negocio. Dentro del data lake tiene la función de disparar la ejecución de los procesos de carga, actualización y transformación de datos dentro de los tiempos y periodicidad requeridos por el cliente.
  

Inicio, finalización y producción.

Inicio: 01/07/2021
Finalización: El proyecto se encuentra vigente
Producción:31/12/2021