Nuestro cliente es una importante institución financiera de Panamá, caracterizada por contar con una trayectoria de más de 15 años en el país que la ha consolidado como uno de los principales bancos de licencia general. Ofrece una amplia gama de productos y servicios financieros, tanto para personas naturales como para empresas.
A la fecha, cuenta con una red de sucursales en diversas ubicaciones estratégicas, incluyendo la Ciudad de Panamá y otras áreas clave y continúa expandiendo su presencia a través de canales digitales para llegar a un mayor número de clientes en todo el territorio panameño.
Dentro de su visión estratégica, está la meta de fortalecer su liderazgo en el sector, innovando constantemente en su oferta de valor y optimizando la experiencia del cliente.
Actualmente, esta institución cuenta con múltiples canales de atención para sus clientes: su red de sucursales físicas, una plataforma de banca en línea para individuos y empresas, una aplicación móvil robusta y diversos centros de contacto telefónico.
A través de su plataforma digital, el banco registra un alto número de transacciones mensuales y tiene como objetivo seguir impulsando su crecimiento a través de la digitalización de sus servicios y la implementación de soluciones tecnológicas que faciliten las operaciones de sus clientes. Además, la compañía atiende a un gran número de clientes activos anualmente, consolidando su posición en el mercado bancario panameño.
¿Por qué la modernización de su Data Warehouse era una prioridad?
Para nuestro cliente es crucial contar con una plataforma de datos que soporte la toma de decisiones estratégicas y potencie su competitividad en el sector financiero. Antes de este proyecto, la compañía enfrentaba el desafío de su Data Warehouse (DWH) local, que operaba con tecnologías tradicionales de Microsoft SQL Server 2019.
Esta infraestructura limitaba la escalabilidad y flexibilidad, lo que impedía una gestión de datos ágil y eficiente. La dispersión de datos y la falta de un Almacén de Datos Organizacional (ODS) generaban procesos ETL ineficientes y dificultaban la implementación de prácticas sólidas de gobernanza y calidad de los datos.
Si no se abordaba este desafío, el cliente se arriesgaba a una limitada capacidad de análisis y a una desventaja competitiva en el mercado financiero. La complejidad de la gestión de datos replicados y la dependencia de tecnologías propietarias como Microsoft SQL Server y SQL Server Integration Services (SSIS) aumentaban los riesgos de errores, dificultaban la interoperabilidad y limitaban la capacidad de análisis avanzado.
La falta de un ciclo de vida de desarrollo formal para los ETLs y la ausencia de prácticas de versionamiento podrían llevar a problemas de mantenimiento, calidad y escalabilidad a largo plazo. Además, la carencia de controles de seguridad y acceso adecuados en la capa de visualización de datos presentaba un riesgo para la protección de información confidencial.
La migración a una arquitectura Data Lakehouse en AWS fue la solución propuesta para modernizar y optimizar la plataforma de datos del cliente. Esta iniciativa buscaba transformar la infraestructura actual del DWH on-premise hacia una arquitectura más ágil, escalable y eficiente, aprovechando las capacidades de la nube.
La solución incluye el uso de Amazon S3 para el almacenamiento de datos brutos y por etapas, así como Amazon Redshift Serverless para el análisis y los Data Marts curados. Se involucra AWS Glue para los pipelines de ETL/ELT y AWS Glue Data Catalog para la gestión de metadatos.
Con estas herramientas, se busca integrar datos de diversas fuentes y garantizar su calidad, seguridad y consistencia para apoyar la toma de decisiones estratégicas y fortalecer la posición del banco en el mercado.
¿Cómo abordamos esta modernización?
Para abordar este desafío, el equipo de Pragma planificó una serie de pasos que han permitido entregar valor en etapas tempranas. En primer lugar, se llevó a cabo una fase de descubrimiento y diagnóstico para comprender la visión estratégica del cliente, la arquitectura de datos existente (as-is) y las necesidades clave del negocio.
Gran parte de la estrategia del cliente se encontraba encapsulada en un conjunto de Datamarts orientados a atender las necesidades de diferentes dominios de la organización, lo que nos llevó a estructurar un plan de migración basado en olas. Al priorizar el modelo dimensional según criterios regulatorios y de negocio, pudimos enfocar nuestros esfuerzos en la reutilización parcial del modelo a medida que la información era migrada, lo que nos permitió acortar tiempos de implementación y migración de los datos.
A través de un análisis preliminar, se identificaron los puntos débiles de la arquitectura on-premise, como la falta de una capa ODS y los procesos ETL ineficientes. Se determinaron los objetivos del proyecto, que incluían la migración y modernización del Data Warehouse (DWH) hacia AWS, así como la mejora de la seguridad, la optimización de costos y la capacidad de análisis.
Con una visión clara de los objetivos, se propuso la construcción de un Enterprise Data Lakehouse en AWS. Esta arquitectura moderna permite integrar datos de diversas fuentes de manera segura, rentable y tolerante a fallos, lo que es fundamental para una organización que aspira a ser orientada a los datos (Data-Driven). La solución se diseñó con un enfoque de almacenamiento híbrido, combinando la flexibilidad de un Data Lake con las capacidades de un Data Warehouse analítico.
Nuestro impacto: outcomes de nuestra gestión
- S3 fue establecido como el repositorio central, proporcionando escalabilidad, durabilidad y un acceso a datos más flexible.
- El almacén de datos fue modernizado con Amazon Redshift, aprovechando sus capacidades de procesamiento analítico y la integración con el lago de datos a través de Redshift Spectrum.
- Los procesos ETL fueron automatizados con AWS Glue, reemplazando los ETL desarrollados en SQL Server Integration Services con flujos de trabajo automatizados y gestionados en AWS Glue, lo que mejoró la eficiencia y la mantenibilidad de los procesos de integración de datos.
- Mediante la implementación de un Data Warehouse, se potenció la inteligencia de negocios al proporcionar datos limpios y filtrados a partir del catálogo de Glue y Amazon Athena.
- La configuración del Data Lakehouse empresarial permitió establecer las bases para la construcción de un sistema de visión 360, consolidando información de múltiples fuentes, entre estructuradas y no estructuradas, que le permiten hoy al banco desarrollar sistemas de reportería más robustos y en tiempo real.
¿Cómo se usa AWS dentro de la solución?
La solución propuesta se basa en una serie de servicios clave de AWS que fueron entregados bajo un marco de mejores prácticas para garantizar la agilidad, seguridad y eficiencia:
- Amazon S3 (Simple Storage Service): Se utilizó como la capa de almacenamiento principal para el Data Lake. En S3 se almacenan los datos sin procesar (Raw) y los datos por etapas (Staged), lo que proporciona una base escalable y rentable para la solución de datos.
- Amazon Redshift Serverless: Este servicio se eligió como el Data Warehouse analítico. Al ser serverless, permite a nuestro cliente analizar conjuntos de datos curados y Data Marts sin necesidad de gestionar servidores, lo que optimiza los costos y el mantenimiento.
- AWS Glue: Este servicio se implementó para la ingesta y transformación de datos.
AWS Glue se encarga de los pipelines de ETL/ELT (Extracción, Transformación y Carga) para procesar los datos provenientes de las fuentes on-premise. Además, su componente Glue Data Catalog se utiliza para la gestión de metadatos, lo que es crucial para la gobernanza de datos.
- Amazon Athena: Este motor de consultas se integró para permitir consultas ad-hoc directamente sobre los datos almacenados en S3. Esto facilita la exploración de datos sin necesidad de cargarlos en un almacén de datos tradicional, brindando flexibilidad y eficiencia a los usuarios de negocio.
- AWS Lake Formation: La gobernanza y el control de acceso se gestionan a través de AWS Lake Formation, que proporciona un control de acceso centralizado y detallado sobre los datos del Data Lake.
- AWS DataSync: Se utilizó este servicio para la migración de grandes conjuntos de datos desde la infraestructura on-premise hacia la nube de AWS.
Estos servicios se entregaron con un enfoque en la automatización y las mejores prácticas. Se adoptaron prácticas de DevOps con Infraestructura como Código (IaC), utilizando CloudFormation y canalizaciones de CI/CD (Integración Continua/Entrega Continua) con CodeCommit y CodePipeline.
La calidad de los datos se aseguró con la integración de Great Expectations para la validación y el monitoreo y las alertas se gestionaron a través de Amazon CloudWatch y CloudTrail, junto con la integración de Elastic para la observabilidad integral. Este modelo de entrega permitió al cliente obtener una solución robusta, segura y alineada con los principios de la arquitectura bien diseñada de AWS.
