Arquitectura de datos para banca centroamericana: una guía al éxito

Muchas empresas del sector financiero de Centroamérica tienen a su disposición una gran cantidad de fuentes de datos que sin duda, son un recurso clave para alcanzar sus objetivos de negocio. A pesar de esto, aprovechar el verdadero potencial de este recurso requiere el diseño e implementación de una  arquitectura de datos que responda a las necesidades particulares de cada organización. 

A lo largo de los años, en Pragma hemos ofrecido servicios integrales que abarcan desde la consultoría y el diseño hasta la implementación y el soporte de soluciones de datos creadas a la medida. Gracias a esta experiencia, hemos identificado algunos desafíos que las empresas centroamericanas enfrentan cuando buscan obtener más valor de sus datos:

• Falta de una estrategia de datos clara: Muchas empresas no cuentan con una estrategia integral de datos que guíe sus esfuerzos de gestión y análisis de datos.
• Datos fragmentados y dispares: Los datos a menudo se encuentran dispersos en múltiples sistemas y formatos, lo que dificulta su integración y gestión centralizada.
• Baja calidad de datos: La calidad de los datos es variable, con problemas como duplicidad, errores y falta de coherencia, lo que afecta la fiabilidad de los análisis y decisiones basadas en datos.
• Regulación y cumplimiento: Las empresas deben cumplir con las regulaciones y requisitos de cumplimiento relacionados con la gestión y protección de datos.
• Infraestructura tecnológica inadecuada: La infraestructura existente no puede gestionarlos datos eficientemente, lo que puede requerir inversiones significativas en nuevas herramientas y plataformas.

Muchos de estos retos se pueden resolver con una arquitectura de datos adecuada alineada a un modelo de gobierno de datos integral. 

Un ejemplo muy claro de lo anterior se puede ver en uno de nuestros casos de éxitos recientes, en el que, a través del Data Warehousing estratégico logramos que uno de los neo bancos más importantes de la región pudiera acelerar la generación de reportes e instaura un gobierno riguroso de sus datos, lo que a su vez le permitió automatizarlos procesos de generación y transmisión de reportes legales para gremios y fondos de garantías. 

A continuación abordaremos algunos conceptos y casos de uso que pueden ayudarte a entender cuál es la mejor arquitectura de datos para las necesidades de tu organización.

¿Qué es una arquitectura de datos?

Las arquitecturas de datos son un conjunto de principios, reglas y prácticas que nos ofrecen una base sólida para recopilar, almacenar, procesar y analizar datos, lo que facilita la toma de decisiones informadas, mejora la eficiencia operativa y promueve la innovación. Además, ayuda a la organización a ser más competitiva, a brindar mejores experiencias a los clientes y a cumplir con los requisitos normativos.

Una buena arquitectura de datos no solo va a influir en el grado de confianza que podemos tener respecto a la data que está disponible; también es fundamental para acceder a los beneficios del análisis avanzado de datos o para implementar soluciones basadas en Inteligencia Artificial, una tecnología con muchas aplicaciones tanto para la banca como para el Retail.  

Adicionalmente, la arquitectura de datos también juega un papel fundamental cuando se trata de mejorar la calidad de la información pues elimina silos, evita problemas de redundancia y facilita la integración con nuevos componentes y aplicaciones, en el mediano y corto plazo.

¿Qué arquitectura de datos funciona mejor para mi empresa?

Determinar la mejor arquitectura de datos para una empresa depende de varios factores, como sus objetivos comerciales, el volumen y la variedad de datos que maneja, sus recursos tecnológicos y humanos disponibles, así como las regulaciones y requisitos de cumplimiento normativo a los que está sujeta. 

No hay una sola respuesta que se aplique a todas las empresas, ya que cada organización tiene necesidades y circunstancias únicas.

Existen varios tipos de arquitecturas de datos, cada una con sus propias características y enfoques. Algunos de los tipos más comunes son: Centralizadas, Distribuidas, Orientada a Servicios (SOA), Orientada a Eventos y Orientada a Microservicios. Ahora bien, cuando se habla de almacenar, integrar, analizar y gestionar los datos en entornos empresariales, es importante saber la diferencia entre un Data Lake, Data Warehouse, Data Lakehouse,  Data Fabric y Data Mesh.

Data Lake 

Un Data Lake es un repositorio de datos que permite almacenar y consolidar grandes volúmenes de datos en su formato original, ya sean estructurados, semiestructurados o no estructurados

En otros artículos hemos hablado de herramientas que pueden simplificar la creación y el gobierno de data lakes, como Amazon Lake Formation o S3, pero es importante recordar que la nube también es responsable de que este tipo de repositorios sean escalables y permitan la exploración de datos de múltiples fuentes y formatos. 

Los data lakes son perfectos para organizaciones interesadas en:

• Centralizar sus datos porque permiten la creación de procesos de ingesta de datos que unifican todas las fuentes de información.
• Aprovechar herramientas de visualización de datos.  
• Compartir los insights del análisis en distintas unidades de negocio.
• Implementar modelos avanzados de Machine Learning. 

Data Warehouse (DWH)

En contraste con lo anterior, un Data Warehouse es un repositorio centralizado que almacena datos estructurados y optimizados para el análisis. Gracias a ellos se puede tener:

• Un punto de acceso único para crear informes. 
• Una visión unificada de los usuarios que tenga en cuenta su comportamiento en todos los puntos de contacto con la empresa.

Otro de nuestros casos de éxito es Puntos Colombia, un negocio de fidelización formado por el banco y las empresas de retail más grandes del país. En Puntos Colombia, se empezó creando un Data Lake que después  habilitó la creación de un Data Warehouse.  Hoy reciben la información de más 12.000 empresas y más de 6.3 millones de usuarios y han logrado mejorar la segmentación y generación de insights gracias a la analítica avanzada. 

Data Lakehouse

Por su parte, un Data Lake House es una plataforma de gestión de datos que combina las características de un data lake y un data warehouse. 

Esta arquitectura proporciona almacenamiento flexible y escalable para datos sin procesar, al mismo tiempo que admite estructuras de datos definidas y capacidades de consulta analítica. 

Al combinar al Data Lake y al Data Warehouse en una sola estructura, las empresas pueden obtener: 

• Almacenamiento a bajo costo para todos los tipos de datos.
• Formatos estandarizados de almacenamiento.
• Funciones de administración.
• Transferencia y generación de estadísticas en tiempo real.
• Compatibilidad con transacciones y recursos de procesamiento escalables.

En el mundo, entidades financieras como Capital One y JPMorgan Chase han optado por utilizar este tipo de arquitectura de datos para almacenar y analizar sus datos. 

Data Fabric

Ahora bien, si lo que se busca  es un enfoque de integración de datos que proporcione una capa de abstracción sobre los datos y servicios de datos subyacentes una arquitectura de datos Data Fabric sería la mejor opción, ya que permite a las organizaciones acceder, integrar y utilizar datos de diversas fuentes de forma coherente y segura. 

De hecho una arquitectura de datos Data Fabric puede ser más adecuada para:

• Bancos que necesitan un control estricto sobre sus datos.
• Instituciones financieras que requieren una gobernanza centralizada y una integración de datos a gran escala. 

Data Mesh

Finalmente un Data Mesh es una arquitectura de datos distribuida que se enfoca en la descentralización y la autonomía de los equipos de datos. En un Data Mesh, los datos son tratados como productos y cada dominio de datos es propiedad, gestionado  y gobernado por equipos específicos. Esto permite una mayor agilidad y escalabilidad en la gestión de datos, ya que los equipos pueden iterar y evolucionar sus productos de datos de manera independiente.

Este tipo de arquitectura es recomendable para:

• Bancos en rápido crecimiento.
• Bancos con una cultura de datos madura.
• Bancos que ya cuentan con un arquitectura de datos moderna, es decir ya cuenta con Data Lakes, DWH y plataformas de integración de datos. 

Es importante tener en cuenta que la migración a un Data Mesh puede ser un proceso complejo y que requiere tiempo, por eso es importante evaluar cuidadosamente sus necesidades, las capacidades y el mejor aliado antes de tomar la decisión de migrar.

Para conocer un poco más sobre la experiencia de Pragma implementando este tipo de arquitecturas y las metodologías propias que hemos desarrollado con cada proyecto para mejorar tanto la arquitectura, como el gobierno y el análisis de datos, te invitamos a leer más sobre nuestra competencia en data y analítica de AWS. 

¿Buscas un aliado para llevar al siguiente nivel la madurez analítica de tu organización?