Cómo construir un data lake

Resumen

La importancia de un Data Lake en la analítica de datos se convierte en el tema central de esta conversación con David García, Head of Data de Laboratorios ISDIN. A través de su experiencia, se exploran los desafíos y beneficios de centralizar datos de diversas fuentes para facilitar un análisis más profundo y efectivo en la toma de decisiones empresariales.

Introducción al Data Lake

• La llegada de David a ISDIN reveló un problema de datos dispersos en múltiples plataformas.
• La necesidad de unificar datos llevó a la creación de un Data Lake.
• "Si de aquí a medio largo plazo quiero analizar todo esto, o lo organizamos bien y lo centralizamos, pues esto va a ser muy complicado."
• El proyecto comenzó en 2019 y ha evolucionado con el tiempo.
• La centralización de datos permite un análisis más completo y eficiente.

Desafíos Iniciales

• ISDIN contaba con un equipo en construcción y departamentos poco definidos.
• La falta de consolidación de datos dificultaba el análisis.
• "El principal problema que tiene cualquier analista es el gasto en publicidad que reside en plataformas como Facebook y Google Ads."
• La necesidad de evaluar el rendimiento de la inversión publicitaria en EE.UU. fue crucial.
• La propiedad de los datos es esencial para evitar depender de terceros.

Construcción del Data Lake

• Se evaluaron diferentes opciones para construir el Data Lake, incluyendo la creación de un equipo interno o la colaboración con una agencia.
• Se optó por trabajar con una agencia especializada para iniciar el proyecto.
• "Cualquiera de las tres grandes plataformas (Google Cloud, AWS, Azure) nos hubiese valido."
• La elección de Google Cloud se basó en la integración con Google Analytics.
• Se enfatiza la importancia de un enfoque escalable y adaptable.

Estrategia de Carga de Datos

• La decisión de cargar datos internamente se basó en la flexibilidad y control.
• "Al final, si no necesitas hacer un análisis de todas las creatividades, es un poco inútil cargar todos estos datos."
• La granularidad de los datos se ajustó a las necesidades del momento.
• La evolución del Data Lake permite adaptarse a nuevas necesidades.
• La gestión de la ansiedad en la empresa durante el desarrollo del proyecto es crucial.

Visualización y Análisis de Datos

• Se utilizan dashboards para visualizaciones automáticas y reportes ad hoc.
• "El Data Lake es una fuente más de los datos."
• La centralización de datos mejora la credibilidad y la toma de decisiones.
• La atribución de datos se vuelve más clara al tener un modelo unificado.
• La flexibilidad del Data Lake permite realizar análisis más profundos y precisos.

Conclusión

La creación de un Data Lake en ISDIN ha transformado la forma en que se gestionan y analizan los datos, permitiendo una visión más clara y unificada de la información. David García destaca la importancia de comenzar con un enfoque escalable y adaptativo, enfatizando que la centralización de datos no solo mejora la eficiencia, sino que también fortalece la credibilidad del análisis. La evolución constante del Data Lake asegura que la empresa pueda adaptarse a nuevas necesidades y desafíos en el futuro.

Etiquetas: #DataLake #AnalíticaDeDatos #ISDIN #GoogleCloud #TransformaciónDigital