Saltar al contenido

Entender los datos.
Construir con criterio.

El cuaderno de Christian Herrera para aprender ingeniería de datos: cursos completos, ideas probadas y lo que hay detrás de cada pipeline.

Empezar el curso de Lakeflow Leer los artículos

EventosKafka / Event Hubs
- {"ticket":"T-4821","amount":12.50}
- {"ticket":"T-4820","amount":31.90}
- {"ticket":"T-4819","amount":-4.00}
- {"ticket":"T-4818","amount":8.75}
Llegan sin orden ni garantías
Bronzeraw_events
1284filas guardadas tal cual
Conservar el origen
Silverclean_tickets
1251filas válidasamount > 0 descarta 33
Dar estructura y calidad
Goldbusiness_kpis
23,40 €ticket medio
Convertir datos en respuestas

Cada evento entra crudo y sale de Gold convertido en una respuesta. Es lo que construyes en la lección 1.

Lakeflow Declarative Pipelines

Desde tu primer pipeline hasta una arquitectura de producción: ingesta, calidad, CDC y las decisiones que importan.

Empezar el curso17 lecciones en 5 módulos

Fundamentos4 lecciones

Ingesta y calidad4 lecciones

Procesamiento y recuperación4 lecciones

Producción y arquitectura3 lecciones

CDC, CDF y dbt2 lecciones

Notas del cuaderno

Todos los artículos

Aprendizaje, 3 min

Aprender en público, una lección cada vez

Cómo usar este cuaderno para pasar de leer una explicación a poder construir con ella.

Probar transformaciones de PySpark con Spark 4.3

Un proyecto mínimo con pytest para probar transformaciones en local, sin cluster, y saber qué queda fuera de un test unitario.