Streaming Tables vs Materialized Views

Objetivo: entender cuándo utilizar cada una y qué ocurre cuando los datos se insertan, modifican o eliminan.

1. La diferencia fundamental

La Streaming Table es especialmente eficiente procesando eventos nuevos. La Materialized View puede incorporar inserciones, actualizaciones y eliminaciones de las fuentes al refrescarse.

Databricks on AWS+1

2. Ejemplo: llegan tickets desde Kafka

Tenemos una tabla Bronze con estos datos:

3. ¿Y si cambia un ticket existente?

Supongamos que el ticket 1 pasa de 100 € a 120 € en la tabla fuente.

Importante: estamos hablando de Streaming Tables append-only convencionales. Lakeflow también permite gestionar actualizaciones y eliminaciones mediante AUTO CDC, que estudiaremos en la lección 8.

4. El código: solo cambia una línea fundamental

from pyspark import pipelines as dp

@dp.table(name="silver_tickets")
def silver_tickets():
    return (
        spark.readStream.table("bronze_tickets")
        .filter("amount > 0")
    )
  

from pyspark import pipelines as dp
from pyspark.sql import functions as F

@dp.materialized_view(name="gold_sales")
def gold_sales():
    return (
        spark.read.table("silver_tickets")
        .agg(F.sum("amount").alias("total"))
    )
  

Observa la diferencia:

• spark.readStream → lectura incremental en streaming.

• spark.read → lectura batch declarativa; Lakeflow puede optimizar incrementalmente el refresh de la MV.

¡Ojo! Una MV no necesariamente recalcula toda la tabla en cada refresh. Databricks intenta procesar únicamente los cambios cuando la consulta lo permite.

Databricks on Google Cloud+1

5. Comprueba lo aprendido

Qué debes recordar: Streaming Table = procesar nuevos eventos. Materialized View = mantener actualizado el resultado de una consulta. Ninguna de las dos obliga por sí sola a ejecutar el pipeline continuamente.