Crie tabelas gerenciadas e múltiplos fluxos de append em pipelines do Lakeflow

Para que serve

Imagine que você precisa consolidar dados de duas origens diferentes de streaming em uma única tabela dentro do Lakeflow. Com esta novidade, você pode criar tabelas gerenciadas e direcionar múltiplos fluxos de adição para o mesmo destino. O recurso também permite:

• Consolidar múltiplos fluxos de append em uma única tabela gerenciada.
• Migrar cargas de trabalho existentes de Structured Streaming sem reprocessar a origem usando pontos de controle.

Como usar

from pyspark import pipelines as dp

lp.create_table(
    name="minha_tabela_gerenciada",
    comment="Tabela combinada de duas fontes"
)

@dp.append_flow(target="minha_tabela_gerenciada")
def fluxo_a():
    return spark.readStream.table("origem_a")

@dp.append_flow(target="minha_tabela_gerenciada")
def fluxo_b():
    return spark.readStream.table("origem_b")

O que acontece nesse código:

1. A função dp.create_table define e cria uma nova tabela gerenciada no pipeline.
2. O decorador @dp.append_flow aponta a função fluxo_a para gravar dados de streaming na tabela combinada.
3. O segundo decorador @dp.append_flow adiciona a fluxo_b gravando na mesma tabela de destino.

Limitações e requisitos

• Recurso em estágio Beta.
• Tabelas gerenciadas não suportam fluxos de mudança de CDC.
• Apenas fluxos de append (append_flow) são suportados; fluxos de substituição não funcionam.
• Requer o uso do Unity Catalog nos pipelines.
• Não é possível reutilizar o nome de uma tabela de streaming existente para uma tabela gerenciada.

Como aplicar num pipeline

Use essa abordagem na camada Silver ou Gold para unificar fluxos de ingestão em tempo real vindos de diferentes fontes bronze em uma única tabela consolidada.