CDF Automático: rastreio de alterações sem configuração de tabela
O Auto CDF calcula alterações em tempo de consulta usando rastreio de linhas, eliminando o custo de escrita e acelerando comandos MERGE e UPDATE.
O que mudou
O Automatic Change Data Feed (Auto CDF) calcula modificações a nível de linha durante a leitura dos dados, aproveitando o rastreio de linhas no Delta Lake e a linhagem de linhas em tabelas Apache Iceberg v3. Diferente da versão legada, ele não exige configuração manual por tabela e acelera operações de escrita em cerca de 15%. ### Para que serve Imagine que você precisa alimentar pipelines incrementais ou manter trilhas de auditoria sem penalizar a performance de gravação das suas tabelas. - Processar apenas as linhas alteradas em pipelines ETL incrementais. - Sincronizar modificações com sistemas externos ou caches. - Criar trilhas de auditoria para conformidade e governança. ### Como usar Para ler o change data feed em lote usando SQL: sql SELECT * FROM table_changes(' minha_tabela', 0) O que acontece nesse código: 1. A função lê a tabela especificada. 2. O parâmetro 0 define a versão inicial de rastreio. 3. O motor calcula as alterações no momento da consulta. Para ler em streaming utilizando Python: ```python
(spark.readStream
.option("readChangeFeed", "true")
.table("minha_tabela")
)
- delta lake
- change data feed
- unity catalog
- databricks runtime
- iceberg
Automatic change data feed is now generally available
Resumo e explicação gerados por IA a partir da release note oficial. Em caso de dúvida, a documentação oficial da plataforma prevalece.
Relacionadas
- DatabricksBeta
Conector do SurveyMonkey chega ao Lakeflow Connect no Databricks
O Lakeflow Connect agora conta com conector nativo para o SurveyMonkey em Beta, permitindo ingestão incremental de pesquisas, respostas e contatos com governança no Unity Catalog.
lakeflow connect · surveymonkey - DatabricksBeta
Lakeflow Connect adiciona conector do Oracle Eloqua em Beta
O Lakeflow Connect agora oferece um conector gerenciado em Beta para o Oracle Eloqua, permitindo ingestão incremental de dados de marketing governados pelo Unity Catalog.
lakeflow connect · oracle eloqua - DatabricksBeta
Ingira métricas do GA4 com o novo conector do Lakeflow Connect
O Lakeflow Connect ganha conector gerenciado em Beta para o Google Analytics 4, permitindo ingestão incremental de relatórios agregados via API com governança no Unity Catalog.
lakeflow connect · google analytics