Linhagem externa no Snowflake agora está geralmente disponível
O Snowflake agora suporta eventos OpenLineage de ferramentas externas como dbt e Airflow para rastrear fluxos de dados fora da plataforma.
O que mudou
A linhagem externa estende a linhagem nativa do Snowflake para incluir fontes e destinos de dados externos, usando o padrão aberto OpenLineage. Ferramentas como dbt e Apache Airflow enviam eventos via endpoint REST para unificar a visualização do fluxo de dados no Snowsight e permitir consultas SQL.
Para que serve
Imagine que você precisa auditar pipelines que passam por sistemas externos antes de chegar ao Snowflake ou apenas entre ferramentas de terceiros.
- Enviar eventos OpenLineage para o endpoint dedicado do Snowflake.
- Rastrear dependências entre objetos externos sem passar por tabelas do Snowflake.
- Consultar a linhagem combinada usando a função GET_LINEAGE.
Como usar
Configure permissões de conta e envie eventos via API REST usando ferramentas integradas como dbt ou Airflow.
CREATE ROLE dbt_lineage_role;
GRANT INGEST LINEAGE ON ACCOUNT TO ROLE dbt_lineage_role;
GRANT ROLE dbt_lineage_role TO USER dbt_integration_user;
O que acontece nesse código:
- Cria uma nova role dedicada no Snowflake.
- Concede o privilégio de ingestão de linhagem para a role.
- Atribui a role ao usuário de serviço da ferramenta de integração.
Limitações e requisitos
Disponível na edição Enterprise ou superior. O envio de eventos exige a permissão INGEST LINEAGE na conta e a remoção exige DELETE LINEAGE.
- external lineage
- openlineage
- dbt
- apache airflow
- snowsight
- get_lineage
External lineage (General availability)
Resumo e explicação gerados por IA a partir da release note oficial. Em caso de dúvida, a documentação oficial da plataforma prevalece.
Relacionadas
- SnowflakePublic Preview
Cortex AI Gateway chega à Azure, GCP e novas regiões AWS no Snowflake
O Cortex AI Gateway agora está disponível para contas nas regiões comerciais da Azure, GCP e AWS Nova Zelândia, centralizando a governança e o monitoramento de IA.
snowflake cortex · cortex ai gateway - SnowflakeGA
Upgrade direto para Apache Iceberg v3 e expressões padrão
Agora você pode atualizar tabelas Apache Iceberg da versão 2 para a 3 sem recriá-las, mantendo permissões e referências, além de usar expressões SQL como valores padrão em tabelas v3 gerenciadas.
apache iceberg · iceberg v3 - SnowflakeGA
Espelhamento de dados do Snowflake Postgres chega em GA
Replique dados do Snowflake Postgres diretamente para o Snowflake quase em tempo real, sem conectores externos ou pipelines ETL, com suporte a tabelas nativas ou Iceberg.
snowflake postgres · data mirroring