Upgrade direto para Apache Iceberg v3 e expressões padrão

O Snowflake liberou em disponibilidade geral (GA) o upgrade direto de tabelas Apache Iceberg da versão 2 para a versão 3, além do suporte a expressões SQL, sequências e colunas de identidade como valores padrão de coluna em tabelas v3.

Para que serve

Imagine que você mantém tabelas Iceberg v2 em produção e deseja adotar recursos do Iceberg v3 — como vetores de deleção (deletion vectors), rastreamento de linhagem de linhas (row lineage) e novos tipos de dados —, mas não pode recriar os objetos devido a permissões de acesso e dependências downstream. Com o upgrade direto, a transição é feita no mesmo objeto.

Com essa novidade você consegue:

• Migrar tabelas v2 para v3 sem alterar nome, privilégios ou referências de pipeline.
• Utilizar valores padrão calculados, como CURRENT_DATE(), sequências e expressões matemáticas em colunas de tabelas Iceberg v3 gerenciadas pelo Snowflake.

Como usar

Para atualizar a versão do formato de uma tabela existente, utilize o comando ALTER ICEBERG TABLE:

ALTER ICEBERG TABLE meu_catalogo.meu_schema.minha_tabela 
  UPGRADE TO ICEBERG VERSION 3;

O que acontece nesse código:

1. O Snowflake atualiza os metadados da tabela para a especificação Iceberg v3 de forma direta (in place).
2. O identificador, privilégios concedidos e dependências da tabela são preservados.
3. Se a tabela v2 já continha expressões como padrão de colunas, o parâmetro ALLOW_V3_EXPRESSION_DEFAULTS é ativado automaticamente.

Para habilitar manualmente o uso de padrões complexos (como funções dinâmicas ou sequências) em uma tabela v3 gerenciada:

ALTER ICEBERG TABLE meu_catalogo.meu_schema.minha_tabela 
  SET ALLOW_V3_EXPRESSION_DEFAULTS = TRUE;

O que acontece nesse código:

1. A tabela passa a aceitar valores padrão que exigem avaliação dinâmica pelo Snowflake no momento da inserção (como CURRENT_DATE()).
2. Constantes puras (como PI()) continuam sendo gravadas diretamente nos metadados Iceberg universais, enquanto padrões dinâmicos ficam ativos para escritas feitas via Snowflake.

Limitações e requisitos

• Estágio: Geralmente disponível (GA).
• Compatibilidade: Suportado para tabelas gerenciadas pelo Snowflake (Snowflake-managed) e tabelas gerenciadas externamente com CATALOG_SOURCE = ICEBERG_REST (incluindo bancos vinculados a catálogos).
• Reversibilidade: O upgrade é permanente. No entanto, para tabelas gerenciadas pelo Snowflake, é possível restaurar o estado v2 pré-atualização utilizando o Time Travel dentro da janela de retenção configurada.
• Escrita de padrões dinâmicos: Padrões como sequências, identity columns e funções dinâmicas são avaliados somente em operações de escrita originadas no Snowflake e dependem do parâmetro ALLOW_V3_EXPRESSION_DEFAULTS habilitado.

Como aplicar num pipeline

Em arquiteturas lakehouse sobre armazenamento em nuvem, você pode atualizar tabelas da camada Silver ou Gold para Iceberg v3 sem interromper os jobs de carga existentes, aproveitando deletion vectors para reduzir o custo e a frequência de reescrita em operações de MERGE e UPDATE.