Conector do Anaplan no Lakeflow Connect para ingestão de dados

Para que serve

Imagine que você precisa centralizar dados operacionais do Anaplan no seu lakehouse para análise e auditoria. Com este conector, você consegue:

• Ingerir dados de auditoria de forma incremental.
• Sativazer a tabela de usuários com um snapshot completo a cada atualização.
• Governar os dados diretamente com o Unity Catalog.

Como usar

Para criar a conexão e configurar a ingestão via SQL no Databricks, utilize o comando para criar a conexão e o pipeline:

CREATE CONNECTION minha_conexao_anaplan
TO anaplan
OPTIONS (
  ca_certificate '-----BEGIN CERTIFICATE-----\n...', 
  private_key '-----BEGIN PRIVATE KEY-----\n...'
);

CREATE DATAFLOW meu_pipeline
AS INGEST INTO meu_catalogo.meu_schema.audit_events
FROM CONNECTION minha_conexao_anaplan;

O que acontece nesse código:

1. Cria um objeto de conexão no Catalog Explorer armazenando as credenciais de certificado e chave privada do Anaplan.
2. Configura a origem dos dados utilizando o conector gerenciado do Lakeflow Connect.
3. Define o destino no Unity Catalog para gravar a tabela de eventos de auditoria.

Limitações e requisitos

• O recurso está em estágio Beta e deve ser habilitado na página de Previews pelos administradores do workspace.
• A autenticação é feita exclusivamente por certificado CA e chave privada associada.
• Filtragem de linhas por API e SCD Type 2 não são suportadas.
• Mudanças de tipo de dado e renomeação de colunas exigem um refresh completo.