Execute pipelines do Lakeflow usando um grupo como identidade

Agora você pode configurar a identidade de execução (run-as) de um pipeline do Lakeflow para usar um grupo de contas da sua organização, em vez de depender apenas de um usuário específico ou de um service principal. Isso facilita a gestão colaborativa de fluxos automatizados, garantindo que o pipeline continue funcionando perfeitamente mesmo se houver mudanças na equipe ou saída de colaboradores.

Para que serve

Imagine que você tem um pipeline de dados em produção criado por um analista que saiu da empresa e o pipeline parou de atualizar por falta de acesso na conta pessoal dele. Com esta novidade, você pode:

• Atribuir a execução do pipeline a um grupo de contas corporativo.
• Manter pipelines automatizados sob a responsabilidade de uma equipe inteira.
• Evitar falhas por inativação de contas individuais.

Como usar

Você pode configurar a identidade do grupo na interface do workspace, via REST API ou utilizando Asset Bundles.

{
  "name": "sales-etl",
  "run_as": {
    "group_name": "Test Group"
  }
}

O que acontece nesse código:

1. Define o nome do pipeline como sales-etl.
2. Configura o bloco run_as para direcionar a execução para o grupo de contas especificado.

resources:
  pipelines:
    sales_etl:
      name: sales-etl
      run_as:
        group_name: Test Group

O que acontece nesse código:

1. Declara um recurso de pipeline chamado sales_etl.
2. Atribui o grupo Test Group na propriedade run_as do arquivo de configuração do bundle.

Limitações e requisitos

• O grupo deve ser um grupo de contas atribuído ao workspace (grupos locais do workspace não são suportados).
• Não é permitido usar os grupos internos padrão admins, users e account users.
• O usuário que faz a alteração precisa ser membro do grupo ou possuir permissão Assume no grupo.
• O grupo precisa receber todas as permissões necessárias para acessar o código fonte, catálogos e schemas Unity Catalog utilizados pelo pipeline.