Configure múltiplos gatilhos em seus Lakeflow Jobs no Databricks

Para que serve

Imagine que você tem um job de engenharia de dados que precisa rodar quando uma tabela é atualizada, mas você também quer garantir uma execução agendada como segurança. Com esta atualização, você pode combinar múltiplos gatilhos no mesmo job para diferentes eventos.

• Combinar diferentes tipos de gatilhos (horário, atualização de tabela, chegada de arquivos, modelo ou contínuo).
• Adicionar múltiplos gatilhos do mesmo tipo.
• Pausar e retomar cada gatilho de forma independente.

Como usar

Para configurar múltiplos gatilhos usando a Jobs API, utilize o array triggers dentro de JobSettings.

{
  "name": "meu_job",
  "triggers": [
    {
      "schedule": {
        "quartz_cron_expression": "0 0 12 * * ?",
        "timezone_id": "UTC"
      }
    },
    {
      "table": {
        "table_name": "meu_catalogo.meu_esquema.minha_tabela"
      }
    }
  ]
}

O que acontece nesse código:

1. O parâmetro name define o nome do job.
2. O array triggers agrupa as condições de disparo.
3. O primeiro objeto configura um gatilho baseado em horário.
4. O segundo objeto configura um gatilho baseado em atualização de tabela.

Limitações e requisitos

• O recurso está em Beta.
• Um job pode ter no máximo cinco gatilhos ativos.
• Gatilhos do tipo contínuo não podem ser combinados com outros gatilhos.
• O workspace possui um limite de até 12.000 gatilhos ativos somando todos os jobs, enquanto gatilhos pausados não entram nessa contagem.
• Administradores de workspace precisam habilitar a configuração Multiple Triggers na página Previews.