Restauração de sessão para jobs serverless no Databricks

Para que serve

Imagine que você executou um job serverless longo que falhou após quarenta minutos ou que você precisa inspecionar o resultado sem reexecutar todo o fluxo. Com essa novidade, você pode abrir um snapshot do estado anterior do job em um novo notebook interativo.

• Depurar falhas em jobs sem reexecução.
• Explorar variáveis Python e o estado da sessão Spark de execuções passadas.
• Criar cópias isoladas de notebooks baseadas no estado de execuções.

Como usar

Para restaurar o estado de uma execução de job:

1. Abra os detalhes da execução do job e visualize o notebook da execução.
2. Clique em Clone into new notebook ou em Debug in new notebook para uma execução com falha.
3. Aguarde o Databricks criar um novo notebook na sua pasta pessoal com as variáveis Python e a sessão Spark restauradas.

O que acontece nesse código:

• O Databricks cria um novo notebook chamado Job Run of <notebook name> at <timestamp> (Run <run ID>) na sua pasta home.
• O ambiente recria as variáveis e a sessão a partir do snapshot capturado automaticamente.
• Você edita a cópia restaurada sem alterar o job ou o notebook original.

Limitações e requisitos

• O recurso está em Public Preview.
• Apenas o usuário definido como "run-as" pode restaurar o estado, restrito a tarefas de notebook.
• Disponível para execuções que utilizam computação serverless com versão de ambiente 5 ou superior.
• O snapshot é capturado automaticamente quando o job falha, executa por trinta minutos ou mais (tempo de execução real, excluindo espera por compute), é cancelado ou sofre timeout.
• Os snapshots ficam disponíveis por 7 dias.
• O notebook restaurado deve permanecer conectado à computação serverless.