Telemetria para Databricks Apps agora em GA com Unity Catalog

A telemetria para Databricks Apps chegou à disponibilidade geral (GA). Ela coleta traces, logs e métricas de forma padronizada via protocolo OpenTelemetry (OTel) e grava tudo em tabelas gerenciadas do Unity Catalog.

Para que serve

Imagine que você precisa auditar o uso e debugar erros do seu app em produção. Com essa ferramenta, você consegue:

• Capturar automaticamente logs do sistema e eventos de uso, como logins de usuários e chamadas diretas de API.
• Armazenar métricas e traces em tabelas dedicadas (otel_metrics, otel_spans e otel_logs).
• Consultar logs de erro e eventos de autenticação diretamente usando Databricks SQL.

Como usar

Configure o destino da telemetria usando a CLI do Databricks e atualize o deploy do seu aplicativo:

databricks apps update meu_app --json '{
  "telemetry_export_destinations": [
    {
      "unity_catalog": {
        "logs_table": "meu_catalogo.meu_schema.prefixo-otel_logs",
        "metrics_table": "meu_catalogo.meu_schema.otel_metrics",
        "traces_table": "meu_catalogo.meu_schema.otel_spans"
      }
    }
  ]
}'

O que acontece nesse código:

1. O comando define o catálogo e o schema de destino.
2. Mapeia as tabelas específicas para logs, métricas e traces.

databricks apps deploy meu_app

O que acontece nesse código:

1. O aplicativo é republicado.
2. A telemetria passa a fluir para o Unity Catalog.

Limitações e requisitos

• Disponível em regiões específicas da AWS.
• As tabelas de destino devem ser tabelas Delta gerenciadas na mesma região do workspace.
• Limite de tamanho de linha de log de 1 MB por linha.
• A ingestão é cobrada como uso do Lakeflow Connect (SKU Jobs Serverless).