Conecte logs de atividade do Workday direto no Databricks

Para que serve

Imagine que você precisa auditar o acesso e as ações dos usuários no Workday combinando esses dados com o restante da sua engenharia de dados. Com este conector, você consegue:

• Ingerir logs de atividade de forma incremental.
• Usar o Unity Catalog para governança dos dados.
• Orquestrar a ingestão usando Databricks Workflows.

Como usar

Você pode criar uma pipeline usando notebooks ou Asset Bundles, autenticando via OAuth refresh token.

from databricks.sdk import WorkspaceClient

w = WorkspaceClient()

# Exemplo de criação de pipeline de ingestão
pipeline = w.pipelines.create(
    name="pipeline_workday_logs",
    storage="/Volumes/meu_catalogo/default/storage_path",
    target="meu_catalogo.default",
    libraries=[{"notebook": {"path": "/Workspace/Users/admin/workday_notebook"}}]
)

O que acontece nesse código:

1. Inicializa o cliente do Databricks Workspace.
2. Cria uma nova pipeline apontando para um volume e um catálogo no Unity Catalog.
3. Associa um notebook que executa a lógica de ingestão.

Limitações e requisitos

• Estágio: Beta.
• Requer que um administrador habilite o recurso na página de Previews do workspace.
• Autenticação suportada exclusivamente via OAuth refresh token.
• Não suporta SCD Type 2 nem filtragem de linhas via API.

Como aplicar num pipeline

Os dados brutos entram na camada Bronze a partir do conector Workday e podem ser limpos e estruturados na Silver para auditorias de segurança e conformidade.