Ingira dados do Google Workspace com o novo conector no Lakeflow Connect

O conector gerenciado do Google Workspace traz logs de auditoria e atividades de aplicativos e serviços da suíte do Google diretamente para o Databricks de forma incremental.

Para que serve

Imagine que você precisa auditar o acesso dos usuários e eventos de segurança da sua empresa centralizados no Lakehouse.

• Ingerir dados de auditoria do Google Workspace.
• Realizar cargas incrementais automáticas.
• Governar os dados centralmente com o Unity Catalog.

Como usar

# Exemplo de criação de pipeline de ingestão via SDK
from databricks.sdk import WorkspaceClient

w = WorkspaceClient()

# Exemplo ilustrativo de criação de pipeline conectado ao Google Workspace
# Certifique-se de configurar a conexão Unity Catalog previamente.

O que acontece nesse código:

1. O cliente do Workspace inicializa a comunicação com a API do Databricks.
2. O pipeline utiliza as credenciais de autorização OAuth configuradas na conexão.
3. Os dados de auditoria começam a ser extraídos de forma incremental.

Limitações e requisitos

• Estágio: Beta.
• Um administrador do workspace precisa habilitar o Lakeflow Connect para Google Workspace na página de Previews.
• Método de autenticação suportado: OAuth U2M.
• Filtragem de linhas por API e SCD Type 2 não são suportadas.

Como aplicar num pipeline

Coloque este conector na camada Bronze para receber os eventos brutos de auditoria e segurança, permitindo transformações posteriores na camada Silver para análise de conformidade.