Metadados de sessão e detalhes de tokens na tabela de uso do AI Gateway

Para que serve

Imagine que você precisa auditar o custo e o comportamento de agentes de IA e modelos corporativos usando o Unity Gateway. Com os novos campos na tabela de uso, você consegue rastrear sessões de ferramentas de código, analisar o uso de cache de prompt e contar buscas na web.

• Monitorar sessões de agentes de desenvolvimento integrados.
• Analisar tokens gravados em caches de prompt de 5 minutos e 1 hora.
• Rastrear a contagem de buscas em arquivos e na web.

Como usar

Você pode consultar os dados atualizados diretamente usando SQL no Databricks SQL ou em um notebook.

SELECT * FROM system.ai_gateway.usage;

O que acontece nesse código:

1. Acessa a tabela de sistema system.ai_gateway.usage do Unity Gateway.
2. Retorna todos os registros de uso de modelos e serviços, incluindo as novas colunas de metadados de sessão e detalhes de tokens.

Limitações e requisitos

• Recurso em Public Preview.
• Requer um workspace do Databricks em região compatível com o Unity Gateway.
• Requer o Unity Catalog habilitado.
• Por padrão, exige privilégios de administrador de conta ou metastore para visualizar ou consultar a tabela.
• O uso do rastreamento de uso é um recurso faturado do Unity Gateway.