Senior Data Engineer · Databricks · Speaker
Lucas Lessa
Engenheiro, Arquiteto e Analista de Dados com 5+ anos de experiência e especializado em Databricks, Azure e Power BI. Desenvolvo plataformas de dados escaláveis, arquiteturas Lakehouse e pipelines de alta performance, transformando dados em valor para o negócio. Exploro a junção entre Engenharia de Dados e Inteligência Artificial, construindo soluções com IA generativa e sistemas multiagentes. Compartilho conhecimento e impulsiono a comunidade por meio de palestras, YouTube e LinkedIn.

- Anos de experiência
- 5+
- Certificações
- 3
- Projetos
- 5
- Palestras
- 5
Tech Stack
Competências
Engenharia de dados
Pipelines escaláveis em arquitetura Medallion, orquestrados com Jobs e Lakeflow.
SQL & PySpark
Otimização de consultas e pipelines com dezenas de milhões de registros.
Analytics & BI
Modelagem dimensional, Power BI e DAX para relatórios executivos.
Governança & IA
Qualidade de dados, versionamento e IA aplicada a analytics.
Stack
Plataformas
- Databricks
- Microsoft Azure
- Azure Data Factory
- Azure Synapse
- Power BI
Linguagens
- Python
- PySpark
- SQL
- DAX
Ferramentas
- Delta Lake
- Lakeflow
- GitHub
- Azure DevOps
Qualidade e governança
- FinOps
- Unity Catalog
- Data Contracts
- Governed Tags
IA & Agents
- Genie Agents
- MCP
- Multi-agent systems
- Prompt Engineering
- Claude
Trajetória
Experiência
Engenheiro de Dados · Globalsys Soluções em TI
Atuação como Engenheiro de Dados no desenvolvimento e na otimização de soluções escaláveis para apoiar decisões estratégicas, com foco em arquitetura, performance, governança e confiabilidade dos dados.
- ▸Criação e implementação de ambientes produtivos completos no Databricks, estruturando do zero uma plataforma escalável de engenharia de dados com foco em padronização, automação, governança e alta disponibilidade.
- ▸Desenvolvimento de pipelines escaláveis em Databricks (PySpark/SQL) e Azure Synapse Analytics, aplicando Arquitetura Medallion (Bronze, Silver e Gold) para transformação e disponibilização de dados analíticos.
- ▸Liderança técnica em projetos estratégicos, apoiando profissionais juniores, disseminando boas práticas de engenharia e contribuindo para decisões arquiteturais.
- ▸Otimização de performance de consultas e pipelines em ambientes com mais de 50 milhões de registros, reduzindo tempo de processamento e aumentando eficiência computacional.
- ▸Integração de múltiplas fontes de dados, incluindo APIs, bancos relacionais, SharePoint e Google Sheets, consolidando informações críticas para consumo analítico.
- ▸Construção e otimização de datasets analíticos e modelos dimensionais para dashboards e relatórios executivos em Power BI.
- ▸Definição e implementação de práticas de versionamento, code review e governança de código utilizando GitHub e Azure DevOps, promovendo maior padronização, qualidade e escalabilidade nas entregas de engenharia de dados.
- ▸Orquestração e monitoramento de pipelines com Databricks Jobs e Lakeflow, garantindo automação e cumprimento de SLAs.
- ▸Capacitação de equipes de negócio para utilização de ferramentas analíticas, promovendo autonomia e cultura orientada a dados.
- ▸Atuação como palestrante em eventos e comunidades de tecnologia, compartilhando conhecimentos sobre carreira e engenharia de dados.
- Databricks
- PySpark
- SQL
- Azure Synapse
- Power BI
- GitHub
- Azure DevOps
- APIs
- Data Quality
- Lakehouse Architecture
Consultoria
Engenheiro de Dados · Dadoteca
Engenharia de dados para cliente do setor de saúde, construindo e evoluindo uma plataforma Lakehouse escalável no Databricks, com camadas Bronze, Silver e Gold, priorizando desempenho, governança e dados confiáveis para decisões de negócio.
- ▸Desenvolvimento de pipelines escaláveis em Databricks (PySpark/SQL) e Azure Synapse Analytics, aplicando Arquitetura Medallion (Bronze, Silver e Gold) para transformação e disponibilização de dados analíticos.
- ▸Integração de múltiplas fontes de dados, incluindo APIs de FHIR e outros padrões de interoperabilidade em saúde, com ingestão e tratamento de payloads JSON.
- ▸Otimização de performance de consultas e pipelines em ambientes com mais de 50 milhões de registros, reduzindo tempo de processamento e aumentando eficiência computacional.
- ▸Orquestração e otimização de jobs complexos no Azure Synapse Analytics, priorizando performance, confiabilidade e rastreabilidade dos dados.
- ▸Utilização de versionamento e governança de dados via Azure DevOps.
- ▸Preparação de dados analíticos para consumo no Power BI, criando modelos consistentes, agregações e dimensões para suporte à tomada de decisão.
- Databricks
- PySpark
- SQL
- Python
- Azure Synapse
- Azure DevOps
- Power BI
- APIs
- FHIR
- JSON
- Lakehouse
Consultoria
Engenheiro de Dados · Exostack
Atuação em projeto temporário e estratégico para cliente do setor de agricultura, com foco na construção das camadas Bronze, Silver e Gold em ambiente Databricks.
- ▸Implementação da integração entre Databricks e banco de dados produtivo Progress (OpenEdge), garantindo conectividade segura e ingestão confiável dos dados.
- ▸Desenvolvimento de processos de ETL utilizando Python.
- Databricks
- Progress OpenEdge
- Python
Analista de Dados Pleno · BeSmart
Integração e modelagem de dados para relatórios e tomada de decisão, conectando múltiplas fontes ao Power BI.
- ▸Gerenciamento de integrações com múltiplas fontes de dados, incluindo bancos de dados relacionais e arquivos CSV/Excel.
- ▸Preparação e modelagem de datasets analíticos para consumo no Power BI, com criação de métricas, agregações e relatórios voltados ao suporte à tomada de decisão.
- ▸Tradução de requisitos de negócio em regras e transformações de dados, utilizando SQL e Python no Pentaho Data Integration (PDI), assegurando padronização e confiabilidade dos processos de ETL.
- SQL
- Python
- Pentaho
- Power BI
Analista de Dados Jr · Grupo Verzani & Sandrini
Estruturação de bancos de dados, processos de ETL e indicadores de negócio.
- ▸Criação e manutenção de bancos de dados.
- ▸Tradução de requisitos de negócio em regras de dados utilizando processos de ETL.
- ▸Criação e manutenção de dashboards e indicadores no Power BI.
- SQL
- ETL
- Power BI
- Excel
Portfólio
Projetos
Engenharia de dados · Saúde
Ingestão de API FHIR com Databricks
Desenvolvimento de um pipeline de engenharia de dados para integrar uma API de saúde baseada no padrão HL7 FHIR ao Databricks, utilizando a Google Cloud Healthcare API como fonte dos dados e autenticação via OAuth 2.0.
O objetivo era automatizar a ingestão de dados clínicos, transformar os recursos FHIR em estruturas tabulares e prepará-los para consultas, análises e consumo por outras camadas da plataforma de dados.
- Databricks
- PySpark
- HL7 FHIR
- OAuth 2.0
- Delta Lake
- Unity Catalog
- Google Cloud
Analytics & IA · Finanças
Genie Agents - ROIC & DRE
Criação de um agente conversacional utilizando o Databricks Genie, com foco em dados financeiros e indicadores de desempenho, especialmente ROIC (Return on Invested Capital) e DRE (Demonstração do Resultado do Exercício).
A proposta era permitir que usuários consultassem informações financeiras por meio de perguntas em linguagem natural, reduzindo a dependência de consultas SQL manuais e da navegação por dashboards tradicionais.
- Databricks Genie
- Unity Catalog
- SQL
- Parquet
- Prompt Engineering
Plataforma de dados · DevOps
Construção de uma plataforma Databricks do zero
Implantação e estruturação de uma plataforma de dados com Databricks, separando os ambientes de desenvolvimento (DEV) e produção (PRD) e construindo a infraestrutura, a governança e os processos de CI/CD necessários para sustentar o ciclo de vida das soluções de dados.
- Databricks
- Azure
- Unity Catalog
- Terraform
- Azure DevOps
- Microsoft Entra ID
- CI/CD
Engenharia de dados · Finanças
Comparativo financeiro com Delta Lake Time Travel
Desenvolvimento de uma solução no Databricks para comparar os valores financeiros registrados no fechamento mensal com os valores carregados nos dias seguintes, acompanhando as alterações até o próximo fechamento.
Utilizando o versionamento do Delta Lake, a solução recuperava snapshots históricos e os comparava com versões recentes, permitindo identificar alterações nos valores financeiros sem duplicar toda a base de dados.
- Databricks
- Delta Lake
- Time Travel
- PySpark
- SQL
- Databricks Jobs
Analytics & BI · Finanças
Migração de cálculos acumulados do Power BI para SQL
Refatoração e otimização de cálculos acumulados de 3, 6 e 12 meses, migrando medidas DAX complexas para a camada SQL. A solução contemplou os cenários Realizado, Radar e Orçado, mantendo a seleção dinâmica de períodos no Power BI, simplificando as medidas e facilitando a manutenção das regras de negócio.
O relatório contava com um botão de seleção dinâmica que permitia alternar entre os períodos de 3, 6 e 12 meses, o que resultava em diversas medidas DAX complexas, com cálculos condicionais, manipulação de contexto de filtros e lógica temporal, aumentando a dificuldade de manutenção e o processamento necessário no Power BI.
- Power BI
- DAX
- SQL
- Data Modeling
Engenharia de dados · Saúde
Ingestão de API FHIR com Databricks
Desenvolvimento de um pipeline de engenharia de dados para integrar uma API de saúde baseada no padrão HL7 FHIR ao Databricks, utilizando a Google Cloud Healthcare API como fonte dos dados e autenticação via OAuth 2.0.
O objetivo era automatizar a ingestão de dados clínicos, transformar os recursos FHIR em estruturas tabulares e prepará-los para consultas, análises e consumo por outras camadas da plataforma de dados.
- Databricks
- PySpark
- HL7 FHIR
- OAuth 2.0
- Delta Lake
- Unity Catalog
- Google Cloud
Analytics & IA · Finanças
Genie Agents - ROIC & DRE
Criação de um agente conversacional utilizando o Databricks Genie, com foco em dados financeiros e indicadores de desempenho, especialmente ROIC (Return on Invested Capital) e DRE (Demonstração do Resultado do Exercício).
A proposta era permitir que usuários consultassem informações financeiras por meio de perguntas em linguagem natural, reduzindo a dependência de consultas SQL manuais e da navegação por dashboards tradicionais.
- Databricks Genie
- Unity Catalog
- SQL
- Parquet
- Prompt Engineering
Plataforma de dados · DevOps
Construção de uma plataforma Databricks do zero
Implantação e estruturação de uma plataforma de dados com Databricks, separando os ambientes de desenvolvimento (DEV) e produção (PRD) e construindo a infraestrutura, a governança e os processos de CI/CD necessários para sustentar o ciclo de vida das soluções de dados.
- Databricks
- Azure
- Unity Catalog
- Terraform
- Azure DevOps
- Microsoft Entra ID
- CI/CD
Engenharia de dados · Finanças
Comparativo financeiro com Delta Lake Time Travel
Desenvolvimento de uma solução no Databricks para comparar os valores financeiros registrados no fechamento mensal com os valores carregados nos dias seguintes, acompanhando as alterações até o próximo fechamento.
Utilizando o versionamento do Delta Lake, a solução recuperava snapshots históricos e os comparava com versões recentes, permitindo identificar alterações nos valores financeiros sem duplicar toda a base de dados.
- Databricks
- Delta Lake
- Time Travel
- PySpark
- SQL
- Databricks Jobs
Analytics & BI · Finanças
Migração de cálculos acumulados do Power BI para SQL
Refatoração e otimização de cálculos acumulados de 3, 6 e 12 meses, migrando medidas DAX complexas para a camada SQL. A solução contemplou os cenários Realizado, Radar e Orçado, mantendo a seleção dinâmica de períodos no Power BI, simplificando as medidas e facilitando a manutenção das regras de negócio.
O relatório contava com um botão de seleção dinâmica que permitia alternar entre os períodos de 3, 6 e 12 meses, o que resultava em diversas medidas DAX complexas, com cálculos condicionais, manipulação de contexto de filtros e lógica temporal, aumentando a dificuldade de manutenção e o processamento necessário no Power BI.
- Power BI
- DAX
- SQL
- Data Modeling
Engenharia de dados · Saúde
Ingestão de API FHIR com Databricks
Desenvolvimento de um pipeline de engenharia de dados para integrar uma API de saúde baseada no padrão HL7 FHIR ao Databricks, utilizando a Google Cloud Healthcare API como fonte dos dados e autenticação via OAuth 2.0.
O objetivo era automatizar a ingestão de dados clínicos, transformar os recursos FHIR em estruturas tabulares e prepará-los para consultas, análises e consumo por outras camadas da plataforma de dados.
- Databricks
- PySpark
- HL7 FHIR
- OAuth 2.0
- Delta Lake
- Unity Catalog
- Google Cloud
Analytics & IA · Finanças
Genie Agents - ROIC & DRE
Criação de um agente conversacional utilizando o Databricks Genie, com foco em dados financeiros e indicadores de desempenho, especialmente ROIC (Return on Invested Capital) e DRE (Demonstração do Resultado do Exercício).
A proposta era permitir que usuários consultassem informações financeiras por meio de perguntas em linguagem natural, reduzindo a dependência de consultas SQL manuais e da navegação por dashboards tradicionais.
- Databricks Genie
- Unity Catalog
- SQL
- Parquet
- Prompt Engineering
Plataforma de dados · DevOps
Construção de uma plataforma Databricks do zero
Implantação e estruturação de uma plataforma de dados com Databricks, separando os ambientes de desenvolvimento (DEV) e produção (PRD) e construindo a infraestrutura, a governança e os processos de CI/CD necessários para sustentar o ciclo de vida das soluções de dados.
- Databricks
- Azure
- Unity Catalog
- Terraform
- Azure DevOps
- Microsoft Entra ID
- CI/CD
Engenharia de dados · Finanças
Comparativo financeiro com Delta Lake Time Travel
Desenvolvimento de uma solução no Databricks para comparar os valores financeiros registrados no fechamento mensal com os valores carregados nos dias seguintes, acompanhando as alterações até o próximo fechamento.
Utilizando o versionamento do Delta Lake, a solução recuperava snapshots históricos e os comparava com versões recentes, permitindo identificar alterações nos valores financeiros sem duplicar toda a base de dados.
- Databricks
- Delta Lake
- Time Travel
- PySpark
- SQL
- Databricks Jobs
Analytics & BI · Finanças
Migração de cálculos acumulados do Power BI para SQL
Refatoração e otimização de cálculos acumulados de 3, 6 e 12 meses, migrando medidas DAX complexas para a camada SQL. A solução contemplou os cenários Realizado, Radar e Orçado, mantendo a seleção dinâmica de períodos no Power BI, simplificando as medidas e facilitando a manutenção das regras de negócio.
O relatório contava com um botão de seleção dinâmica que permitia alternar entre os períodos de 3, 6 e 12 meses, o que resultava em diversas medidas DAX complexas, com cálculos condicionais, manipulação de contexto de filtros e lógica temporal, aumentando a dificuldade de manutenção e o processamento necessário no Power BI.
- Power BI
- DAX
- SQL
- Data Modeling
YouTube
Vídeos recentes
Tutoriais e conteúdo técnico
Os primeiros vídeos estão chegando
Tutoriais sobre Databricks, engenharia de dados e IA. Inscreva-se para ser avisado quando sair o primeiro.
Publicações
Blog
Posts no LinkedIn e artigos que escrevi

LinkedIn
Power BI e Databricks: a migração de ODBC para ADBC e o erro que ela pode causar
Os conectores do Power BI e do Fabric estão trocando o driver ODBC pelo ADBC. Mostro o erro que apareceu em modelos parametrizados e o ajuste Implementation = 2.0 que resolveu.
Ler no LinkedIn
LinkedIn
ai_transcribe: transcrevendo áudios direto com SQL no Databricks
Como transcrever gravações guardadas em Volumes do Unity Catalog, separar falas por interlocutor e timestamps com variant_explode, e as limitações da Beta.
Ler no LinkedIn
LinkedIn
Um job, vários gatilhos: até 5 triggers no mesmo job do Databricks
Agora um único job pode reagir a schedule, file arrival e table update ao mesmo tempo. Exemplo com um pipeline de vendas e a pegadinha do maximum concurrent runs.
Ler no LinkedIn
LinkedIn
time_bucket(): agrupando séries temporais em intervalos fixos no SQL
A nova função SQL do Databricks na prática: vendas a cada 15 minutos e turnos logísticos de 8 horas usando o argumento origin. Disponível no Runtime 19+.
Ler no LinkedIn
LinkedIn
O Databricks não para: o resumo de setembro/2026
85 entradas na documentação em um mês. O top 5 em Beta/Preview e o top 5 em GA, de Genie One MCP Server a ABAC DENY Policies e Automatic Change Data Feed.
Ler no LinkedIn
LinkedIn
Column Masks: mascarando dados sensíveis sem duplicar tabelas
Passo a passo para mascarar o CPF conforme o grupo do usuário com uma função SQL e ALTER TABLE ... SET MASK, servindo contabilidade e marketing com a mesma tabela.
Ler no LinkedIn
LinkedIn
A certificação Databricks Data Engineer Professional vai mudar
O que muda no novo exame a partir de 9 de outubro de 2026: temas em destaque, novas seções e pesos, só em inglês e o que continua igual.
Ler no LinkedIn
LinkedIn
counter_diff: diferenças de contadores acumulados, mesmo com reset
A nova window function do Databricks SQL transforma contadores acumulados em variação por período e não confunde o reinício do contador com valor negativo. Runtime 19+.
Ler no LinkedIn
LinkedIn
Genie One agora pesquisa na web
O Genie One passou a consultar a web para perguntas que dependem de informação atual, sempre citando as fontes. Exemplos de uso e o que muda nas análises. Em Beta.
Ler no LinkedIn
LinkedIn
QUALIFY: filtrando window functions sem CTE nem subquery
Do clássico CTE + ROW_NUMBER() ao QUALIFY: o mesmo resultado com muito menos código, incluindo o top 3 por cliente com RANK().
Ler no LinkedIn
LinkedIn
Skills no Unity Catalog: conhecimento técnico governado e reutilizável
Agora as Skills dos agentes viram ativos do Unity Catalog (catalog.schema.skill), com controle de acesso e auditoria. Exemplo: padronizar notebooks da camada Silver com o Genie Code.
Ler no LinkedIn
LinkedIn
Genie Code task: IA dentro dos seus jobs
Uma task que recebe um prompt em linguagem natural, usa parâmetros e resultados das tasks anteriores e age no workflow. Exemplos de monitoramento de transações e data quality. Em Beta.
Ler no LinkedIn
Comunidade
Palestras
Eventos e comunidades em que compartilhei conhecimento
MVP Conf 2026
Databricks Genie - O fim da era dos dashboards tradicionais?
São Paulo, SP · Brasil
Os dashboards tradicionais estão chegando ao fim? Nesta palestra, exploro sem ser profeta do apocalipse, como a IA agêntica está transformando a forma como interagimos com os dados, o papel do Databricks Genie nessa evolução e os desafios por trás dessa mudança. Afinal, não basta disponibilizar dados: é preciso garantir qualidade, governança, contexto semântico e métricas confiáveis para que a IA gere respostas em que realmente possamos confiar.
Data & AI Saturday #1156 Vitória
Claude Code + Databricks - A era da IA
Vitória, ES · Brasil
Como a combinação entre Databricks e Claude Code está transformando a forma como desenvolvemos soluções de dados? Nesta palestra, exploro a evolução da IA, o potencial dos agentes e como ferramentas como Skills, MCP e APIs permitem automatizar tarefas, acelerar o desenvolvimento e criar soluções mais inteligentes. Tudo isso sem deixar de lado segurança, governança e o papel do engenheiro de dados na era da IA.
SQL Saturday #1132 Belo Horizonte
Databricks Genie - O fim da era dos dashboards tradicionais?
Belo Horizonte, MG · Brasil
Os dashboards tradicionais estão chegando ao fim? Nesta palestra, exploro sem ser profeta do apocalipse, como a IA agêntica está transformando a forma como interagimos com os dados, o papel do Databricks Genie nessa evolução e os desafios por trás dessa mudança. Afinal, não basta disponibilizar dados: é preciso garantir qualidade, governança, contexto semântico e métricas confiáveis para que a IA gere respostas em que realmente possamos confiar.
SQL Saturday
Databricks – Como se tornar um Engenheiro de Dados?
Guarulhos, SP · Brasil
Nesta palestra, compartilho minha trajetória na Engenharia de Dados, os principais aprendizados da prática e os caminhos para ingressar ou evoluir na área. Também mostro como o Databricks se encaixa nesse universo e quais habilidades fazem a diferença para construir uma carreira sólida em dados.
SQL Saturday
Databricks – Como se tornar um Engenheiro de Dados?
Vitória, ES · Brasil
Nesta palestra, compartilho minha trajetória na Engenharia de Dados, os principais aprendizados da prática e os caminhos para ingressar ou evoluir na área. Também mostro como o Databricks se encaixa nesse universo e quais habilidades fazem a diferença para construir uma carreira sólida em dados.
Formação
Educação
2026
Em progressoMBA em Data Science, Analytics e IA
USP/Esalq
2015 — 2019
Graduação em Engenharia de Produção
Universidade Veiga de Almeida
2022
Bootcamp Ciência de Dados
IGTI
2021
Formação Engenheiro de Dados
Data Science Academy
Certificações
Verificar credencialDatabricks
Data Engineer Professional
Verificar credencialDatabricks
Data Engineer Associate
Verificar credencialMicrosoft · PL-300
Power BI Data Analyst Associate
Uma aba deste site
Café com Features
Toda novidade de Databricks, Snowflake e Microsoft Fabric, explicada em português e atualizada diariamente a partir das release notes oficiais. Dá para filtrar por plataforma.
Abrir o Café com Features