Portfólio Robert Barbosa - Modern Data Stack: Databricks, dbt & CI/CD

Arquitetura de Analytics Engineering: Escalonamento Multi-Tenant e Lakehouse Moderno

Neste projeto, implementei uma arquitetura de dados escalável baseada no paradigma Medallion (Bronze, Silver, Gold, Platinum), utilizando dbt Core para orquestrar as transformações dentro do Databricks. O foco principal foi criar um pipeline capaz de ingerir e unificar dados de um grupo multi-empresa, garantindo governança, qualidade e prontidão para Self Service B.I e Machine Learning.

Gestão de Ambiente e Dependências (Poetry)

Para garantir a reprodutibilidade, utilizo o Poetry para gerenciar as versões do dbt e do adaptador dbt-databricks. Isso assegura que todo o time trabalhe com as mesmas bibliotecas, eliminando conflitos de dependência e garantindo estabilidade nas execuções.

2. A Jornada do Dado (Medallion Architecture)

Camada Bronze (Sources): Mapeamento direto das tabelas raw no Databricks via sources.yml. Permite linhagem completa e monitoramento de frescor (freshness) dos dados ingeridos.
Camada Silver (Consolidação Multi-Tenant): O núcleo da engenharia. Consolido dados de múltiplos schemas (por empresa) em tabelas unificadas, aplicando limpeza, padronização de tipos e criação de Surrogate Keys (id + empresa) para garantir identidade global.
Camada Gold (Business Rules): Modelagem dimensional focada em regras de negócio complexas e KPIs, pronta para consumo por ferramentas de BI.
Camada Platinum (ML Views): Views otimizadas servindo como uma Feature Store leve para alimentação de modelos de Machine Learning.

3. Performance e Estratégia Incremental (Cost Optimization)

Para otimizar o processamento de grandes volumes e reduzir custos (DBUs) no Databricks, adoto uma estratégia de carga incremental baseada em metadados de ingestão:

Controle via Variáveis Airbyte: Utilizo a coluna de metadados _airbyte_extracted_at como variável de controle que faz a deduplicação do dado. Através de lógica Jinja, o dbt identifica o último timestamp processado e filtra na origem apenas os registros novos ou alterados, evitando leituras completas desnecessárias.
Merge Strategy: Configuro a estratégia incremental como merge, utilizando chaves únicas (unique_key) compostas. Isso garante que atualizações de registros na origem sejam refletidas corretamente no destino sem duplicidade, mantendo a integridade referencial.

4. Governança e Qualidade

Data Quality: Definição de contratos de dados (schema.yml) com testes automatizados (unique, not_null) aplicados nas chaves primárias em todas as camadas.
Configuração Dinâmica: Uso do dbt_project.yml para gerenciar variáveis de ambiente e configurações de schema por empresa, mantendo o código SQL limpo.
Segurança: Credenciais segregadas via profiles.yml (gitignorado) e uso de variáveis de ambiente, seguindo as melhores práticas de segurança.

O snippet abaixo demonstra a lógica de engenharia utilizada para unificar dados de diversas empresas do grupo (Multi-tenant). O objetivo é transformar múltiplas origens isoladas (shards) em uma tabela única e padronizada para análise. (Camada SIlver)

Destaques da Implementação:

Segurança e Compliance:
- Nota: Para fins de demonstração pública neste portfólio, os nomes reais das empresas e tabelas foram substituídos por aliases genéricos (empresa_a, empresa_b), garantindo a confidencialidade dos dados do cliente.
Independência de Origem (Sources):
- Utilizo a função {{ source() }} do dbt para referenciar as tabelas da camada Bronze. Isso mantém a linhagem de dados (Data Lineage) ativa e documentada automaticamente.
Unificação e Identidade:
- A estratégia de UNION ALL consolida os registros.
- Crucialmente, crio uma Surrogate Key composta (Concatenação do ID original + Nome da Empresa). Isso evita colisões de IDs (ex: a empresa A e a empresa B terem clientes com ID 1) e garante a unicidade global no Data Warehouse.

Query DBT: Silver

O snippet abaixo ilustra a construção da tabela Fato de Títulos Financeiros. O objetivo é entregar uma One Big Table (OBT) enriquecida, pronta para consumo direto no Power BI, sem a necessidade de cálculos complexos na ponta (DAX). (Camada Gold)

Destaques de Engenharia:

Estratégia Incremental Inteligente: Utilizo metadados de ingestão (_airbyte_extracted_at) combinados com lógica Jinja para processar apenas o delta (dados novos ou alterados), reduzindo drasticamente o tempo de processamento no Databricks.
Enriquecimento de Negócio (Business Logic): Centralização de regras críticas diretamente no Data Warehouse:
- Cálculo de Aging: Determinação automática de dias em atraso.
- Classificação de Risco: Categorização de títulos em faixas de atraso (30/60/90 dias) e faixas de valor.
- Status em Tempo Real: Definição dinâmica de status (VENCIDO, A VENCER, QUITADO) baseada na data de processamento.
Integridade Referencial: Joins performáticos com as dimensões (Clientes, Vendedores, Condições de Pagamento) para denormalizar atributos essenciais para filtragem.

Query DBT: Gold

Organização do Projeto dbt:

Esquerda: Separação clara das camadas da arquitetura Medallion (silver, gold, platinum) dentro da pasta models.
Direita (Detalhe Gold): A camada de negócios segue a modelagem dimensional, com tabelas padronizadas em Dimensões (dim_*) e Fatos (fct_*), facilitando o consumo pelo Power BI.