Home > Engenharia de Dados > Data Lakehouse com Iceberg
RESUMO
Projeto de Data Lakehouse
Data Lakehouse de dados do mercado financeiro, alimentado por um pipeline de dados usando arquitetura Medallion, escrito em Python e utilizando ferramentas como PySpark, Airflow, Iceberg, MinIO, PostgreSQL, Docker, Streamlit, FastAPI, Prometheus e Grafana.
DETALHAMENTO
Funcionamento:
O pipeline baixa diariamente a carteira teórica do índice Ibovespa (via automação no site da B3) e as cotações históricas/intradiárias dos ativos que a compõem (via yfinance), organizando os dados em um Lakehouse local no padrão Medallion:
Bronze — dados brutos, com colunas de auditoria (ingested_at, source, batch_id) para rastreabilidade.
Silver — dados limpos, tipados e deduplicados, com tratamento explícito de anomalias de negócio (ex: ativos com negociação temporariamente suspensa na B3).
Gold — métricas de negócio prontas para consumo analítico: retorno diário, retorno acumulado e volatilidade móvel por ativo.
Sobre essa base, o projeto oferece três formas de consumo: um dashboard interativo, uma API de consulta leve, e dashboards de observabilidade sobre a saúde do próprio pipeline.
Fases do Projeto:
Fase 0 — Fundamentos do repositório: estrutura de pastas, configuração do uv/pyproject.toml, gestão de segredos via .env.
Fase 1 — Infraestrutura local: MinIO, catálogo REST Iceberg e Airflow, todos via Docker Compose.
Fase 2 — Camada Bronze: ingestão da lista de tickers (Selenium) e das cotações (yfinance), com carga inicial e incremental, testes unitários e DAGs agendadas.
Fase 3 — Camada Silver: limpeza, tipagem e deduplicação dos dados, com tratamento explícito de negociações suspensas.
Fase 4 — Camada Gold: cálculo de retorno diário, retorno acumulado e volatilidade móvel por ativo.
Fase 5 — Observabilidade: métricas customizadas do pipeline expostas via Prometheus, visualizadas em um dashboard Grafana pré-configurado.
Fase 6 — Visualização: dashboard Streamlit com 3 páginas (visão por ativo, ranking diário, ranking semestral).
Fase 7 — -- Não implementada: -- Ver em Melhorias Futuras
Fase 8 — -- Não implementada: -- Ver em Melhorias Futuras
Fase 9 — API: endpoints de consulta REST sobre a camada Gold/Silver, usando PyIceberg.
Fase 10 — Documentação: versão final do README, inclusão de licenças e revisão de comentários de código.
Imagens do Projeto:
Tecnologias Utilizadas:
Python — Linguagem principal de todo o pipeline, desde a ingestão até a API.
PySpark — Motor único de processamento distribuído, usado em todas as camadas (Bronze, Silver, Gold) e no dashboard. Adotado após tentativas com DuckDB e dbt (veja Problemas Enfrentados).
Apache Airflow — Orquestra e agenda todas as cargas (lista de tickers, cotações, transformações Silver/Gold), com DAGs independentes por frequência de atualização.
Apache Iceberg — Formato de tabela do Lakehouse, com catálogo REST próprio, garantindo versionamento de schema e transações ACID sobre o armazenamento local.
MinIO — Armazenamento de objetos compatível com S3, usado como camada física do Lakehouse.
PyIceberg — Biblioteca Python pura (sem JVM) usada exclusivamente pela API, para leituras pontuais de baixa latência — mais leve que o PySpark para esse caso de uso.
FastAPI — Expõe os dados da camada Gold/Silver via endpoints REST, com documentação interativa gerada automaticamente.
Streamlit + Plotly — Dashboard interativo com visão por ativo (candlestick, retornos), ranking diário e ranking de valorização acumulada.
Selenium — Automatiza o download da carteira teórica do Ibovespa direto do site da B3.
Yfinance — Fonte das cotações históricas e intradiárias dos ativos.
Prometheus + Grafana + StatsD Exporter — Coleta e visualização de métricas customizadas do pipeline (linhas processadas, duração, sucesso/falha) e métricas nativas do Airflow.
PostgreSQL — Banco de metadados interno do Airflow.
Docker / Docker Compose — Orquestra todos os serviços do projeto em containers, permitindo rodar tudo localmente com um único comando.
UV — Gerenciador de dependências e ambientes virtuais do projeto.
Pytest — Testes unitários das camadas Bronze, Silver e Gold (lógica de transformação e regras de qualidade de dados).
Postman — Testes manuais de endpoints, responses e mecanismos de tratamento de erros.
Problemas Enfrentados:
O desenvolvimento envolveu diversas mudanças de tecnologia e depurações não triviais — documentadas aqui por transparência sobre o processo real de engenharia por trás do projeto:
DuckDB: A extensão duckdb-iceberg ignora o endpoint S3 customizado em operações de escrita, causando falhas de assinatura contra o MinIO (issues duckdb-iceberg#594 e #971). Correção: A solução adotada foi a substituição do motor de consultas para PySpark que apesar de superdimensionado para o porte do projeto, se saiu muito bem nesta tarefa.
dbt: Sem o DuckDB, o adaptador dbt-spark seria necessário. Em uma pesquisa prévia de compatibilidade entre as ferramentas revelou que o método session é experimental e o método thrift tem uma issue documentada (apache/iceberg#12804) de falha em SELECT sobre catálogos REST nomeados — exatamente nosso cenário. Correção: Todo o processamento foi consolidado em PySpark puro.
Airflow 3.x — mudanças de arquitetura: O "webserver" foi renomeado para api-server, e um novo componente obrigatório (dag-processor) passou a existir. Correção: Foi necessário configurar explicitamente o FabAuthManager (o padrão mudou para um gerenciador mais simples, incompatível com o comando airflow users create), a EXECUTION_API_SERVER_URL (comunicação interna entre containers) e um JWT_SECRET fixo (evitando erro de assinatura entre scheduler e api-server).
Catálogo Iceberg não persistente: Aqui nos deparamos com um problema conhecido de quem trabalha com Iceberg. O catálogo REST usava, por padrão, um banco SQLite em memória — qualquer reinício do ambiente apagava o índice de tabelas (os dados físicos no MinIO sobreviviam, mas ficavam "invisíveis"). Correção: O problema é facilmente corrigido apontando o SQLite para um arquivo em disco, num volume Docker persistente.
Crash de JVM (bug do HotSpot): Quando testamos um job mais complexo (Window Functions + regex) disparava uma condição de corrida rara e conhecida no HotSpot (Symbol::decrement_refcount), independente da versão do Java. Correção: O problema intermitente foi mitigado desativando o Whole-Stage Codegen do Spark.
Java 17 indisponível no Debian 13: A distro removeu o pacote dos repositórios padrão. Correção: resolvido com o repositório oficial Eclipse Temurin.
Imagens Docker duplicadas: Os 4 serviços do Airflow, sem uma tag image: explícita, geravam builds separados e redundantes (~3GB cada) a cada docker compose up --build, esgotando espaço em disco. Não é um problema em si, é mais um lembrete de configuração que requer cuidado em máquinas com poucos recursos.
Escolha do PyIceberg para a API: Apesar de muito robusto o PySpark se mostrou lento como motor de busca para alimentar a API. Correção: Em vez de reaproveitar o PySpark (mais pesado e lento para consultas pontuais), a API passou a usar PyIceberg — uma biblioteca Python pura, sem JVM, mais adequada a esse caso de uso.
Melhorias Futuras / Próximos Passos:
Essas são algumas melhorias planejadas para serem realizadas futuramente, seja devido ao curto prazo em que esse projeto foi implementado, seja por delimitação do escopo inicial pensado para manter o projeto escalável e/ou evoluível:
Segunda fonte de dados: ingestão de cotações de câmbio (USD/EUR), cotação de Commodities, derivativos e outros índices Amplos, índices Setoriais e índices de Dividendos provenientes de outras APIs. cálculo do Ibovespa Dolarizado, unindo múltiplas fontes na camada Gold.
Fase 7 — Deploy didático: fase inicialmente prevista mas não implementada devido ao grau de dificuldade imposto a possíveis tentativas de reproduzir o projeto por outros usuários. Previa um manifestos Kubernetes e um esboço de GitOps (ArgoCD), como demonstração conceitual — não como substituto do Docker Compose para uso local.
Fase 8 — CI/CD: pipeline de integração contínua (GitHub Actions) para rodar lint e testes automaticamente a cada push. Como é uma funcionalidade mais voltada ao DevOps foi convertida para melhoiras futuras.
Testes automatizados para a API: cobertura via pytest + TestClient do FastAPI (devido o prazo, foi validada somente manualmente via Postman).
Expiração automática de snapshots antigos do Iceberg, hoje feita via script manual (scripts/expire_snapshots.py).
Ambiente de desenvolvimento:
Debian Linux 13
Docker + Docker Compose
Visual Studio Code
Github
Para ter acesso ao código fonte e a documentação completa, acesse o perfil do projeto no Github.