Lakehouse

Lakehouse utilizando Arquitetura Medallion e Delta Lake no Databricks

O objetivo desse projeto é demonstrar de forma prática os seguintes itens:

• Configuração e gerenciamento de clusters na plataforma Databricks;

• Manipulação e transformação de dados utilizando PySpark;

• Implementação de um Lakehouse  utilizando a tecnologia Delta Lake na plataforma Databricks;

• Realização de técnicas avançadas de manipulação de dados de forma eficiente e profissional;

• Exemplo de implementação de um pipeline de dados e da arquitetura Medallion para organizar dados em um Lakehouse;

• Boas práticas de desenvolvimento aplicadas a construção de pipelines de dados e de um Lakehouse.

NOTA: Esse projeto foi executado na versão Community do Databricks, portanto apresenta algumas limitações de funcionalidades, como é o caso da impossibilidade de demonstração de orquestração de "Jobs" em Workflows do Databricks, a pausa e reexecução de clusters, o agendamento (Schedule) de Jobs, a configuração de "Triggers" e o uso de uso de computação paralela nas execuções.

RESULTADOS FINAL

Arquivo Notebook: 000 Setup DBFS 2024-12-13 20:11:17

Arquivo Notebook: 001 File Import 2024-12-15 10:49:50

Arquivo Notebook: 002 Load Bronze 2025-02-06 11:09:29

Arquivo Notebook: 003 Transform Layer Silver 2025-02-06 13:48:28

Arquivo Notebook: 004 Layer Gold 2025-02-06 13:59:48

Arquivo Notebook: 005 Layer Gold (incremental)  2025-02-06 17:04:25

Arquivo Notebook: 006 Tabelas Delta 2025-02-09 17:38:20

Arquivo Notebook: Verificação de Dados 2025-02-09 16:55:51

Rotinas de Manutenção

Apesar de não terem sido abordadas nesse projeto de exemplo (tanto por se tratar da versão community do Databricks, quanto pelo volume pequeno de dados), um Delta Lake exigem manutenção constante e se possível, automatizada através de "Jobs" secundários de manutenção que podem ser agendados (Schedule) através de agendamento por data, por gatilhos (triggers) ou manualmente.

A manutenção serve entre outra coisas para:

• Remover arquivos desnecessários e liberar espaço de armazenamento;

• Agrupar e/ou combinar arquivos fragmentados para melhorar a performance do Delta Lake;

• Organizar os dados de forma a facilitar consultas e aplicação de filtros;

• Melhora a performance em transações ACID (operações com características de Atomicidade, Consistência, Isolamento e Durabilidade);

• Facilita a auditoria e em alguns casos a criação de snapshots de dados.

Algumas das rotinas de manutenção de Delta Lakes mais utilizadas são:

• Vacuum - utilizado para liberar espaço removendo arquivos antigos e desnecessários (Ex: gerados por operações de update e merge);

• Z-Ordering - usado para organizar os dados e otimizar as consultas que realizam filtragens frequentes em colunas, como as de data ou chave.;

• Optimize - usado para otimizar o layout dos arquivos armazenados no Delta Lake, principalmente após muitas operações de escrita ou atualização.;

• Upset - usado para modificar ou remover dados diretamente em uma tabela Delta, sem precisar sobrescrever a tabela inteira..;

• History e Time Travel - usado para auditar mudanças na tabela Delta ou para acessar versões anteriores dos dados.;

• Compaction - usado para agrupar arquivos pequenos resultantes de múltiplas operações de escrita em arquivos maiores, melhorando a performance de leitura.