Engenharia de Dados

Data Warehouse com Apache Hop

Descrição:

Projeto de Data Warehouse com arquitetura Star Schema implementado no Apache Hop e os bancos de dados PostgreSQL e MongoDB.

Tecnologias Utilizadas:

Apache Hop, PostgreSQL, MongoDB, Docker, DBeaver, MongoDB Compass.

Para ir para a página com detalhes sobre o projeto clique aqui.

Lakehouse com Delta Lake e Databricks

Descrição:

Projeto de Lakehouse implementado através de um pipeline de dados utilizando a arquitetura Medallion e a tecnologia Delta Lake, escrito em Python usando os recursos de PySpark e Spark SQL da plataforma Databricks.

Tecnologias Utilizadas:

Databricks, PySpark, SQL, Delta Lake.

Para ir para a página com detalhes sobre o projeto clique aqui.

Gerador de Tabelas Dimensão de Data

Descrição:

Gerador de arquivos de tabelas dimensão de data customizáveis feito em Python com interface Streamlit. Gera arquivos CSV, XLSX, JSON e SQL para serem usados em projetos de Dados.

Tecnologias Utilizadas:

Python, Pandas, Numpy e Streamlit.

Para ir para a página com detalhes sobre o projeto clique aqui.

Web Scraping (Aplicado a Estudo de Mercado)

Descrição:

Projeto de extração de dados (Web scraping) de produtos em um site e-commerce, utilizando a biblioteca Scrapy. Os dados extraídos são processados com Pandas e armazenados em um banco de dados usando SQLite para posterior análises.

Tecnologias Utilizadas:

Debian Linux, VSCode, Python, Pandas, Scrapy, DBeaver, SQLite.

Para ir para a página com detalhes sobre o projeto clique aqui.

Modelagem de Dados usando Docker e MySQL

Descrição:

Esse projeto é uma demonstração simples da criação e população com dados mock de uma base de dados usando linguagem SQL. Essa base de dados foi criada a partir de um diagrama de classes de um projeto de um back-end de varejo que foi escrito anteriormente em Java e que já se encontra no meu repositório do Github.

Tecnologias Utilizadas:

Debian Linux, Docker, VSCode, DBeaver, MySQL, Astah, GitHub.

Para ir para a página com detalhes sobre o projeto clique aqui.