♦ A organização do meu ambiente reflete a complexidade de uma arquitetura de Big Data moderna. Adoto uma abordagem de Engenharia de Software aplicada a Dados, onde a infraestrutura e os pipelines seguem rigorosos padrões de qualidade.
Para garantir agilidade e integridade, baseio meu fluxo em três pilares:
Governança de Infraestrutura (AKS): Gerenciamento centralizado via VS Code, utilizando contextos do Kubernetes para alternar entre ambientes. Valido execuções no cluster de Desenvolvimento (Sandbox) antes do versionamento.
Gestão de Dependências (Poetry): Uso do Poetry para garantir ambientes Python determinísticos, eliminando conflitos de versão e garantindo reprodutibilidade do código.
Fluxo Híbrido de Containerização (Local-to-Cloud):
Implemento um ciclo ágil de Build, Tag & Push.
As imagens Docker (ex: conectores customizados) são construídas localmente e enviadas diretamente para o registro no Azure (ACR).
Isso permite integrar instantaneamente o código da minha máquina ao cluster AKS, reduzindo drasticamente o tempo de feedback entre o desenvolvimento e a validação na nuvem.