O que o aluno irá aprender?
– Documentar projetos de forma profissional com padrões de mercado
– Entendimento prático sobre CI/CD e sua importância
– Construção de um framework com funções reutilizáveis
– Implementação de verificação de qualidade de dados

Ferramentas Utilizadas:
– Docker: Criação e gerenciamento de containers
– Docker Swarm: Orquestração simplificada de containers
– Git + GitHub: Controle de versão e colaboração
– GitHub Actions: Configuração de pipelines de CI/CD
– Mkdocs: Geração de documentação clara e acessível
– Terraform + Google Cloud (opcional): Infraestrutura como código para ambientes em nuvem
– Apache Spark: Processamento de grandes volumes de dados de forma distribuída
– Apache Airflow: Orquestração e agendamento de pipelines com Apache Spark
– Open Metadata: Catálogo de metadados e governança de dados
– MinIO: Data Lake com suporte ao protocolo S3 da AWS
– Tabelas Delta: Formato de armazenamento para contrução do Lakehouse
– Trino: Engine de query para consultas SQL distribuídas
– Superset: Visualização e análise de dados, com suporte a segurança por linha (Row Level Security)

Use case do projeto:
– Integração entre todas as ferramentas
– Criação de um framework Apache Spark com carga full e incremental
– Criação de uma aplicação real time com Apache Spark
– Construção de Lakehouse com tabelas Delta e camadas bronze, silver e gold
– Orquestração do Apache Spark no Airflow
– Execução de consultas SQL no Lakehouse com o Trino
– Visualização do dados com aplicação de Row Level Security (RLS)
– Catalogação de todos os metadados
– Aplicação de testes e qualidade de dados

Vantagens:
– Possibilidade de criar uma POC (Prova de conceito) na sua empresa
– Ferramentas open source