- Desenvolver e otimizar pipelines de dados no GCP, focando em performance, escalabilidade e rastreabilidade para grandes volumes de dados, utilizando SQL para consultas e manipulação de dados.
- Projetar e implementar camadas de dados (bronze, prata, ouro e diamante) em arquiteturas de Data Lakehouse, aplicando práticas eficientes de modelagem de dados e SQL para garantir a integração e consulta eficiente dos dados.
- Utilizar dbt (Data Build Tool) assim que for implementado na arquitetura, aproveitando suas capacidades de automação e transformação de dados nas camadas de dados, aplicando transformações SQL.
- Trabalhar com as equipes para garantir alta qualidade dos dados, implementando práticas de data lineage, validação e monitoramento contínuo.
- Fornecer documentação técnica clara, garantindo que o conhecimento seja compartilhado entre as equipes de produto, desenvolvimento e operações.
Inicio Imediato.
Local: Remoto
- Experiência com dbt (Data Build Tool), com a necessidade de aplicar essa ferramenta para orquestrar modelos e transformações de dados no futuro, à medida que a arquitetura evolui para suportar dbt como a solução principal.
- Experiência com SQL Server, para gerenciar e otimizar consultas e integrações de dados, além de garantir a consistência das transformações.
- Proficiência em Python, com foco na automação de processos de dados e implementação de lógicas complexas de transformação.
- Experiência com grandes volumes de dados, utilizando ferramentas como Apache Spark, Dataflow e Apache Beam.
- Conhecimento avançado em modelagem de dados, incluindo schemas estrela e floco de neve para otimizar consultas analíticas.
- Experiência com orquestração de dados utilizando ferramentas como Apache Airflow ou Cloud Composer.
- Boas práticas de segurança de dados, incluindo controle de acesso e criptografia.
- Experiência com processamento de dados estruturados e não estruturados, incluindo integração com APIs, RDBMS e NoSQL.
- Experiência com GitLab, para controle de versões, integração contínua e colaboração no desenvolvimento de pipelines e soluções de dados.
#J-18808-Ljbffr