DescriçãoVaga: Engenheiro de DadosResumo da Posição:Estamos em busca de um Engenheiro de Dados experiente para projetar, implementar e otimizar fluxos de trabalho de dados em ambientes de Big Data, com foco em ferramentas da Azure, como Azure Databricks e Azure Data Factory.
Este profissional será responsável por desenvolver pipelines robustos de dados, garantir a qualidade e escalabilidade das soluções e colaborar com equipes multifuncionais para atender aos requisitos de negócios.---Responsabilidades da Vaga:Azure Databricks e Azure Data Factory:- Projetar, implementar e otimizar fluxos de dados usando Azure Databricks e Azure Data Factory.- Configurar e gerenciar pipelines de dados no ambiente de nuvem da Azure.Desenvolvimento com PySpark:- Desenvolver e otimizar código PySpark para processamento e transformações de dados eficientes e escaláveis.Big Data e CI/CD:- Solucionar problemas e otimizar tarefas de processamento em grandes volumes de dados.- Projetar e implementar pipelines de CI/CD usando ferramentas como Azure DevOps, Jenkins ou GitLab CI/CD para automação de criação, teste e implantação de fluxos de dados.Pipeline de Dados:- Projetar, implementar e manter pipelines de dados de ponta a ponta, incluindo testes unitários, de integração e de ponta a ponta para garantir a funcionalidade e confiabilidade.- Gerenciar a qualidade e integridade dos dados ao longo de todo o pipeline.Estruturas de Extração, Ingestão e Consumo:- Desenvolver estruturas para extração, ingestão e consumo de dados eficientes.- Implementar melhores práticas para integração de dados e fluxo contínuo de informações na organização.Colaboração e Comunicação:- Trabalhar com equipes multifuncionais para entender os requisitos de dados e fornecer soluções escaláveis.- Comunicar-se com clareza para coletar e esclarecer necessidades de dados junto às partes interessadas.---Requisitos da Vaga:Experiência Técnica:- Sólida experiência com Azure Databricks e Azure Data Factory.- Domínio em desenvolvimento e otimização de código PySpark.- Experiência em soluções de Big Data e automação de pipelines com CI/CD.- Familiaridade com ferramentas como Jenkins, GitLab CI/CD, Azure DevOps e Github/Repo.- Experiência em design e manutenção de pipelines de dados de ponta a ponta, incluindo testes automatizados.Habilidades Adicionais:- Experiência no desenvolvimento de estruturas para extração, ingestão e consumo de dados.- Conhecimento de práticas de integração e garantia da qualidade de dados.Habilidades Comportamentais:- Capacidade de colaborar com equipes multifuncionais.- Excelente comunicação para interação com partes interessadas.- Orientação para resultados e resolução de problemas.Diferenciais Desejáveis:- Certificações em ferramentas do Azure, como Azure Data Engineer Associate.- Experiência adicional com ferramentas de Big Data e frameworks modernos.- Familiaridade com processamento em tempo real e tecnologias de streaming.
#J-18808-Ljbffr