Engenheiros De Dados (Nuvem E Big Data)

Procuramos um Engenheiro de Dados experiente para integrar nosso time de Data Engineering. O candidato ideal terá sólida experiência no ecossistema Microsoft Azure, dominando ferramentas de integração, processamento e segurança de dados em larga escala. Este profissional será responsável por projetar, desenvolver e otimizar pipelines de dados, garantindo a ingestão, transformação e armazenamento eficiente de dados em ambientes de nuvem.Principais Responsabilidades:Desenvolver Pipelines de Dados: Criar e manter pipelines de ingestão, transformação e movimentação de dados usando Azure Data Factory e Azure Databricks.Processamento em Larga Escala: Utilizar PySpark para processar grandes volumes de dados distribuídos de maneira eficiente.Automatizar e Orquestrar Processos: Implementar e automatizar processos de ETL/ELT com Azure DevOps, garantindo a entrega contínua e a manutenção de fluxos de dados.Segurança de Dados: Utilizar Azure Key Vault para gerenciar e proteger credenciais, chaves e outros segredos durante a manipulação e armazenamento de dados.Gerenciamento de Bancos de Dados: Desenvolver e otimizar consultas complexas em SQL Server e outros bancos de dados, assegurando performance em ambientes de alta demanda.Análise e Transformação de Dados: Trabalhar com Python e SQL para realizar análises de dados e implementar algoritmos de transformação e limpeza de dados.Integração e Colaboração: Colaborar com times de data science, analytics e produto, integrando dados de diversas fontes e criando soluções escaláveis para análise de dados.
#J-18808-Ljbffr