Estamos em busca de um Engenheiro de Dados Sênior com capacidade de propor melhorias com certa autonomia e habilidade para liderar o desenvolvimento de pipelines de dados e conduzir também, a modelagem de dados em parceria com as áreas de negócios.
O profissional será responsável por orquestrar toda a jornada de engenharia de dados, desde a ingestão de dados gerados por Azure Functions estruturadas em Python, até a criação de soluções utilizando Azure Data Factory e Databricks.
Principais responsabilidades
Desenvolver e gerenciar pipelines de dados que consumam arquivos CSV gerados por Azure Functions.
Estruturar a modelagem de dados alinhada com as necessidades de negócio, garantindo qualidade e performance no tratamento de dados.
Orquestrar processos no Azure Data Factory, garantindo escalabilidade e eficiência.
Desenvolver e otimizar workflows de dados em Databricks para análises avançadas e transformação de dados.
Colaborar diretamente com equipes de negócio para traduzir requisitos em soluções técnicas.
Garantir práticas sólidas de governança de dados, incluindo qualidade, versionamento e rastreabilidade dos dados.
Documentar soluções e criar manuais para stakeholders técnicos e não técnicos.
Requisitos técnicos obrigatórios
Conhecimento em Python, para poder interpretar os scripts na Azure Functions.
Sólido conhecimento em Azure Data Factory e habilidades práticas em orquestração e automação de pipelines de dados.
Experiência com Databricks, e das camadas de medalhas ( bronze-silver-gold) para processamento distribuído de dados.
Conhecimentos em SQL e modelagem de dados (relacional e não-relacional).
Experiência em ingestão, transformação e armazenamento de dados em Azure Blob Storage e/ou Data Lake.
Entendimento de práticas de governança e segurança de dados em ambientes de nuvem Azure.
Familiaridade com práticas de versionamento de código utilizando Git e automação de deploy.
Familiaridade com práticas de DataOps em engenharia de dados.
Experiência com métodos ágeis (Scrum/Kanban).
Competências comportamentais
Excelentes habilidades de comunicação para interagir com equipes de negócios e traduzir necessidades em soluções técnicas.
Capacidade de trabalhar de forma independente, com autonomia para priorizar e tomar decisões técnicas.
Perfil colaborativo, com habilidades para liderar pautas técnicas e de negócio com seu gestor.
#J-18808-Ljbffr