Atribuições:O Engenheiro(a) de Dados Sênior será responsável por projetar, desenvolver e gerenciar soluções de dados em grande escala, com foco em arquitetura de dados do tipo medallion e pipelines de ETL.
Profissional deverá ter um sólido entendimento das camadas de dados (bronze, silver e gold), garantindo a qualidade e a governança dos dados em cada etapa do processo.
Além disso, será incentivado e treinado para se desenvolver na área de machine learning, sendo essencial que demonstre interesse em aprendizado contínuo e habilidades para colaborar com equipes de ciência de dados e engenharia de machine learning.Principais Responsabilidades: Projetar e gerenciar a arquitetura medallion , implementando as camadas bronze, silver e gold para garantir a integridade, organização e qualidade dos dados.Desenvolver e otimizar pipelines de ETL/ELT para ingestão, transformação e processamento de dados em grande escala (Big Data), garantindo que estejam alinhados com as necessidades do negócio.Definir e implementar padrões de qualidade de dados, com práticas para validação, limpeza e monitoramento contínuo dos dados.Assegurar a governança e segurança dos dados em todas as camadas, garantindo conformidade com as políticas internas e regulatórias da empresa.Trabalhar com ferramentas e tecnologias de Big Data, como Spark, Hadoop, e Databricks, para manipular grandes volumes de dados e possibilitar análises em tempo real ou em batch.Participar do design e da implementação de soluções escaláveis, otimizadas para performance e resilientes a falhas.Colaborar com cientistas de dados e engenheiros de ML, oferecendo suporte para a disponibilização de dados de alta qualidade e estruturados nas camadas de ouro (gold) para análise avançada e modelos de machine learning.Participar de treinamentos e iniciativas para desenvolver conhecimento em machine learning, com objetivo de evoluir para o suporte a modelos e à criação de pipelines de dados voltados a ML no futuro.Demonstrar iniciativa para aprendizado e interesse na área de machine learning, contribuindo para a inovação e aplicando boas práticas que podem facilitar o trabalho em um ambiente integrado de ML e dados.Buscar melhorias contínuas nos processos e nas ferramentas utilizadas, com o intuito de promover maior eficiência e segurança nas operações de dados.Requisitos: Formação Superior na área completa;Experiência sólida em arquitetura de dados, com foco em arquitetura medallion e pipelines de ETL/ELT em ambientes de Big Data;Conhecimento das camadas de dados (bronze, silver e gold) e suas melhores práticas;Experiência com ferramentas e tecnologias de Big Data;Habilidade para garantir a qualidade e a governança dos dados em larga escala;Interesse e disposição para aprendizado na área de machine learning, com perfil proativo e orientado para inovação.Informações adicionais: Conhecimento 2x na semana no escritório - Próximo a ponte estaiada em SP.#J-18808-Ljbffr