Engenheiro De Dados Pleno

Cargo: Engenheiro de Dados Pleno
Tipo de contratação: CLT
Modalidade: Home Office
Local de Trabalho: Home Office
Formação: Ensino Superior completo em áreas relacionadas à Tecnologia da Informação, Ciência da Computação, Engenharia ou áreas correlatas.
Principais atividades:

Desenvolver, manter e otimizar pipelines de dados para ingestão, processamento e armazenamento em plataformas escaláveis.
Colaborar com equipes multidisciplinares para entender os requisitos de dados e implementar soluções que atendam às necessidades de negócios em evolução.
Garantir a qualidade, a integridade e a governança dos dados ao longo de todo o ciclo de vida, implementando boas práticas de segurança e compliance.
Implementar e gerenciar soluções de banco de dados, como data lakes, data warehouses e bancos de dados relacionais e não relacionais.
Utilizar Databricks para otimizar e escalar o processamento de dados, aplicando técnicas avançadas de big data com integração a plataformas como Apache Spark.
Monitorar e melhorar o desempenho das soluções de dados, identificando e corrigindo gargalos e problemas de desempenho em tempo real.
Automatizar processos e tarefas relacionadas à manipulação de dados para otimizar o fluxo de trabalho e melhorar a eficiência.
Colaborar na definição e implementação de arquiteturas de dados modernas, aproveitando tecnologias em nuvem e on-premises.

Requisitos e qualificações:

Experiência comprovada em engenharia de dados, incluindo design, desenvolvimento e manutenção de pipelines de dados escaláveis.
Proficiência em linguagens de programação como Python, SQL e Shell Script.
Experiência com ferramentas de ETL (Extração, Transformação e Carregamento), como Apache Airflow, Talend, DataStage, ou semelhantes.
Familiaridade com Databricks para processamento de dados em larga escala e integração com pipelines de dados, incluindo conhecimento em Apache Spark.
Conhecimento de bancos de dados relacionais (SQL Server) e NoSQL (MongoDB, Cassandra).
Familiaridade com ferramentas de versionamento de código (Git) e metodologias ágeis (Scrum/Kanban).
Experiência com ferramentas de Big Data, como Hadoop, Spark, Kafka.


#J-18808-Ljbffr