Somente será considerado(a) para o cargo o(a) profissional que responder o formulário disponível no link abaixo: https://forms.gle/7MmwQ62zSpq5Vg4P7 Cargo : Engenheiro de Dados Tipo de Bolsa : Bolsa de Desenvolvimento Tecnológico Nível I (R$ 5.200,00) Requisitos para a Bolsa: (1) possuir título de doutor em área compatível com as atividades previstas no projeto; ou possuir título de graduação, com no mínimo 6 (seis) anos de efetiva experiência em atividades de pesquisa, desenvolvimento tecnológico ou inovação, relacionadas com as atividades do projeto. Local de Trabalho : Preferencialmente presencial na sede da EnvironBIT, localizada no Parque Tecnológico da Universidade Federal de Lavras (UFLA), em Lavras, Minas Gerais. A atuação em home office é possível, mas daremos preferência a candidatos que possam trabalhar presencialmente. Duração da Bolsa : 24 meses Início previsto : Fevereiro de 2025 Descrição Geral O Engenheiro de Dados será responsável pela estruturação, implementação e manutenção do data lake e pipelines de dados, além da integração dos dados com sistemas internos. Esse profissional terá como principal desafio a criação e gestão do datalake, garantindo que os dados de fauna, acidentes e infraestrutura rodoviária estejam organizados, integrados e acessíveis para análise. Atividades Principais 1. Desenvolvimento e Implementação da Estrutura do Datalake : • Planejar e implementar a estrutura do datalake, assegurando que ele seja capaz de armazenar e processar grandes volumes de dados de forma eficiente e escalável. • Trabalhar com dados de fauna, acidentes e variáveis ambientais, organizando-os de maneira que facilite sua manipulação e análise. 2. Integração de APIs e Fontes de Dados ao Datalake : • Integrar múltiplas fontes de dados, incluindo APIs públicas e privadas, garantindo que os dados sejam coletados em tempo real e de forma contínua. • Realizar rotinas de ETL (Extração, Transformação e Carga) para padronizar e preparar os dados para análise e modelagem preditiva. 3. Manutenção e Monitoramento do Datalake : • Assegurar a integridade, segurança e atualização dos dados armazenados no datalake, com práticas de monitoramento e manutenção contínua. • Implementar e gerenciar rotinas de backup e recuperação de dados para proteger as informações armazenadas. 4. Colaboração com Equipes de Desenvolvimento e Ciência de Dados : • Trabalhar com desenvolvedores backend e frontend para garantir a integração dos dados com a plataforma. • Colaborar com cientistas de dados na preparação dos dados para análise, auxiliando na definição de estruturas e pipelines que suportem os modelos preditivos. Aptidões Requeridas 1. Experiência em Engenharia de Dados e Datalakes : • Proficiência em arquitetura de dados e desenvolvimento de datalakes, incluindo conhecimento em ferramentas de ETL e pipelines de dados. • Experiência com plataformas de gerenciamento de dados e armazenamento, como Apache Hadoop , Spark ou AWS S3 . 2. Conhecimento em Bancos de Dados e Linguagens de Manipulação de Dados : • Experiência em bancos de dados SQL (MySQL, PostgreSQL) e NoSQL (MongoDB, Cassandra), para armazenamento e consulta de dados de grandes volumes. • Habilidade com linguagens de manipulação de dados, como SQL e Python , para transformação e análise de dados. 3. Integração e Manipulação de APIs : • Experiência com APIs RESTful e integração de dados de múltiplas fontes, essenciais para alimentar o datalake com dados atualizados em tempo real. 4. Ferramentas de Monitoramento e Manutenção de Dados : • Familiaridade com ferramentas de monitoramento e manutenção de infraestrutura de dados, como Airflow para agendamento de tarefas e Prometheus para monitoramento. Aptidões Desejadas 1. Familiaridade com Ambientes de Computação em Nuvem : • Experiência com serviços de nuvem como AWS , Google Cloud Platform ou Azure para escalabilidade e gerenciamento de datalakes em ambiente de nuvem. 2. Conhecimento em Segurança de Dados : • Práticas de segurança e proteção de dados, especialmente em relação à privacidade e conformidade com regulamentações de proteção de dados. 3. Experiência com Processamento de Dados em Tempo Real : • Conhecimento em ferramentas de streaming de dados, como Kafka ou Flume , para possibilitar a análise de dados em tempo real. 4. Familiaridade com Ferramentas de Machine Learning e Integração com Ciência de Dados : • Conhecimento básico em machine learning e manipulação de dados para suportar cientistas de dados no desenvolvimento e teste de modelos preditivos. Soft Skills • Habilidade Analítica : Capacidade de organizar e estruturar dados de maneira que facilite o uso e a análise por outros profissionais. • Comunicação Eficiente : Habilidade para colaborar com desenvolvedores e cientistas de dados, garantindo que os dados estejam preparados e acessíveis para todas as análises. • Proatividade na Solução de Problemas : Capacidade de identificar melhorias e resolver desafios complexos no gerenciamento de grandes volumes de dados. • Trabalho em Equipe : Facilidade para atuar em um ambiente multidisciplinar, integrando-se de maneira eficaz com outros setores do projeto.