Pessoa Engenheira de Dados Sênior (CONGELADA) Sobre o Contratante Empresa de tecnologia que visa transformar dados em ferramentas para o setor de educação.
Descrição de Atividades Liderar a equipe de engenharia de dados Liderar o desenvolvimento de um pipeline de dados para conduzir todo nosso processamento, do estágio bruto até nossa plataforma online, levando em consideração a necessidade deste pipeline suportar dados com variados graus de organização e qualidade Ajudar na definição, configuração e manutenção da infraestrutura de processamento e armazenamento de dados, tanto para arquiteturas de data lake, quanto de data warehouse (p.ex.
AWS, PostgreSQL) Dar suporte ao desenvolvedores Back-End, tanto nas operações do dia-a-dia, quanto na contínua melhoria da modelagem de nossos bancos de dados Revisar e promover a melhoria contínua do código da equipe de dados Orientar e dar suporte aos membros menos experientes da equipe que irão auxiliar nas tarefas descritas acima Requisitos Experiência no uso de ferramentas para ETL, como Airflow, Luigi, AWS Glue ou similares, particularmente para as etapas de limpeza de dados Experiência em criação e configuração de infraestrutura em nuvem (AWS, Google Cloud) Linguagens de programação: Python para manipular DataFrames (pandas, PySpark) e para POO; ou Ruby Desenvolvimento orientado a teste Desenvolvimento de software com uso de versionamento de código, CI/CD e metodologia ágil Conhecimento de banco de dados relacionais, por exemplo PostgreSQL ou MySQL Modelagem de dados Conhecimento de banco de dados não relacionais Atenção a detalhes: nosso grande desafio é a interoperabilidade de dados… O que é isso ?
Recebemos dados de fontes diversas, com padrões muitas vezes diferentes, e às vezes sem um padrão definido.
É nosso trabalho organizar todos estes dados para deixá-los homogêneos e prontos para análise Diferenciais Experiência liderando pessoas Experiência propondo e criando do zero (com qualquer ferramenta) pipelines de tratamento de dados Experiência com abordagens específicas para controle de qualidade de dados O que oferecemos Pacote de remuneração competitivo com o mercado; Regime de contratação CLT; Plano de saúde; Caju Benefícios: saldo mensal flexível para uso em refeição e alimentação; Horário flexível; Trabalho híbrido ou totalmente remoto.
Curta JoinUs Siga nossa página no LinkedIn Categoriasblog oportunidades Warning: Unknown: open(/opt/remi/php56/root/var/lib/php/session/sess_jmovpeb4b7lns3j1mup1v5nlt6, O_RDWR) failed: Permission denied (13) in Unknown on line 0Warning: Unknown: Failed to write session data (files).
Please verify that the current setting of session.save_path is correct (/opt/remi/php56/root/var/lib/php/session) in Unknown on line 0
#J-18808-Ljbffr