Job descriptionA Gamers Club está crescendo e gerando mais e mais dados a cada dia. Mas não basta que os dados sejam armazenados, temos que consumi-los possibilitando melhores estratégias de nossos produtos. Para que isso aconteça é necessário organizá-los e fornecer acessos às demais áreas e tomadores de decisão.Assim, a área de Data está buscando alguém que domine Engenharia de Dados! Nossa expectativa é que esta pessoa defina junto ao time quais serão as melhores práticas para ingestão e consumo de dados no nosso Datalake, bem como priorizar ETLs que sejam mais relevantes para o negócio da GC.Main responsibilitiesExecutar estratégias para identificar, avaliar, negociar e fechar novas oportunidades de negócios com potenciais clientes;Estruturar a ingestão de dados e os pipelines de transformação, tendo competências nas ferramentas a utilizar em cada fase.Mapear as fontes de dados das aplicações utilizadas nas aplicações da empresa;Definir soluções de dados (desde a ingestão até ao consumo final);Desenvolver pipelines de ingestão de várias fontes para o Datalake;Garantir a replicação exata dos dados no ambiente de Big Data;Manter atualizada a documentação de processos, esquemas, tabelas e relações de dados;Colaborar com as áreas de dados e negócio para estabelecer regras e conceitos.Requirements and skillsO que buscamos:Experiência em programação com Python.Atuação com Pyspark para processamento de dados.Conhecimento em SQL para consultas e manipulação de dados.Experiência com versionamento de código usando Git, GitHub e GitLab.Habilidade em Infrastructure as Code (IaC) utilizando Terraform.Familiaridade com a plataforma Databricks para análise e processamento de dados.Conhecimento em Apache Spark para processamento distribuído de dados.Experiência na orquestração de pipelines de dados com ferramentas como Luigi, Airflow, Jenkins e Data Factory.Experiência em consumo de dados por APIs.Conhecimentos em modelagem de dados para Data Warehouse e Data Lake.Experiência em processos de ETL (Extract, Transform, Load).Conhecimento em administração de sistemas Linux.Experiência em Query Processing.Conhecimento em MongoDB e relacionais como PostgreSQL.Inglês intermediário (escrita e leitura).Diferenciais (não é obrigatório, mas seria um PLUS! se você tivesse)Docker and KubernetesKinesis Data Firehose/SNS/SQSEMR/Athena/DMS/RDSAdditional informationTodas as pessoas são super bem vindas para todas as vagas independe de gênero, orientação sexual, cor, deficiência etc. A GC é para todos;Contratação CLT com benefícios como vale refeição/vale alimentação, plano de saúde, odontológico, seguro de vida e auxílio creche;Contamos com benefícios personalizados como Day Off de aniversário, incentivo a desenvolvimento, bônus anual e outros;Horário flexível e possibilidade de trabalho full remoto;Temos um ambiente altamente flexível, colaborativo e desafiador;Liderança próxima e super abertos a novas ideias.
#J-18808-Ljbffr
