Engenheiro De Dados Pl

Job descriptionSomos a maior multinacional brasileira e estamos entre as 100 maiores empresas de TI do mundo.Estamos presentes em 41 países com +30k colaboradores. A Stefanini tem como principal objetivo auxiliar os clientes a encontrar, por meio de soluções personalizadas, a maneira ideal para alcançar seus desafios, impulsionando a inovação digital.E queremos mais!Main responsibilitiesO que esperamos que você realize:O Engenheiro de Dados será responsável por desenvolver e manter pipelines de dados utilizando Python, Pandas e Boto3, além de implementar processos de ETL com AWS Glue e Lambda. Também deverá criar soluções de processamento em escala com Scala, Spark e SBT, otimizando o desempenho dos jobs. Será necessário modelar dados para atender às necessidades das equipes de análise e ciência de dados, colaborar com partes interessadas e utilizar Terraform para gerenciar a infraestrutura na AWS, incluindo serviços como Athena e LakeFormation. O profissional usará Git para controle de versão, participará de revisões de código e documentará processos e soluções desenvolvidas. Além disso, deverá monitorar e otimizar o desempenho dos sistemas de dados e acompanhar tendências na área. Habilidades opcionais incluem experiência com Databricks, conhecimento em Docker e familiaridade com GitLab CI.Requirements and skillsRequired Skills:Python -> Pandas, Boto3Scala -> Spark, SBTCloud -> AWS: Glue, Athena, Lakeformation (administrators), LambdaTerraform -> AWS ProviderData Modeling KnowledgeGitOptional Skills:Platform -> DatabricksDockerGitLab CIAdditional informationO que te oferecemos:Vale Alimentação ou Vale Refeição;Desconto em cursos, universidades e instituições de idiomas;Academia Stefanini - plataforma com cursos online, gratuitos, atualizados e com certificado;Mentoring;Auxílio Creche;Clube de vantagens para consultas e exames;Assistência Médica;Assistência Odontológica;Clube de vantagens e descontos nos melhores estabelecimentos;Atendimento psicológico online ao colaborador e seus dependentes;Clube de viagens;Convênio para Pet;e muito mais...
#J-18808-Ljbffr