O que buscamos: Profissional que atue como Engenharia de Dados, necessário conhecimento em YAML e que possua disponibilidade para atuação híbrida (2x por semana presencial) no Itaim Bibi – Faria Lima (São Paulo/SP).Responsabilidades:Planejar, projetar e implementar arquiteturas de data lake, com foco em armazenamento escalável, segurança e acessibilidade dos dados.Configurar pipelines de dados utilizando AWS Glue, garantindo a extração, transformação e carregamento (ETL) dos dados de forma otimizada.Desenvolver e manter templates em YAML para a configuração e automatização de deploys, promovendo a padronização de infraestrutura.Utilizar AWS CloudFormation para criar e gerenciar stacks de infraestrutura como código (IaC), garantindo configurações consistentes e automatizadas.Implementar e gerenciar funções AWS Lambda para processamento em tempo real e execução de tarefas de ETL e ELT de forma serverless.Configurar e gerenciar SNS (Simple Notification Service) e SQS (Simple Queue Service) para orquestração e notificação de eventos, promovendo a comunicação eficiente entre sistemas.Configurar Firehose para a entrega de dados em tempo real para o data lake e outros serviços de armazenamento e processamento.Colaborar com equipes de desenvolvimento e analytics para assegurar o armazenamento e estruturação dos dados de forma acessível e escalável.Requisitos e Qualificações:Experiência sólida em arquitetura de data lakes e infraestrutura em nuvem AWS.Proficiência com AWS Glue para a criação e otimização de pipelines ETL.Conhecimento em YAML para configuração de deploys e automatização de templates de infraestrutura.Experiência com CloudFormation para automação de infraestrutura como código.Experiência com AWS Lambda para execução de funções serverless e automação de tarefas de ETL.Conhecimento em SNS e SQS para orquestração de eventos e comunicação assíncrona entre sistemas.Familiaridade com Firehose para streaming de dados em tempo real para o data lake.Habilidade de troubleshooting e otimização de performance em processos de ETL e data pipelines.Desejável:Experiência com arquitetura Lake House, integrando data lakes com data warehouses para uma solução de dados unificada e flexível.Certificações AWS ou experiência com outras ferramentas e serviços de dados.Iceberg spark.Experiência em metodologias ágeis e boas práticas de desenvolvimento.Ter experiência na implementação de uma arquitetura de lake house, incluindo integração de data lakes com data warehouses, para proporcionar maior flexibilidade e análise unificada de dados.Descrição comportamental:Procuramos uma pessoa que:Goste de trabalhar em equipe e seja colaborativa em suas atribuições.Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento.Transforme ideias em soluções criativas e busque qualidade em toda sua rotina.Tenha habilidades de resolução de problemas.Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo.Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.Big enough to deliver – small enough to care.#VempraGFT #VamosVoarJuntos #ProudToBeGFT.
#J-18808-Ljbffr