O que buscamos: Profissional que atue como Engenharia de Dados , necessário conhecimento em YAML e que possua disponibilidade para atuação hibrida (2x por semana presencial) no Itaim Bibi – Faria Lima (São Paulo/SP).Responsabilidades : Planejar, projetar e implementar arquiteturas de data lake, com foco em armazenamento escalável, segurança e acessibilidade dos dados.Configurar pipelines de dados utilizando AWS Glue, garantindo a extração, transformação e carregamento (ETL) dos dados de forma otimizada.Desenvolver e manter templates em YAML para a configuração e automatização de deploys, promovendo a padronização de infraestrutura.Utilizar AWS CloudFormation para criar e gerenciar stacks de infraestrutura como código (IaC), garantindo configurações consistentes e automatizadas.Implementar e gerenciar funções AWS Lambda para processamento em tempo real e execução de tarefas de ETL e ELT de forma serverless.Configurar e gerenciar SNS (Simple Notification Service) e SQS (Simple Queue Service) para orquestração e notificação de eventos, promovendo a comunicação eficiente entre sistemas.Configurar Firehose para a entrega de dados em tempo real para o data lake e outros serviços de armazenamento e processamento.Colaborar com equipes de desenvolvimento e analytics para assegurar o armazenamento e estruturação dos dados de forma acessível e escalável.Requisitos e Qualificações: Experiência sólida em arquitetura de data lakes e infraestrutura em nuvem AWS;Proficiência com AWS Glue para a criação e otimização de pipelines ETL.
;Conhecimento em YAML para configuração de deploys e automatização de templates de infraestrutura;Experiência com CloudFormation para automação de infraestrutura como código;Experiência com AWS Lambda para execução de funções serverless e automação de tarefas de ETL;Conhecimento em SNS e SQS para orquestração de eventos e comunicação assíncrona entre sistemas;Familiaridade com Firehose para streaming de dados em tempo real para o data lake;Habilidade de troubleshooting e otimização de performance em processos de ETL e data pipelines.Desejável: Experiência com arquitetura Lake House, integrando data lakes com data warehouses para uma solução de dados unificada e flexível;Certificações AWS ou experiência com outras ferramentas e serviços de dados;Iceberg spark;Experiência em metodologias ágeis e boas práticas de desenvolvimento;Descrição comportamental: Procuramos uma pessoa que:Goste de trabalhar em equipe e seja colaborativa em suas atribuições;Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;Tenha habilidades de resolução de problemas ;Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo ;Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.#J-18808-Ljbffr