O que você irá fazer?Desenvolver e implementar serviços de coleta, armazenamento, processamento e consumo de dados;Criar, manter e monitorar pipelines de dados, tais como processos de coleta, armazenamento, processamento e consumo de dados em grande escala;Realizar provisionamento de infra-estrutura relacionadas a dados (Terraform);Integrar, operar e gerenciar serviços de comunicação (batch e tempo real) de dados;Prover integrações de aplicações e serviços de dados entre sistemas.O que buscamos?Proficiência em Python e SQL;Conhecimento em Spark (PySpark);Conhecimento comprovado com AWS;Conhecimento em ferramentas de big data como Apache Spark, Apache Kafka e Apache Airflow, e experiência em utilizá-las para construir pipelines de dados;Conhecimento nos principais serviços da AWS utilizados em engenharia de dados, como Amazon S3 para armazenamento de dados, AWS Glue para ETL, EMR, Amazon Redshift para data warehousing, e AWS Lambda para processamento de dados serverless;Experiência em bancos de dados relacionais e não relacionais, como MySQL, PostgreSQL, e/ou NoSQL (por exemplo, MongoDB), e capacidade de otimizar consultas e modelagem de dados;Compreensão dos conceitos de data lakes e data warehouses, e experiência em projetar e implementar soluções utilizando serviços da AWS, como Amazon S3 e Amazon Redshift;Conhecimento com arquitetura distribuída, conceitos de streaming de dados e utilização de ferramentas opensource;Conhecimento básico em práticas de segurança da AWS, como configuração de políticas de acesso e criptografia de dados, e conformidade com regulamentações de segurança;Habilidade para resolver problemas técnicos (troubleshooting) relacionados à infraestrutura e processamento de dados na AWS;Conhecimento com arquiteturas de batch e streaming;Familiaridade com sistemas de controle de versão, como Git, e boas práticas de clean code;Experiência com desenvolvimento de WebServices e integrações via API (Rest e Soap);Boas habilidades de comunicação para trabalhar em equipe e colaborar com outras áreas, como cientistas de dados, engenheiros de software e analistas de negócios.O que oferecemos?Vale Alimentação/Vale RefeiçãoPlano de saúde e odontológicoSeguro de vidaVale TransporteDuo Gourmet,Wellhub....e muito mais!
#J-18808-Ljbffr