BenefíciosVale refeiçãoVale alimentaçãoPlano de saúdePlano odontológicoJornada flexívelSeguro de vidaVale academiaÁreas de lazerDay off no aniversárioVale transporte ou vale combustívelRequisitosTecnologias NecessáriasConhecimentos obrigatóriosETLPythonTecnologias DesejáveisConhecimentos não obrigatóriosSQLGoogle CloudBig QueryBigDataGitSenioridadeTempo de experiência Sênior (Mais de 6 anos de experiência) Missão do Cargo: Garantir que todos os dados na estrutura de dados estejam disponíveis e confiáveis.Competências Técnicas:Python - Experiência em desenvolvimento em linguagem Python e suas bibliotecas de dados.Arquitetura de Ciclo de Vida de Dados - Capacidade de projetar, desenvolver e manter pipelines de dados escaláveis, eficientes e confiáveis para extrair, transformar, carregar e analisar dados.Limpeza e Transformação de Dados - Habilidade para limpar, transformar e preparar os dados para análise, identificando e tratando problemas de qualidade e integridade dos dados.GitHub - Habilidade com ferramenta de hospedagem e controle de versão de códigos.Arquitetura de Solução Cloud - Experiência em arquitetura e ferramentas de manipulação de dados Cloud. De preferencia GCP.Integração de Dados - Experiência em construção de integração de dados batch e NRT.Competências Comportamentais:Capacidade de resolução de problemasPensamento analíticoCuriosidade e sede de aprendizadoAtenção aos detalhes - Habilidade para garantir a precisão e a qualidade dos dados tratados, identificando erros ou inconsistências e resolvendo problemas de qualidade de dados. AtividadesCriar de Integrações de Dados para que todos os Dados sejam ingeridos no DataLake.Desenvolver de scripts e fluxos para alimentar os dados nas camadas Gold e demais.Criar indicadores para monitorar e garantir a qualidade e disponibilidade dos dados.Desenhar de Soluções de Dados dentro dos padrões de arquitetura.Monitorar a escalabilidade e tempos do pipeline de dados.Resolver Bugs e Defeitos do pipeline de Dados.Otimizar malhas de pipeline de dados .Manter documentação de rastreabilidade dos dados.Planejar como e quando os jobs serão executados, levando em consideração dependências entre eles e garantindo que ocorram no momento adequado para evitar conflitos ou sobrecargas no sistema.Implementar mecanismos de monitoramento para acompanhar o progresso dos jobs, detectar falhas ou atrasos e acionar alertas para intervenção manual, se necessário.Utilizar técnicas de paralelismo e distribuição para executar múltiplos jobs em paralelo, escalando horizontalmente a infraestrutura quando necessário para lidar com grandes volumes de dados.Implementar medidas de segurança para proteger os dados sensíveis, garantir conformidade com regulamentações e políticas de privacidade, e aplicar controles de acesso aos jobs e aos dados processados.Manter registros de execução, logs de erros, resultados de jobs e outras informações relevantes em um repositório de metadados para auditoria, diagnóstico e acompanhamento do desempenho do sistema.
