Engenheiro de Dados Databricks O Engenheiro de Dados Databricks será responsável por projetar, implementar e manter pipelines de dados escaláveis na plataforma Databricks. Esta função envolve trabalhar de perto com cientistas de dados, analistas e outras partes interessadas para garantir a qualidade dos dados, otimizar o desempenho e habilitar análises avançadas. Principais Responsabilidades: Projetar e desenvolver processos ETL e pipelines de dados usando Databricks. Colaborar com funcionais e analistas para entender os requisitos de dados e entregar soluções. Otimizar e ajustar clusters Databricks para desempenho e eficiência de custos. Implementar verificações de qualidade de dados e garantir a integridade dos dados. Desenvolver e manter documentação para pipelines de dados e processos. Monitorar e solucionar problemas de pipelines de dados e gargalos de desempenho. Manter-se atualizado com as últimas tendências e melhores práticas em engenharia de dados e Databricks. Qualificações: Bacharelado em Ciência da Computação, Tecnologia da Informação ou área relacionada. Experiência comprovada como Engenheiro de Dados, com foco em Databricks e Spark. Forte conhecimento em SQL e experiência com bancos de dados relacionais. Proficiência em linguagens de programação como Python, Scala ou Java. Experiência com plataformas em nuvem (por exemplo, AWS, Azure, Google Cloud) e seus serviços de dados. Compreensão dos conceitos e arquitetura de data warehousing. Excelentes habilidades de resolução de problemas e atenção aos detalhes. Fortes habilidades de comunicação e capacidade de trabalhar de forma colaborativa em um ambiente de equipe. Requisitos Técnicos Específicos: Experiência avançada com Databricks, incluindo criação e gerenciamento de notebooks, clusters, jobs e tarefas de automação. Conhecimento aprofundado de Apache Spark, incluindo otimização e técnicas avançadas de performance. Experiência com Databricks Delta Lake para otimização de armazenamento e gerenciamento de dados. Conhecimento em segurança e governança de dados no Databricks, incluindo controle de acesso, auditoria e conformidade. Habilidade em realizar troubleshooting avançado e resolução de problemas em ambientes Databricks. Diferenciais Certificação Databricks é um diferencial. Capacidade de implementar e gerenciar pipelines de dados contínuos usando Delta Live Tables Experiência com Delta Lake e arquiteturas de data lakehouse. Experiência com integração de Databricks com outras ferramentas de BI e análise, como Power BI, Tableau ou Looker. Familiaridade com o uso de Databricks para machine learning e integração com bibliotecas como MLflow. Familiaridade com Unity Catalog Experiência em automação de deployment e integração contínua (CI/CD) no ambiente Databricks. Vaga Remota
