Desenvolvimento e Manutenção de Pipelines de Machine Learning• Projetar, construir e manter pipelines de ML eficientes e escaláveis, utilizando práticas de MLOps para automatizar e otimizar o ciclo de vida de modelos de machine learning.• Implementar e manter pipelines de integração contínua e entrega contínua (CI/CD) para aplicações de machine learning usando Jenkins, com scripts Groovy para automação.• Gerenciar a orquestração de containers com Kubernetes, assegurando a configuração, gerenciamento e otimização adequados dos recursos.Desenvolvimento de Software• Desenvolver e manter API's REST, scripts de ETL, e realizar manipulação e análise de dados utilizando Python, Pandas, e outras bibliotecas relevantes.• Escrever testes unitários e de integração, aplicando princípios SOLID para garantir código limpo, legível e manutenível.• Realizar troubleshooting e otimização de performance para as aplicações desenvolvidas.Processamento e Análise de Dados• Utilizar Apache Spark para processamento eficiente de grandes volumes de dados, empregando técnicas de programação distribuída.• Executar consultas e manipulações complexas de dados em bancos de dados relacionais usando SQL, entendendo profundamente as operações de banco de dados.Integração de Sistemas• Projetar e implementar filas de mensagem para facilitar a comunicação eficiente entre diferentes componentes e serviços, garantindo robustez e escalabilidade.• Administrar e otimizar ambientes de desenvolvimento e servidores baseados em Linux.Gestão de Infraestrutura de Cloud• Gerenciar e otimizar recursos na nuvem, com foco em Azure e Google Cloud Platform, para suportar aplicações e pipelines de ML.Monitoramento e Análise• Configurar e utilizar Prometheus e Grafana para monitorar e analisar o desempenho das aplicações e infraestrutura, facilitando a identificação de pontos de melhoria.Experimentação e Gerenciamento de Modelos• Utilizar MLflow e Flyte para rastrear experimentos, gerenciar modelos de ML e automatizar fluxos de trabalho, contribuindo para a melhoria contínua dos modelos e processos.
#J-18808-Ljbffr