Visão Geral da Posição: Estamos buscando um Arquiteto de Banco de Dados & Desenvolvedor ETL altamente qualificado para estruturar e modelar nosso repositório de dados extenso, atualmente composto por 7TB de arquivos CSV e 5TB de dados em SQL Server, em um banco de dados relacional MariaDB hospedado em uma nuvem privada alemã (Hetzner). Esta função envolve o design de arquiteturas de dados de alto desempenho, o desenvolvimento de ETLs e a criação de algoritmos para gerar insights acionáveis por meio de APIs e processos em batch. Além disso, utilizaremos o LLM Studio para consumir esta base de dados e criar agentes sobre essa LLM que consumirão essa inteligência. Responsabilidades Principais: Design e Modelagem de Banco de Dados: Estruturar e modelar os dados existentes em um banco de dados relacional MariaDB. Garantir a integridade dos dados, escalabilidade e alto desempenho. Migrar dados de CSV e SQL Server para MariaDB. Implantação em Nuvem: Implantar o banco de dados MariaDB na plataforma de nuvem Hetzner. Assegurar uma infraestrutura de nuvem segura, eficiente e robusta. Desenvolvimento de ETL: Desenvolver processos ETL para ingerir, transformar e carregar dados no MariaDB. Implementar e gerenciar fluxos de trabalho e pipelines de dados. Desenvolvimento de Algoritmos: Criar algoritmos para gerar indicadores de pontuação a partir dos dados. Desenvolver APIs (RESTful) para consumo de dados em tempo real e batch usando Python ou Node.js. Otimização de Performance: Otimizar o desempenho do banco de dados para consumo via API. Garantir alta disponibilidade e confiabilidade da arquitetura de dados. Colaboração e Documentação: Colaborar com equipes internas para mapear bases de conhecimento e convertê-las no ciclo do MariaDB. Documentar designs de banco de dados, processos ETL e algoritmos para referência futura. Habilidades e Competências Necessárias: Habilidades Técnicas: Proficiência em MariaDB e SQL Server. Sólida experiência em design, modelagem e otimização de bancos de dados. Expertise em ferramentas e processos ETL. Compreensão sólida de plataformas de nuvem, especificamente Hetzner. Proficiência em Python ou Node.js para desenvolvimento de APIs. Certificações: Certified Database Administrator (CDBA) ou equivalente. Certified MariaDB Administrator (CMA) é um diferencial. AWS Certified Solutions Architect ou certificação de nuvem similar. Competências Profissionais: Excelentes habilidades de resolução de problemas e análise. Fortes habilidades de comunicação e colaboração. Capacidade de trabalhar de forma independente e gerenciar múltiplas tarefas. Orientado a detalhes com forte foco em qualidade e desempenho. Experiência: Mínimo de 5 anos em arquitetura de banco de dados e desenvolvimento de ETL. Histórico comprovado de migração de grandes volumes de dados para bancos de dados relacionais. Experiência em implantar e gerenciar bancos de dados em ambientes de nuvem.
