Data Engineer Pleno

Detalhes da Vaga

Job descriptionNós construímos soluções com alta volumetria de informações para a segurança de infraestrutura, segurança de sistemas e prevenção de cyber fraudes. Dentre as principais tecnologias utilizadas nestas aplicações, temos:Python;SQL;Pyspark;Pandas;Tensorflow;LLMs;Bancos de dados relacional e não relacional;Bancos de dados colunares e tabulares.No time buscamos cuidar das pessoas, garantir o desenvolvimento e excelência técnica. Valorizamos o trabalho em equipe e o compartilhamento de conhecimento e ideias onde tod@s têm voz ativa, independente do cargo ou experiência. Sempre procuramos questionar números e métodos além de utilizar as boas práticas de engenharia de software e segurança, como:Ciclo de desenvolvimento ágil;Revisão de código;Integração contínua;Testes automatizados;Monitoramento dos patches de segurança das principais tecnologias utilizadas;Testes de segurança;Treinamentos de segurança.Main responsibilitiesProjetar e desenvolver abordagens modernas que garantam fluxo de dados de ponta a ponta com escalabilidade, qualidade e resiliência;Definir e atualizar os padrões para adquirir, armazenar, gerenciar e compartilhar dados;Evoluir/adaptar as soluções de dados existentes com o uso de recentes tecnologias;Incentivar as melhores práticas de engenharia de dados para o desenvolvimento de soluções;Contribuir com o time multidisciplinar para projetar implementações escaláveis de modelos de machine learning, de data analytics e de análises exploratórias;Automatizar processos de monitoramento, alerta e manutenção de pipelines e sistemas de dados;Colaborar com outras áreas para apoiar o consumo e utilização de dados.Requirements and skillsProfissional com boa familiaridade em infraestrutura de nuvem como GCP, AWS ou Azure;Boa compreensão sobre modelagem de dados (colunares, tabulares, relacionais e não relacionais);Vivências anteriores na construção de pipelines de dados, utilizando soluções de processamento (Spark, Hadoop ou semelhantes), execução de consultas em grandes volumes de dados (Big Query, Athena ou similares) e orquestração (Airflow, Prefect, etc) em ambiente de produção;Bons conhecimentos sobre Data Lakes, Data Warehouses e Data Marts;Capaz de entender problemas de qualidade de dados, como resolvê-los e monitorá-los;Proficiência em Python, SQL, Git e em alguma ferramenta de ETL como DBT, Airbyte, Kinesis Data Firehose, entre outras;Conseguir comunicar de forma clara os resultados das análises realizadas.Additional informationExperiência na indústria de Cybersecurity e Anti-fraudes;Experiência com ferramentas como kubernetes, Big Query, Elasticsearch e etc;Compreensão de conceitos de ETL e big data voltados para aplicações de machine learning;Boas habilidades de comunicação e conforto ao discutir detalhes técnicos com o time;Gostar de compartilhar experiências, conhecimentos e suas expertises com outras pessoas por meio de palestras, blogs e publicações técnicas.
#J-18808-Ljbffr


Fonte: Whatjobs_Ppc

Função de trabalho:

Requisitos

Líder Técnico De Software Iii (Machine Learning)

O Inatel está recrutando Especialista para atuar com Liderança Técnica de projetos na área de Machine Learning, no ICC SW. Responsabilidades e atribuições Li...


Desde Instituto Nacional De Telecomunicações - Inatel - Brasil

Publicado a day ago

Staff Data Science

Staff Data Science - Brazil (remote) Our client in Brazil is looking for a Staff Data Science to build and define objectives almost from scratch. They are re...


Desde S&You - Brasil

Publicado a day ago

Pessoa Desenvolvedora De Software Sênior (Back-End)

Nosso jeito de fazer história: Entre para a história de construção do maior Hub de Dados e Analytics do Brasil. Além de você contribuir diretamente neste obj...


Desde Neoway - Brasil

Publicado 11 days ago

Analista De Testes / Qa Sênior

Analista de Testes / QA Sênior Job Description A Genesis Consulting tem oportunidade imediata para Analista de Testes/QA Sênior experientes com verdadeira pa...


Desde Genesis Consulting Partners, Llc - Brasil

Publicado 11 days ago

Built at: 2024-11-01T04:57:52.940Z