Data Engineer Pleno

Detalhes da Vaga

Job description

Nós construímos soluções com alta volumetria de informações para a segurança de infraestrutura, segurança de sistemas e prevenção de cyber fraudes.
Dentre as principais tecnologias utilizadas nestas aplicações, temos:
Python;
SQL;
Pyspark;
Pandas;
Tensorflow;
LLMs;
Bancos de dados relacional e não relacional;
Bancos de dados colunares e tabulares.
No time buscamos cuidar das pessoas, garantir o desenvolvimento e excelência técnica.
Valorizamos o trabalho em equipe e o compartilhamento de conhecimento e ideias onde tod@s têm voz ativa, independente do cargo ou experiência.
Sempre procuramos questionar números e métodos além de utilizar as boas práticas de engenharia de software e segurança, como:
Ciclo de desenvolvimento ágil;
Revisão de código;
Integração contínua;
Testes automatizados;
Monitoramento dos patches de segurança das principais tecnologias utilizadas;
Testes de segurança;
Treinamentos de segurança.
Main responsibilities

Projetar e desenvolver abordagens modernas que garantam fluxo de dados de ponta a ponta com escalabilidade, qualidade e resiliência;
Definir e atualizar os padrões para adquirir, armazenar, gerenciar e compartilhar dados;
Evoluir/adaptar as soluções de dados existentes com o uso de recentes tecnologias;
Incentivar as melhores práticas de engenharia de dados para o desenvolvimento de soluções;
Contribuir com o time multidisciplinar para projetar implementações escaláveis de modelos de machine learning, de data analytics e de análises exploratórias;
Automatizar processos de monitoramento, alerta e manutenção de pipelines e sistemas de dados;
Colaborar com outras áreas para apoiar o consumo e utilização de dados.
Requirements and skills

Profissional com boa familiaridade em infraestrutura de nuvem como GCP, AWS ou Azure;
Boa compreensão sobre modelagem de dados (colunares, tabulares, relacionais e não relacionais);
Vivências anteriores na construção de pipelines de dados, utilizando soluções de processamento (Spark, Hadoop ou semelhantes), execução de consultas em grandes volumes de dados (Big Query, Athena ou similares) e orquestração (Airflow, Prefect, etc) em ambiente de produção;
Bons conhecimentos sobre Data Lakes, Data Warehouses e Data Marts;
Capaz de entender problemas de qualidade de dados, como resolvê-los e monitorá-los;
Proficiência em Python, SQL, Git e em alguma ferramenta de ETL como DBT, Airbyte, Kinesis Data Firehose, entre outras;
Conseguir comunicar de forma clara os resultados das análises realizadas.
Additional information

Experiência na indústria de Cybersecurity e Anti-fraudes;
Experiência com ferramentas como kubernetes, Big Query, Elasticsearch e etc;
Compreensão de conceitos de ETL e big data voltados para aplicações de machine learning;
Boas habilidades de comunicação e conforto ao discutir detalhes técnicos com o time;
Gostar de compartilhar experiências, conhecimentos e suas expertises com outras pessoas por meio de palestras, blogs e publicações técnicas.

#J-18808-Ljbffr


Salário Nominal: A acordar

Fonte: Appcast_Ppc

Função de trabalho:

Requisitos

Data Science Specialist

Job descriptionQibit was born to transform people's futures! We are a global network for technology, UX, and digital professionals. Here, companies discover ...


Qibit - Brasil

Publicado 2 days ago

Engenheiro De Dados Azure

E-mail: rh***@***.brDescriçãoExperiência com:Plataforma Cloud (Microsoft Azure)Data Lake Storage, Databricks, Azure Datafactory e DatabricksDevOps (CI/CD)Sca...


Bluesix - Brasil

Publicado 2 days ago

Grupo Quintoandar | Senior Security Engineer, Endpoint

About QuintoAndar:QuintoAndar was born to do something very rewarding: open doors. We opened doors for technology to be part of living. And, through it, we s...


Quinto Andar Serviços Imobiliários - Brasil

Publicado 2 days ago

Identity & Access Management Analyst

This position/role exists to:The Identity & Access Management Analyst is part of the Global Information Security organization. The ideal candidate will have ...


Sylvamo - Brasil

Publicado 2 days ago

Built at: 2024-11-15T21:54:06.083Z