Engenheiro De Dados Sênior

Engenheiro de Dados Sênior - Remoto
Tempo de projeto: Indeterminado
Remoto

Experiência com shell script ( sh/ksh/bash )

Experiência em Linguagem de programação : python 3.x e scala 2.X.

Paradigma de Linguagem de Programação: Funcional, Procedural e OO.

Ferramentas de build: sbt/maven

IDEs : Intellij/Vs-Code
Ferramentas de gestão de configuração : gitlab e git.

Conhecimentos de CI/CD

Conhecimentos de Linux ( Sistema operacional, comandos básicos, gerenciamento de processos, gerenciamento de arquivos )

Conhecimento em Banco de Dados Relacional : Oracle

Conhecimento e Experiência em Banco de Dados Não Relacional: Mongodb/ElasticSearch

Conhecimento e Experiência em Banco de Dados colunar: HBASE.

Integração de Sistemas : conhecimento e experiência com APIs REST, APIs Soap.

Dominar os conceitos de Big-Data (Hadoop, MapReduce, Ingestão de dados, Processamento de dados e Armazenamento de dados ).

Desejável conhecimentos de conteiner (docker/docker-compose), orquestração de conteiner (K8S, docker-swarm) e Kubernetes.

Conhecimentos, experiências e domínio em ecossistema Hadoop:
Hive/HUE/Impala/Hbase/Hdfs/Sqoop/Beeline
Consultas, Armazenamento, Spark2/Spark3
SQL e Streaming, Dataframe
Dados estruturados e semiestruturados em forma tabular
Operações : Transformações e Ações.
Formato de Arquivos
Parquet, ORC, JSON, CSV, Plain Text YARN/Zookeeper
Gerencimento de Processos Kerberos Autenticação

Desejável conhecimentos em Control-M e Cloudera Manager.
Desejável conhecimentos em Telecomunicações ( Operadora Móvel/Fixa )

Caso seja do seu interesse, envie o seu CV para ****** ou indique um amigo no portal acesse

Siga nossas redes sociais:
- LinkedIn:
- Instagram:
- Site: