Engenheiro De Dados Sênior

Engenheiro de Dados Sênior - Remoto Tempo de projeto: Indeterminado Remoto Experiência com shell script ( sh/ksh/bash ) Experiência em Linguagem de programação : python 3.x e scala 2.X. Paradigma de Linguagem de Programação: Funcional, Procedural e OO. Ferramentas de build: sbt/maven IDEs : Intellij/Vs-Code Ferramentas de gestão de configuração : gitlab e git. Conhecimentos de CI/CD Conhecimentos de Linux ( Sistema operacional, comandos básicos, gerenciamento de processos, gerenciamento de arquivos ) Conhecimento em Banco de Dados Relacional : Oracle Conhecimento e Experiência em Banco de Dados Não Relacional: Mongodb/ElasticSearch Conhecimento e Experiência em Banco de Dados colunar: HBASE. Integração de Sistemas : conhecimento e experiência com APIs REST, APIs Soap. Dominar os conceitos de Big-Data (Hadoop, MapReduce, Ingestão de dados, Processamento de dados e Armazenamento de dados ). Desejável conhecimentos de conteiner (docker/docker-compose), orquestração de conteiner (K8S, docker-swarm) e Kubernetes. Conhecimentos, experiências e domínio em ecossistema Hadoop: Hive/HUE/Impala/Hbase/Hdfs/Sqoop/Beeline Consultas, Armazenamento, Spark2/Spark3 SQL e Streaming, Dataframe Dados estruturados e semiestruturados em forma tabular Operações : Transformações e Ações. Formato de Arquivos Parquet, ORC, JSON, CSV, Plain Text YARN/Zookeeper Gerencimento de Processos Kerberos Autenticação Desejável conhecimentos em Control-M e Cloudera Manager. Desejável conhecimentos em Telecomunicações ( Operadora Móvel/Fixa ) Caso seja do seu interesse, envie o seu CV para ****** ou indique um amigo no portal acesse Siga nossas redes sociais: - : - Instagram: - Site: #VemSerRunner !