Engenheiro De Dados Especialista (Home Office)

Informaes adicionais

Horrio de Trabalho:
Comercial

Requisitos tcnicos obrigatrios

Python

JavaScript

Apache Airflow

Orquestrao de pipelines

Experincia comprovada em atividades de catalogao e linhagem de dados usando Amudsen (amudsen.io);
Afinidade na configurao de conectores do Amundsen para as principais tecnologias de bancos de dados e com as principais bibliotecas e servios, tais como:
amundsenfrontendlibrary:
servio de front-end do Amundsen, escrito em Flask para a API e a UI (User Interface) em ReactJS;
amundsensearchlibrary:
servio de pesquisa dos metadados, se utiliza do ElasticSearch como back-end; usado para potencializar as pesquisas de metadados feitas no front-end;
amundsenmetadatalibrary:
servio de metadados, que utiliza o banco em grafo Neo4j ou Apache Atlas como camada de persistncia dos dados; armazena os metadados que so extrados da origem;

amundsendatabuilder:
biblioteca para ingesto de dados dentro do Amundsen, realiza a construo dos grafos de metadados (Neo4j ou Atlas) e ndices de pesquisa (ElasticSearch); usurios podem carregar os dados por um script Python ou utilizando uma DAG no Airflow.
Apache Atlas

Setup, configurao e implementao de conectividade entre o Atlas e o Amundsen

Conhecimento / Requisitos tcnicos desejveis

Jenkins
Kubernetes / Docker

Terraform / Ansible

Ecossistema Hadoop

Spark
Cassandra

MongoDB

HBase

Delta Lake

Benefcios
Vale Refeio ou Vale Alimentao

Assistncia Mdica

Assistncia Odontolgica

Seguro de Vida
Vale Transporte

Programa para Desenvolvimento Profissional (Certificao)

Auxlio home office

Lincard Descontos em cinema, farmcias, parques e muito mais!