Engenheiro(a) de Dados

Resumo

Nível de Experiência: Sênior
Tipo de alocação: Remoto

Descrição da vaga

Quais serão suas principais entregas?

Ter conhecimento e garantir que está sendo aplicado as melhores práticas de uso de dados;
Contribuir em projetos de migração de dados entre plataformas (MF x Hadoop);
Otimizar processos de ETL;
Colaborar no desenho de arquiteturas para processamento de dados, seja para novos pipelines ou para melhoria do atual;
Aplicar os padrões de governança de dados estabelecidos pela empresa;
Garantir que arquitetura comporte necessidades e requisitos técnicos do time de execução, trabalhando em conjunto com times de TI (Arquitetura, Segurança, Infraestrutura) e com áreas de negócio;
Desenvolver APIs de acesso e consumo dos dados para disponibilização dos dados como um produto;
Identificar oportunidades e realizar estruturação de dados para uso em diversas áreas da empresa;

Como será o seu dia a dia?

Interagir com terceiros, fornecedores e/ou prestadores a fim de garantir o melhor entendimento e implementação dos dados e arquitetura;
Participar de discussões baseadas em dados dentro da equipe e entre áreas de negócios, apoiando decisões importantes;
Fazer a interface com os times de tecnologia e produtos a fim de definir as melhores práticas quanto ao armazenamento e consumo dos dados, além de sugerir, testar e acompanhar a implementação de novas tecnologias;
Vai ser ponto de contato, provendo soluções que sejam disponibilizadas para consumo conforme a necessidade de cada tipo de usuário.

Conhecimentos

Conhecimentos que estamos buscando:
– Spark (Scala/Python)
– Apache Airflow
– Hadoop Ecosystem (Yarn, Hive, HDFS)
– Amazon AWS (EC2, S3, EMR)
– Cultura DevOps
– Cassandra / Mongo DB
– Inglês intermediário/avançado

Desejável conhecimento em:
– Jenkins
– Kubernetes / Docker
– Terraform / Ansible
– Apache Hudi / Iceberg
– Trino (Presto)
– HBase
– Delta Lake
– Técnicas de CDC – Change Data Capture