Engenheiro(a) de Dados

Resumo

  • Nível de Experiência: Sênior
  • Tipo de alocação: Remoto

Descrição da vaga

Quais serão suas principais entregas?

  • Ter conhecimento e garantir que está sendo aplicado as melhores práticas de uso de dados;
  • Contribuir em projetos de migração de dados entre plataformas (MF x Hadoop);
  • Otimizar processos de ETL;
  • Colaborar no desenho de arquiteturas para processamento de dados, seja para novos pipelines ou para melhoria do atual;
  • Aplicar os padrões de governança de dados estabelecidos pela empresa;
  • Garantir que arquitetura comporte necessidades e requisitos técnicos do time de execução, trabalhando em conjunto com times de TI (Arquitetura, Segurança, Infraestrutura) e com áreas de negócio;
  • Desenvolver APIs de acesso e consumo dos dados para disponibilização dos dados como um produto;
  • Identificar oportunidades e realizar estruturação de dados para uso em diversas áreas da empresa;

Como será o seu dia a dia?

  • Interagir com terceiros, fornecedores e/ou prestadores a fim de garantir o melhor entendimento e implementação dos dados e arquitetura;
  • Participar de discussões baseadas em dados dentro da equipe e entre áreas de negócios, apoiando decisões importantes;
  • Fazer a interface com os times de tecnologia e produtos a fim de definir as melhores práticas quanto ao armazenamento e consumo dos dados, além de sugerir, testar e acompanhar a implementação de novas tecnologias;
  • Vai ser ponto de contato, provendo soluções que sejam disponibilizadas para consumo conforme a necessidade de cada tipo de usuário.

Conhecimentos

Conhecimentos que estamos buscando:
– Spark (Scala/Python)
– Apache Airflow
– Hadoop Ecosystem (Yarn, Hive, HDFS)
– Amazon AWS (EC2, S3, EMR)
– Cultura DevOps
– Cassandra / Mongo DB
– Inglês intermediário/avançado

Desejável conhecimento em:
– Jenkins
– Kubernetes / Docker
– Terraform / Ansible
– Apache Hudi / Iceberg
– Trino (Presto)
– HBase
– Delta Lake
– Técnicas de CDC – Change Data Capture

Vagas Similares

  • Brasil
  • Remoto

Engenheiro de Dados

Principais Atividades / Requisitos: Obrigatório: Python.JavaScript.Apache Airflow.Orquestração de pipelines.Experiência comprovada em atividades de

  • Brasil
  • Remoto

Engenheiro de Dados

• Realizar entregas de acordo com o objetivo da Sprint/Kanban, atendendo

  • Brasil
  • SP
  • São Paulo
  • Hibrido

Engenheiro de Dados

Projetar pipelines de dadosEntender o problema e/ou a necessidade das áreas

  • Remoto

Engenheiro de Dados

Projetar pipelines de dados.Entender o problema e/ou a necessidade das áreas

  • Remoto

Engenheiro de Dados

Ingestão e preparação de dados no Datalake e Teradata.

  • Brasil
  • Remoto

Arquiteto (a) de Soluções

Conhecimento Mandatório: Infra as Code: Ansible, TerraformRedes e Virtualização: VMs, Storage, Configuração

  • Brasil
  • Remoto

Engenheiro (a) de Dados

Principais Atividades / Requisitos: o Desenvolvimento alavancando framework Spark (ecossistema BigData)o Desenvolvimento

Se Interessou? Envie seu currículo.

Faça parte da nossa equipe! Venha para Jump Label Solutions!