Engenheiro de Dados SR (Home Office)

Responsabilidades/ Atividades/ Entregas:

• Interagir com terceiros, fornecedores e/ou prestadores a fim de garantir o melhor entendimento e implementação dos dados e arquitetura;
• Participar de discussões baseadas em dados dentro da equipe e entre áreas de negócios, apoiando decisões importantes;
• Fazer a interface com os times de tecnologia e produtos a fim de definir as melhores práticas quanto ao armazenamento e consumo dos dados, além de sugerir, testar e acompanhar a implementação de novas tecnologias;
• Vai ser ponto de contato, provendo soluções que sejam disponibilizadas para consumo conforme a necessidade de cada tipo de usuário;
• Ter conhecimento e garantir que está sendo aplicado as melhores práticas de uso de dados;
• Contribuir em projetos de migração de dados entre plataformas (MF x Hadoop);
• Otimizar processos de ETL;
• Colaborar no desenho de arquiteturas para processamento de dados, seja para novos pipelines ou para melhoria do atual;
• Aplicar os padrões de governança de dados estabelecidos pela empresa;
• Garantir que arquitetura comporte necessidades e requisitos técnicos do time de execução, trabalhando em conjunto com times de TI (Arquitetura, Segurança, Infraestrutura) e com áreas de negócio;
• Desenvolver APIs de acesso e consumo dos dados para disponibilização dos dados como um produto;
• Identificar oportunidades e realizar estruturação de dados para uso em diversas áreas da empresa.

Requisitos/Experiência necessária:

• Spark (Scala/Python);
• Apache Airflow;
• Hadoop Ecosystem (Yarn, Hive, HDFS);
• Amazon AWS (EC2, S3, EMR);
• Cultura DevOps;
• Cassandra / Mongo DB;
• Inglês intermediário/avançado.

Requisitos desejáveis:

• Jenkins;
• Kubernetes / Docker;
• Terraform / Ansible;
• Apache Hudi / Iceberg;
• Cassandra;
• Trino (Presto);
• HBase;
• Delta Lake;
• Técnicas de CDC – Change Data Capture.