Engenheiro de Dados Desenvolvedor SR (Home Office)

Responsabilidades/ Atividades/ Entregas:

• Ter conhecimento e garantir que está sendo aplicado as melhores práticas;
• Contribuir em projetos de migração de dados entre plataformas (MF x Hadoop);
• Otimizar processos de ETL;
• Colaborar no desenho de arquiteturas para processamento de dados, seja para novos pipelines ou para melhoria do atual;
• Aplicar os padrões de governança de dados estabelecidos pela empresa;
• Garantir que arquitetura comporte necessidades e requisitos técnicos do time de execução, trabalhando em conjunto com times de TI (Arquitetura, Segurança, Infraestrutura) e com áreas de negócio;
• Desenvolver APIs de acesso e consumo dos dados para disponibilização dos dados como um produto;
• Identificar oportunidades de melhorias no processo;
• Interagir com terceiros, fornecedores e/ou prestadores a fim de garantir o melhor entendimento e implementação da solução
• Participar de discussões de alinhamento.
• Fazer a interface com os times de tecnologia e produtos a fim de definir as melhores práticas quanto ao armazenamento e consumo dos dados,
• Além de sugerir, testar e acompanhar a implementação de novas tecnologias;

Requisitos/Experiência necessária:

• Spark (Scala/Python);
• Apache Airflow;
• Hadoop Ecosystem (Yarn, Hive, HDFS);
• Amazon AWS (EC2, S3, EMR, MSK, SQS, GLUE);
• Cultura DevOps;
• Banco de dados NSQL;
• Inglês intermediário/avançado;
• Java Core;
• Spring Boot;
• Junit;
• Ter atuado em projetos metodologia ágil.

Requisitos desejáveis:

• Jenkins;
• Kubernetes / Docker;
• Terraform / Ansible;
• Apache Hudi / Iceberg;
• ELastic Search / Mongo DB;
• Trino (Presto);
• HBase;
• Delta Lake;
• Técnicas de CDC – Change Data Capture;
• Cucumber.

Estilo de comportamento esperado (habilidades):

• Ser auto-gerenciável;
• Ownership;
• Trabalho em equipe;
• Proatividade.