Engenheiro de Dados

Tipo de contratação: CLT

Modalidade: Remoto

Local de Trabalho: Home Office

Formação: Superior Completo

Requisitos Obrigatórios/Tecnologia/Conhecimento necessários

Principais atividades

REQUISITOS/HABILIDADES OBRIGATÓRIAS:

Sólidos conhecimentos em tecnologias relacionadas à arquitetura cloud, com ênfase em Databricks e suas ferramentas (Unit Catalog, Delta Lake, Databricks Workflows, SQL Editor, Jobs, DLT, etc.);

Experiência em projetos em ambientes de nuvem, preferencialmente na AWS , com integração ao Databricks para pipelines de dados escaláveis;

Experiência no desenvolvimento de jobs Spark em modo batch e Spark Streaming , com uso de Databricks Notebooks em Python para manipulação e transformação de dados;

Conhecimento avançado em Engenharia de Dados , com experiência em processos de ETL (Extração, Transformação e Carga), e suas variações, no ambiente Databricks ;

Experiência com modelagem relacional e dimensional;

Conhecimento em bancos de dados relacionais, como Db2 e SQL Server ;

Integração entre bancos de dados relacionais , com o Databricks utilizando JDBC .

CONHECIMENTOS TÉCNICOS DESEJÁVEIS (DIFERENCIAIS):

Conhecimento em soluções de replicação de dados, especialmente em ambientes que utilizam o *Databricks * para gerenciamento de grandes volumes de dados em tempo real;

Participação em projetos de implementação e governança de Data Lake ;

Proficiência em Scala para desenvolvimento e programação em ambientes distribuídos;

Familiaridade com ferramentas de análise de dados e machine learning como (R e SAS);

Conhecimento em bancos de dados MPP, como Netezza * ou *Redshift