Data Engineer – Azure (remotely for US client – shift work – Vietnam based only)

Descrição

Experiência comprovada em streaming de dados em tempo real usando Spark Streaming ou Azure Functions, com forte proficiência em Python para processamento e automação de dados. Experiência prática com Kafka para ingestão de dados e enfileiramento de mensagens, além de familiaridade com Redis para cache e recuperação rápida de dados. Conhecimento em arquiteturas de data lake e melhores práticas para armazenamento e recuperação de dados. Compreensão sólida dos princípios de engenharia de software, incluindo padrões de design, teste e documentação. Habilidades de resolução de problemas e capacidade de trabalhar em um ambiente colaborativo e dinâmico são essenciais. Qualificações preferenciais incluem experiência com plataformas em nuvem como Azure e conhecimento de outras linguagens de programação e frameworks relacionados à engenharia de dados, além de familiaridade com modelagem de dados, processos ETL e conceitos de data lake.