Rafael Moraes
About Candidate
Sou um engenheiro de dados qualificado com vasta experiência em PySpark, Python e processos de ETL. Tenho habilidades no desenvolvimento de pipelines de dados eficientes e escaláveis, utilizando plataformas de BigData para extrair insights valiosos. Sou proficiente no Google Cloud Platform (GCP), especialmente no BigQuery e DataProc, e tenho experiência em orquestração de workflows com Apache Airflow.
Além disso, sou competente em Shell scripting, tecnologias de streaming como Apache Kafka e NiFi, e ferramentas de armazenamento e consulta de dados como Apache Hive e Impala. Também trabalhei com a plataforma Microsoft Azure, desenvolvendo e gerenciando soluções de dados na nuvem. Meu objetivo é ajudar sua empresa a alcançar excelência na gestão e análise de dados, contribuindo para decisões informadas e estratégicas.
Education
Experiences
- Criação de scripts em ambiente distribuído - Criação de processo de ETL - Criação de fluxos de ingestão e streaming usando Nifi e Spark - Orquestração de processos usando Airflow - Criação de processos usando ferramentas do GCP - Otimização de processos - Conversão e criação de arquivos ORC, Parquet e Avro - Tratamento de Jsons usando Jolt - Familiarização em ambiente Azure, Oracle Cloud e GCP - Landscape: PySpark, Python, Json, SQL, HQL, Sqoop, Shell, Linux, API, GIT, Airflow, Hive e Impala