Italo Siqueira
About Candidate
Profissional com 3 anos de experiência atuando como Engenheiro de Dados, com expertise em desenvolver pipelines de dados escaláveis em Python, utilizando Pandas, PySpark para ETL de dados de diversas fontes. Utilização do Apache Airflow para orquestração de workflows, aplicações de scraping e consumo de APIs utilizando Docker, otimização de queries com Oracle, Sql Server e Trino.
Atuo em projetos com os serviços do Google Cloud Platform (Cloud Functions, Cloud Composer, Cloud Storage, GKE) e estou me desenvolvendo em soluções na cloud Azure para implementação de arquiteturas de dados escaláveis.
Com competências em:
Python, PySpark, SQL, SQL Server, MySQL, Postgresql, Oracle, Trino, Apache Spark, Airflow, Pandas, ETL, Docker, Kubernets, Web Scraping, MongoDB, GCP (Cloud Function, Cloud Storage, Cloud Composer, GKE), Azure, AWS, Databricks.
Links
Education
Graduação em Sistemas de Informação pela Universidade Estadual de Montes Claros
Experiences
- Extração, processamento e normalização de dados de diversas fontes utilizando Oracle e Sql Server - Orquestração de pipelines utilizando JETL com o Ecossistema Hadoop com foco na geração de dashboards no Tableau.
- Desenvolvimento de workflows em Python, utilizando Pandas, PySpark e SQLAlchemy para ETL de dados de diversas fontes utilizando Apache Airflow com ambiente GCP. - Migração de banco de dados juntamente com pipelines entre diferentes ambientes garantindo a integridade dos dados. - Desenvolvimento de aplicações de web scraping e consumo de APIs utilizando Docker. - Consultas ad hoc com Presto SQL para análises rápidas de grandes volumes de dados.
Skills
Python
Sql
Pyspark
GCP
AWS
Azure
ETL
Databricks
No SQL
API
CI/CD
Data Lake
Delta Lake
