Fundamentos Engenharia de dados e Bigdata com Azure

Neste curso eu mostrarei o caminho para quem deseja começar a trabalhar com Bigdata na Azure.

Você aprenderá todo os conceitos chaves para criar pipelines usando o que há de mais inovador no mercado de dados.

Você aprenderá:

· Criação dos componentes na Azure;

· Arquitetura base para projetos de Bigdata e Analytics;

· Definição de camadas de dados no Data lake;

· Diferenças entre Data warehouse, Bigdata e Lake house;

· Ingestão de dados: Como se conectar às suas fontes de dados on-premises e trazer os dados para dentro do Data Lake na Azure.

· Transformações e manipulações de dados com Pyspark e Spark SQL;

· Utilização de particionamentos em formato Parquet e Delta lake;

No módulo Hands-on, abordaremos de forma prática a utilização básica de Azure Data Factory, Azure Data Lake Storage gen2 (ADLS gen2), Azure Databricks e muito mais.

Abordaremos desde a parte teórica até demonstrações práticas, para facilitar o entendimento de cada step de um processo de engenharia de dados utilizando stack Azure.

O curso ainda conta com alguns exercícios práticos de ingestão, manipulação e exploração de dados, onde você poderá praticar os conceitos aprendidos e estar preparado para os desafios profissionais de engenharia e análise de dados.

Após concluir o curso, você estará apto a entender como funciona um sistema de Bigdata e engenharia de dados na Azure e conseguirá dar os primeiros passos em direção ao sucesso!