Formação Spark com Pyspark : o Curso Completo

Domine a mais importante ferramenta para Cientistas de Dados e Engenheiros de Dados para processamento de dados massivos

4.62 (1208 reviews)
Udemy
platform
Português
language
Other
category
instructor
Formação Spark com Pyspark : o Curso Completo
5,838
students
11 hours
content
Jul 2023
last update
$54.99
regular price

What you will learn

Conhecer a Arquitetura e Detalhes do Spark

Criação de DataFrames

SparkSQL: Crie tabelas e consulta utilizando SQL

Conecte com outras fontes de Dados, como Postgres e MongoDB

Cria Aplicações Spark

Desenvolva modelos preditivos Utilizado Machine Learnig e Spark ML

Cria aplicações próximas ao tempo real com Spark Streaming

Conheça Técnicas de Otimização do Spark

Aprenda a Construir um Cluster com Spark!

Description

Bem vindo ao melhor e mais atualizado curso de Spark!

Na era "Big Data" o Spark se tornou a principal ferramenta de processamento de dados no mundo devido a sua capacidade de processar volumes massivos de dados com alta performance, se tornando uma ferramenta essencial para Cientistas e Engenheiros de Dados. Sua arquitetura distribuída permite processar dados utilizando paralelismo e memória, persistindo dados quando necessário. Além disso o Spark é capaz de importar dados de praticamente qualquer fonte, bem como também exportar dados processados para os principais formatos e bancos de dados utilizados.

Do ponto de vista profissional, conhecer Spark é uma das habilidades mais importantes ao lado de Machine Learning e Python. E o melhor disso é o que Spark já traz tudo isso. Você pode utilizar Spark com Python, através do Pyspark, e você pode criar modelos de Machine Learning utilizando as próprias bibliotecas do Spark.

Neste curso prático, você vai começar do zero e aprender todas as principais características desta ferramenta. Entre outras coisas você vai:

  • Aprender a instalar e configurar o Spark

  • Conhecer o principal objeto de dados: DataFrames do Spark

  • Processar DataFrames através de transformações e ações

  • Consultar Dados no Spark com Sintaxe SQL

  • Criar Views e fazer Joins

  • Persistir dados em disco, criando tabelas em formatos como Parquet e ORC

  • Importar dados de fontes como Mongodb, PostgreSQL e arquivos como Json e Parquet

  • Criar aplicações que você pode rodar na linha de comendo

  • Machine Learning com Spark: crie modelos e faça previsões

  • Construa Pipelines de Marchine Learning

  • Processe dados em tempo real com Spark Structured Streaming

  • Otimize o Spark com Cache, Persistência, Particionamento e Bucketing

  • Use Spark com Jupyter Notebooks

  • Use Spark com Pandas e outras bibliotecas do Python

  • Construa um Cluster!

Você ainda vai encontrar material do curso para baixar: scripts, slides e dados de exemplo.


Content

Introdução

Apresentação
Introdução ao Spark
Material para Download
Arquitetura e Componentes
Context e Session
Formatos de Big Data

Instalação e Primeiros Passos

Introdução sobre a Instalação
Downloads
Instalando VM Ubuntu
Instalando Spark
Bibliotecas Adicionais
Rodando Exemplos
Baixando dados de Exemplo
Opcional: Putty com SSH
Putty com SSH

DataFrames e RDDs

RDD, Dataset e Dataframe
RDD parte I
RDD parte II
DataFrames Parte I
DataFrames Parte II
DataFrames Parte III
DataFrames Parte IV
Principais Ações e Transformações
Exportando dados
Importando Dados
Atividades: Faça você mesmo
Solução do Faça você mesmo

Spark SQL

Spark SQL
Bancos de Dados e Tabelas
Tabelas Gerenciadas e Externas
Views
Comparando DataFrames com Tabelas SQL
Joins
Joins com DataFrames e SQL
Utilizando Spark-sql
Atividades: Faça você mesmo
Solução do Faça você mesmo
Solução do Faça você mesmo - Continuação

Outras Fontes de Dados

Conectado a Outras Fontes de Dados
PostgreSQL
Instalando PostgreSQL
Drive JDBC
Lendo e Gravando Dados no PostgreSql
MongoDB
Instalando MongoDB
Lendo e Gravando Dados no MongoDB

Criando Aplicações

Aplicação 1: Escrevendo no Console
Aplicação 2: Escrevendo no Console com Parâmetros
Opção e argumentos em Linha de Comando
Aplicação 3: Conversor de Formatos de Arquivos em Spark
Atividades: Faça você mesmo
Solução do Faça você mesmo

Machine Learning com Spark

Fundamentos de Machine Learning
Machine Learning no Spark
Preparando Dados para Regressão
Criando um Modelo de Regressão
Preparando Dados para Classificação
Criando um Modelo de Classificação
Pipelines
Atividades: Faça você mesmo
Solução do Faça você mesmo

Spark Structured Streaming

O que é "Streaming"
Spark Structured Streaming
Casos Práticos
De JSON para o Console
De JSON para PostgreSQL

Otimização

Particionamento
Particionamento e Bucketing no Spark
Cache
Cache e Persistência no Spark

Outros Aspectos

Usando Spark com Notebooks do Jupyter
Convertendo Pandas para DataFrame do Spark
Usando biblioteca Koalas
Spark UI
Configurações do Spark

Construindo um Cluster

Introdução
Clonando VMs
Configurando Nó Master
Configurando Workers

Reviews

Túllio
October 5, 2023
Achei não muito didatico e alguns arquivos que é utilizado não está diponível. Outro problema é usar o mesmo exemplo em todo o curso, isso acaba atrapalhando se você precisa pular alguma aula por exemplo
Bruno
September 18, 2023
O curso abrange, não com muita profundidade, vários aspectos da tecnologia Spark. Ótimo para se ter uma noção gerar da tecnologia.
Marlon
August 21, 2023
O curso no geral é bom, na minha opinião apenas algumas partes poderiam ser mais detalhadas com relação aos conceitos apresentados.
Lucas
August 4, 2023
O curso é muito bom, bem didático, mas acredito que se o instrutor tivesse optado por usar um interpretador de código como ex jupyter notebook teria ajudado muito na hora de criar os códigos por celula evitando o stress de um painel de comando. Fora isso o conteúdo é muito bom.
Cristian
July 24, 2023
Não é possível realizar os exercícios propostos! Sempre fala que os dados estão disponíveis na pasta de downloads e nunca estão. Portanto, não espere um curso prático.
WILAMY
July 2, 2023
Gostei muito dos exemplos práticos e dos exercícios. Os conceitos teóricos achei raso, mas entendo que são temas complexos e o curso teria muito mais horas se fosse aprofundar. De qualquer maneira estou muito satisfeito, pois consegui sair do zero no Spark.
Jorge
June 20, 2023
Bem esclarecedor. Professor bem didático e exemplos pertinentes. Muito bom mesmo. Parabéns, professor!
Murilo
June 19, 2023
O curso passa uma ótima visão para quem está iniciando na área de data science com pyspark, tem uma curva de aprendizado mediano e vários exemplos.
Alexsandro
June 3, 2023
Está do jeito que eu gosto. Não muito profundo nem superficial. Acho que todo curso tem que ser assim. Nos dar um rumo, um norte para seguir em frente. A gente faz o resto.
Reinaldo
May 12, 2023
fazia um bom tempo que um curso nao me surpreendia tao positivamente assim nesta plataforma. a grande quantidade de exercicios e exemplos praticos fez toda a diferenca.
Jose
April 7, 2023
O curso é bom mas não cobre com profundidade nenhum dos temas. Além disso, senti falta de alguns exemplos utilizando os clusters do spark.
Marcio
March 27, 2023
Estou gostando bastante do curso, só senti falta na atividade dos joins o professor mostrar o exemplo construindo no pyspark, só mostrou em sql, ai tive que pesquisar e consegui fazer a atividade fazendo o .join()
Calili
March 18, 2023
Curso completo em pyspark, passando do básico a exemplos das aplicações mais complexas como streaming e clusters em um ambiente Spark. Recomendo para qualquer profissional ou entusiasta do ambiente de dados!
Rodrigo
January 15, 2023
O curso é bom para quem quer ter um noção do spark, o que eu sugiro é a utilização do google colabs para usar o spark e evitar instalar programas no computador ou na máquina virtual, as instalações consumem muito tempo.
Fansouza
November 28, 2022
Curso excelente, ja conhecia um pouco de spark. Com este curso estou aprimorando meus conhecimentos básicos.

Charts

Price

Formação Spark com Pyspark : o Curso Completo - Price chart

Rating

Formação Spark com Pyspark : o Curso Completo - Ratings chart

Enrollment distribution

Formação Spark com Pyspark : o Curso Completo - Distribution chart
4234864
udemy ID
8/11/2021
course created date
8/27/2021
course indexed date
Bot
course submited by