Udemy

Platform

Polski

Language

Programming Languages

Category

Big Data, Hadoop oraz MapReduce w języku Python

Opanuj budowanie MapReduce Jobs używając biblioteki MRJob oraz usługi Amazon Elastic MapReduce!

4.70 (36 reviews)

Students

8 hours

Content

Sep 2021

Last Update
Regular Price


What you will learn

Paradygmat programowania MapReduce do rozwiązań Big Data

Omówienie podstawowych elementów ekosystemu Hadoop

Budowanie MapReduce Jobs w oparciu o bibliotekę MRJob

Debugging MapReduce Jobs

Uruchomienie programów MapReduce lokalnie

Uruchomienie programów MapReduce z wykorzystaniem chmury - Amazon Web Services (AWS)

Usługa Amazon Elastic MapReduce

Analiza zawartości tekstowej Iliady

Analiza danych dotyczących linii lotniczych

Analiza danych dotyczących ruchu taksówek

Analiza danych dotyczących recenzji produktów na sklepie internetowym Amazon

Przykład użycia Big Data oraz technik NLP w przetwarzaniu języka


Description

---------------------------------------------------------

REKOMENDOWANE ŚCIEŻKI UCZENIA

---------------------------------------------------------

PYTHON DEVELOPER:

  • Programowanie w języku Python - od A do Z

  • 200+ Ćwiczeń - Programowanie w języku Python - od A do Z

  • 210+ Ćwiczeń - Python - Moduły wbudowane - od A do Z

  • Programowanie obiektowe w języku Python - OOP - od A do Z

  • 150+ Ćwiczeń - Programowanie obiektowe w języku Python - OOP

  • Testy jednostkowe w języku Python - framework unittest

  • 100+ Ćwiczeń - Testy jednostkowe w języku Python - unittest


SQL DEVELOPER:

  • SQL Bootcamp - Bazy danych SQLite - Part I

  • SQL Bootcamp - Bazy danych SQLite - Part II

  • SQL Bootcamp - Bazy danych SQLite - Part III - Ćwiczenia

  • SQL Bootcamp - Bazy danych SQLite - Part IV - Ćwiczenia

  • Big Data: Analiza danych przy użyciu SQL oraz BigQuery


DATA SCIENTIST / MACHINE LEARNING ENGINEER:

  • Programowanie w języku Python - od A do Z

  • 200+ Ćwiczeń - Programowanie w języku Python - od A do Z

  • 210+ Ćwiczeń - Python - Moduły wbudowane - od A do Z

  • Programowanie obiektowe w języku Python - OOP - od A do Z

  • 150+ Ćwiczeń - Programowanie obiektowe w języku Python - OOP

  • Testy jednostkowe w języku Python - framework unittest

  • 100+ Ćwiczeń - Testy jednostkowe w języku Python - unittest

  • Wprowadzenie do data science w języku Python - Pandas

  • Interaktywne wizualizacje danych w języku Python - Plotly

  • Data Science Bootcamp w języku Python - od A do Z

  • 250+ Ćwiczeń - Data Science Bootcamp w języku Python

  • SQL Bootcamp - Bazy danych SQLite - Part I

  • SQL Bootcamp - Bazy danych SQLite - Part II

  • SQL Bootcamp - Bazy danych SQLite - Part III - Ćwiczenia

  • SQL Bootcamp - Bazy danych SQLite - Part IV - Ćwiczenia

  • Machine Learning Bootcamp w języku Python cz.I - od A do Z

  • Machine Learning Bootcamp w języku Python cz.II - od A do Z

  • Machine Learning Bootcamp w języku Python cz.III - Ćwiczenia


DATA SCIENTIST / DEEP LEARNING ENGINEER

  • Programowanie w języku Python - od A do Z

  • 200+ Ćwiczeń - Programowanie w języku Python - od A do Z

  • 210+ Ćwiczeń - Python - Moduły wbudowane - od A do Z

  • Programowanie obiektowe w języku Python - OOP - od A do Z

  • 150+ Ćwiczeń - Programowanie obiektowe w języku Python - OOP

  • Testy jednostkowe w języku Python - framework unittest

  • 100+ Ćwiczeń - Testy jednostkowe w języku Python - unittest

  • Wprowadzenie do data science w języku Python - Pandas

  • Interaktywne wizualizacje danych w języku Python - Plotly

  • Data Science Bootcamp w języku Python - od A do Z

  • 250+ Ćwiczeń - Data Science Bootcamp w języku Python

  • SQL Bootcamp - Bazy danych SQLite - Part I

  • SQL Bootcamp - Bazy danych SQLite - Part II

  • SQL Bootcamp - Bazy danych SQLite - Part III - Ćwiczenia

  • SQL Bootcamp - Bazy danych SQLite - Part IV - Ćwiczenia

  • Machine Learning Bootcamp w języku Python cz.I - od A do Z

  • Machine Learning Bootcamp w języku Python cz.II - od A do Z

  • Machine Learning Bootcamp w języku Python cz.III - Ćwiczenia

  • Wprowadzenie do sieci neuronowych - Tensorflow 2.0 + Keras

  • Deep Learning w języku Python - Konwolucyjne Sieci Neuronowe

  • Artificial Intelligence – Computer Vision w języku Python


BI ANALYST / DATA ANALYST:

  • Programowanie w języku Python - od A do Z

  • 200+ Ćwiczeń - Programowanie w języku Python - od A do Z

  • 210+ Ćwiczeń - Python - Moduły wbudowane - od A do Z

  • Programowanie obiektowe w języku Python - OOP - od A do Z

  • 150+ Ćwiczeń - Programowanie obiektowe w języku Python - OOP

  • Testy jednostkowe w języku Python - framework unittest

  • 100+ Ćwiczeń - Testy jednostkowe w języku Python - unittest

  • Wprowadzenie do data science w języku Python - Pandas

  • Interaktywne wizualizacje danych w języku Python - Plotly

  • Twórz nowoczesne aplikacje webowe w Pythonie - Dash, Plotly

  • Data Science Bootcamp w języku Python - od A do Z

  • 250+ Ćwiczeń - Data Science Bootcamp w języku Python

  • SQL Bootcamp - Bazy danych SQLite - Part I

  • SQL Bootcamp - Bazy danych SQLite - Part II

  • SQL Bootcamp - Bazy danych SQLite - Part III - Ćwiczenia

  • SQL Bootcamp - Bazy danych SQLite - Part IV - Ćwiczenia


BIG DATA ANALYST:

  • Programowanie w języku Python - od A do Z

  • 200+ Ćwiczeń - Programowanie w języku Python - od A do Z

  • 210+ Ćwiczeń - Python - Moduły wbudowane - od A do Z

  • Programowanie obiektowe w języku Python - OOP - od A do Z

  • 150+ Ćwiczeń - Programowanie obiektowe w języku Python - OOP

  • Testy jednostkowe w języku Python - framework unittest

  • 100+ Ćwiczeń - Testy jednostkowe w języku Python - unittest

  • Wprowadzenie do data science w języku Python - Pandas

  • Interaktywne wizualizacje danych w języku Python - Plotly

  • Big Data, Hadoop oraz MapReduce w języku Python

  • Big Data: Analiza danych przy użyciu SQL oraz BigQuery


ENG:

  • 200+ Exercises - Programming in Python - from A to Z

  • 210+ Exercises - Python Standard Libraries - from A to Z

  • 150+ Exercises - Object Oriented Programming in Python - OOP

  • 100+ Exercises - Unit tests in Python - unittest framework

  • 100+ Exercises - Python Programming - Data Science - NumPy

  • 100+ Exercises - Python Programming - Data Science - Pandas

  • 100+ Exercises - Python - Data Science - scikit-learn

  • 250+ Exercises - Data Science Bootcamp in Python

  • SQL Bootcamp - Hands-On Exercises - SQLite - Part I

  • SQL Bootcamp - Hands-On Exercises - SQLite - Part II


-------------------
OPIS KURSU
-------------------

Umiejętność analizowania dużych zbiorów danych (Big Data) jest niezwykle gorącym tematem i zarazem jedną z najbardziej poszukiwanych umiejętności na rynku.  Ponieważ cały ekosystem rozwiązań Big Data jest ogromny w tym kursie skupimy się głównie na paradygmacie programowania MapReduce, który jest podwaliną analiz Big Data.

Zbudujemy kilkanaście MapReduce Jobów, m. in. przeanalizujemy ruch lotniczy nad Stanami Zjednoczonymi, czy ruch taksówek w Nowym Jorku. Znajdziemy średni dystans pokonywamy przez połączenia lotnicze, czy chociażby najbardziej popularny punkt odbioru nowojorskich taksówek.

W celu uruchomienia naszych Jobów postawimy klaster Hadoopowy w chmurze Amazona wykorzystując usługę EMR - Elastic MapReduce.


Screenshots

Big Data, Hadoop oraz MapReduce w języku Python
Big Data, Hadoop oraz MapReduce w języku Python
Big Data, Hadoop oraz MapReduce w języku Python
Big Data, Hadoop oraz MapReduce w języku Python

Content

Wprowadzenie do Big Data

Wprowadzenie do Big Data

Big Data - początki i historia

The 5 V's of Big Data

Big Data - przykłady zastosowań

Ekosystem Big Data

Ekosystem Big Data

Apache Hadoop

Ekosystem Apache Hadoop

Klaster obliczeniowy - on-premise vs. cloud

HDFS - Hadoop Distributed File System

HDFS - Hadoop Distributed File System

Jak składowany jest plik w systemie plików HDFS?

Test

MapReduce

Algorytm MapReduce - Map + Reduce

Algorytm MapReduce - Map + Combine + Reduce

Algorytm MapReduce - spojrzenie wysokopoziomowe

Przygotowanie środowiska

Narzędzia wykorzystywane podczas kursu

PyCharm Community Edition

Utworzenie repozytorium kursu na GitHub + synchronizacja z PyCharm

MapReduce w języku Python - mrjob

Pierwszy MapReduce Job w języku Python

Pierwszy MapReduce Job w języku Python - kilka uwag

MapReduce: SMS Spam Collection

MapReduce: SMS Spam Collection - podstawowe statystyki

MapReduce: Kontrola kroków (map, reduce)

MapReduce w języku Python - Iliada

MapReduce: Iliada - word count cz. 1

MapReduce: Iliada - word count + regex cz. 2

MapReduce: Iliada - najczęściej występujące słowo

MapReduce: Map + Combine + Reduce

MapReduce: Map + Combine + Reduce

MapReduce: Map + Combine + Reduce cz. 2

MapReduce w języku Python - Airplane dataset

MapReduce: airplane dataset + MapReduce Job

MapReduce: Wstępne przetworzenie danych - preprocessing

MapReduce: Średnia odległość lotu

MapReduce: Średnie opóźnienie odlotu i przylotu w rozbiciu na miesiąc

MapReduce: Średnie opóźnienie odlotu i przylotu w rozbiciu na miesiąc cz. 2

JupyterNotbook: Eksploracja wyników (Plotly)

Zadanie: Średnie opóźnienie odlotu i przylotu w rozbiciu na linie lotnicze

Rozwiązanie: Średnie opóźnienie odlotu i przylotu w rozbiciu na linie lotnicze

Średnie opóźnienie odlotu i przylotu w rozbiciu na linie lotnicze + pełne nazwy

JupyterNotbook: Ekspolracja wyników (Plotly)

Zadanie: Wskaźnik odwołań lotów w rozbiciu na linie lotnicze

Rozwiązanie: Wskaźnik odwołań lotów w rozbiciu na linie lotnicze

JupyterNotbook: Ekspolracja wyników (Plotly)

Zadanie: Wskaźnik dokładności rozkładu w rozbiciu na linie lotnicze

Rozwiązanie: Wskaźnik dokładności rozkładu w rozbiciu na linie lotnicze

MapReduce w języku Python - Taxi dataset

Średnia całkowita kwota rachunku w rozbiciu na dostawców

Zadanie: Znaleźć rozkład liczby pasażerów na przejazd

JupyterNotbook: Ekspolracja wyników (Plotly)

MapReduce: Najbardziej popularna lokalizacja odbioru

Eksploracja wyników - Google Maps

Hadoop w chmurze AWS - usługa EMR (Elastic MapReduce)

Uwaga!

Założenie konta na AWS + przegląd usług

Uwaga!

Instalacja i konfiguracja narzędzia do pracy z AWS - AWS CLI

Hadoop - Uruchomienie job'a na pojedynczej instancji

Hadoop - Uruchomienie job'a na klastrze (1 master, 4 nodes)

MapReduce w języku Python - Taxi dataset c.d.

Zadanie: Ruch taksówek w rozbiciu na godziny

Rozwiązanie: Ruch taksówek w rozbiciu na godziny

JupyterNotbook: Ekspolracja wyników (Plotly)

Zadanie: Średnia długość trasy kursu taksówki

Rozwiązanie: Średnia długość trasy kursu taksówki

MapReduce w języku Python - Food reviews dataset

Dataset - recenzje dotyczące zakupów w sklepie internetowym Amazon

Wstępne przetworzenie danych

Rozgrzewka - rozkład ocen

Główne zadanie: Top 20 przymiotników dla skrajnych recenzji cz. 1

Główne zadanie: Top 20 przymiotników dla skrajnych recenzji cz. 2

Główne zadanie: Top 20 przymiotników dla skrajnych recenzji cz. 3

Uruchomienie MapReduce lokalnie

Uruchomienie MapReduce w chmurze - Amazon EMR

BONUS: Kupony na inne kursy

Grupa na Facebook'u

Recenzja

Bonus


Reviews

M
Michał23 November 2020

kurs na poziomie podstawowym, brakuje mi szerszego spojrzenia na mapreduce niż tylko biblioteka mrjob. Dodane rozdziały z plotly, mam wrażenie że po to żeby zainteresować innym kursem prowadzącego. Ćwiczenia powtarzające się, nie wnoszące dużo do tematyki mapreduce. Spodziewałem się fajnego materiału o MapReduce. Zawiodłem się.

J
Jan6 May 2020

Bardzo fajny, kurs umożliwiający wprowadzenie w świat Hadoop. Polecam osobom, które posiadają przynajmniej podstawową wiedzę z tworzenia metod oraz class w Pythonie oraz nie obce są im generatory. Czekam na kolejne kursy z tej tematyki!!


2588860

Udemy ID

10/3/2019

Course created date

10/29/2019

Course Indexed date
Bot
Course Submitted by