【実戦で学ぶデータ分析基盤構築講座】ローカル端末で1から始めるデータ分析基盤の構築とデータ活用のための活動
【データサイエンス/データエンジニアリングシリーズ】データ分析基盤を作って物事を定量的に改善していこう
4.04 (54 reviews)

350
students
1.5 hours
content
Aug 2022
last update
$19.99
regular price
What you will learn
ローカル端末でデータ分析基盤を作ります
データ分析基盤を構成するコンポーネントを学びます
データ分析基盤を中心としたデータ活用の流れや活動を学びます
データ分析基盤をアーキテクトするベースを学びます
Description
コース概要:
データの民主化に伴い、エンジニアだけでなくアナリスト職のなどデータ活用を行う環境はここ数年で様変わりしました。
現代では、従来の特定の人物だけの利用を想定したデータ分析環境では立ち行かなくなっています。
本コースでは、多くのユーザが同時にデータ分析を行うことを想定した基盤である「データ分析基盤(データ基盤と呼ばれる時もある)」の構築をDockerコンテナでご自身の端末で学んでみます。
データ分析基盤は関係するコンポーネントが非常に多く整理がつけづらい事も特徴です。本コースを通して効率よくデータ分析機構築のエッセンスを学んでいきましょう。
コース内では、クラウドだとどのような代替サービスがあるのか?についても言及しておりますので、本コースを通して学んだことをクラウド上の開発で活用していたくことも可能です。
本コースでは、ローカル端末とDockerコンテナを使って
「データ分析基盤構築ってどう作るの?」
「データ分析基盤構築ってそもそも何?」
「データ分析基盤構築はどんな要素を含んでいるの?」
「データ分析基盤構築を使ってどのような活動をするの?」
そんな疑問を解決するコースです。
どんな人向け?
「データ分析基盤構築に興味のある開発者」
「データ分析基盤におけるデータの流れとデータを利用した活動を知りたい方」
「データ分析基盤を作りたいけど整理ができていない方」
登場する技術スタック:
Embulk
digdag
Apache Kafka
Apache Spark
postges
BIツール(metabase)
Content
紹介
紹介
本コースの概要
自己紹介
学習ロードマップ
レビューのお願い
データ分析基盤環境の立ち上げと初期設定
構築システムの概要
データ分析基盤環境の立ち上げ
Metabaseの設定
バッチデータの流れを作ってみよう
バッチでの流れ
データソースからEmbulkを使ってデータを取得してSSDに配置してみよう
SSDに配置したデータをSparkでETLしてみよう
SparkでETLしたデータをEmbulkを使ってPostgresにロードしてみよう
PostgresにロードしたデータをMetabaseから覗いてみよう
データソースにpeopleテーブルがあります。そのデータを取得しETLし、Postgresにロードするワークフローを定義してみましょう。
ストリーミングデータの流れを作ってみよう
ストリーミングでのデータの流れ
Kafkaトピックの設定とWeb画面
kafkaのメモリシンクでデータを参照してみよう
kafkaのファイルシンクでデータを保存してみよう
digdagでファイルシンクしたデータをETLしよう
ETLしたデータをEmbulkを使ってPostgres にロードしてみよう
PostgresにロードしたデータをMetabaseから参照してみよう
web_actionsのデータをactionごとの件数として集計したデータをpostgersにロードしてみよう
ボーナスレクチャー
ボーナスレクチャー
Charts
Price

Rating

Enrollment distribution

COMIDOC

Want FREE online courses ? Our FIREFOX extension lists Udemy freebies in realtime !
topics
FREE
4609298
udemy ID
3/23/2022
course created date
8/6/2022
course indexed date
Bot
course submited by