【実戦で学ぶデータ分析基盤構築講座】ローカル端末で1から始めるデータ分析基盤の構築とデータ活用のための活動
【データサイエンス/データエンジニアリングシリーズ】データ分析基盤を作って物事を定量的に改善していこう
3.58 (127 reviews)
796
students
1.5 hours
content
Aug 2022
last update
$19.99
regular price
What you will learn
ローカル端末でデータ分析基盤を作ります
データ分析基盤を構成するコンポーネントを学びます
データ分析基盤を中心としたデータ活用の流れや活動を学びます
データ分析基盤をアーキテクトするベースを学びます
Why take this course?
コース概要:
データの民主化に伴い、エンジニアだけでなくアナリスト職のなどデータ活用を行う環境はここ数年で様変わりしました。
現代では、従来の特定の人物だけの利用を想定したデータ分析環境では立ち行かなくなっています。
本コースでは、多くのユーザが同時にデータ分析を行うことを想定した基盤である「データ分析基盤(データ基盤と呼ばれる時もある)」の構築をDockerコンテナでご自身の端末で学んでみます。
データ分析基盤は関係するコンポーネントが非常に多く整理がつけづらい事も特徴です。本コースを通して効率よくデータ分析機構築のエッセンスを学んでいきましょう。
コース内では、クラウドだとどのような代替サービスがあるのか?についても言及しておりますので、本コースを通して学んだことをクラウド上の開発で活用していたくことも可能です。
本コースでは、ローカル端末とDockerコンテナを使って
「データ分析基盤構築ってどう作るの?」
「データ分析基盤構築ってそもそも何?」
「データ分析基盤構築はどんな要素を含んでいるの?」
「データ分析基盤構築を使ってどのような活動をするの?」
そんな疑問を解決するコースです。
どんな人向け?
「データ分析基盤構築に興味のある開発者」
「データ分析基盤におけるデータの流れとデータを利用した活動を知りたい方」
「データ分析基盤を作りたいけど整理ができていない方」
登場する技術スタック:
Embulk
digdag
Apache Kafka
Apache Spark
postges
BIツール(metabase)
Content
紹介
紹介
本コースの概要
自己紹介
学習ロードマップ
レビューのお願い
データ分析基盤環境の立ち上げと初期設定
構築システムの概要
データ分析基盤環境の立ち上げ
Metabaseの設定
バッチデータの流れを作ってみよう
バッチでの流れ
データソースからEmbulkを使ってデータを取得してSSDに配置してみよう
SSDに配置したデータをSparkでETLしてみよう
SparkでETLしたデータをEmbulkを使ってPostgresにロードしてみよう
PostgresにロードしたデータをMetabaseから覗いてみよう
データソースにpeopleテーブルがあります。そのデータを取得しETLし、Postgresにロードするワークフローを定義してみましょう。
ストリーミングデータの流れを作ってみよう
ストリーミングでのデータの流れ
Kafkaトピックの設定とWeb画面
kafkaのメモリシンクでデータを参照してみよう
kafkaのファイルシンクでデータを保存してみよう
digdagでファイルシンクしたデータをETLしよう
ETLしたデータをEmbulkを使ってPostgres にロードしてみよう
PostgresにロードしたデータをMetabaseから参照してみよう
web_actionsのデータをactionごとの件数として集計したデータをpostgersにロードしてみよう
ボーナスレクチャー
ボーナスレクチャー
Reviews
Tadaoki
August 26, 2023
pyspark_bigがどう頑張っても起動しない。docker start pyspark_bigを実行しても、すぐにExitしてしまう。エラーログを見ると、
chmod: '/root/startup.sh' のパーミッションを変更しています: 許可されていない操作です
と出てくるが、解決策不明。Windowsでwsl環境下でdocker desktopをインストールしたことが関係するのかな?
時間かけて何とかしようとしましたが、もう諦めました。
お金損した。
間中
August 23, 2023
digdag+Embulkを使用したETL構築の実施動画です。
貴重な? 実画面で解説してくれている動画ですので、その辺りは参考になりますが、作り込みがあまり丁寧ではないです。
雑音や解説の詰まり、説明が前後している箇所などがありました。
また、画面自体は文字が小さかったり、あちこちに操作が移動したりするので、レクチャーとしては見づらかったと思います。
ただ、リアルな構築の手順であったり、見せ方を意識せずに構築の実態的な動画としては大変参考になりました。
ハンズオンとしてはそれほどですが、流れを掴むだけなら解説も冗長ではないし良いと思いました。
TY
August 10, 2023
説明は分かりやすく良かったです。時間は長くなっても、もう少し細かく(環境構築を0ベースからする為のヒントのような)作ってくれたら再現性上がって尚嬉しかったです。雑音多少あるが聞こえないほどではなかったです。
Anonymized
June 20, 2023
内容に不満はないが、教材としての作り込みが「とりあえず作りました」という印象で丁寧ではなかった。収録環境の問題か、背景でたまに鳴っている解体工事の音(?)のような音や、動画内のブラウザ画面内の文字の見にくさといった点が改善されれば、より良いコースになったように思う。
Charts
Price
Rating
Enrollment distribution
4609298
udemy ID
3/23/2022
course created date
8/6/2022
course indexed date
Bot
course submited by