3日でできる Node.js Webスクレイピング
Node.jsの基礎から学び、ファイルのダウンロード、HTMLのパース、Webブラウザの自動操縦によるWebスクレイピングまでできるようになる講座です。
What you will learn
Node . js を利用したプログラムの開発ができるようになります。
ファイルのダウンロードとHTMLのパースによる、Webスクレイピングができるようになります。
Puppeteer を利用した、ブラウザ自動操縦によるWebスクレイピングができるようになります。
Node . js のモジュールの利用や作成、ファイル操作など、基本的な知識を身に付けます。
Why take this course?
このコースでは、Node.jsを使い、JavaScriptでWebスクレイピングをする方法を学びます。
(2023年12月に、最新の仕様の情報を追加しました)
Node.jsの環境構築から始まり、nodeコマンドやnpmコマンドといった、CLI環境での操作方法を身に付けます。
また、Node.js向けのプログラムの書き方や、モジュールの利用の仕方、自作モジュールの作り方も学びます。
そして、「node-fetch」によるネット上のファイルのダウンロード、「jsdom」によるHTMLパース、それらを利用したWebスクレイピングを身に付けます。
また、「Puppeteer」を利用したWebブラウザの自動操縦を利用したWebスクレイピングも身に付けます。
コースで紹介するコードは、サンプルコードとして、全てダウンロードできます。
依存するモジュールは全て紹介しており、npmコマンドを利用して、別のプロジェクトでもインストールできます。
このコースを習得すれば、次のような事ができるようになります。
Node.jsを利用したプログラムの開発。
ファイルのダウンロードとHTMLのパースによるWebスクレイピング。
Puppeteerを利用したブラウザ自動操縦によるWebスクレイピング。
‥‥‥‥‥‥‥‥‥‥
このコースは、以下のように進みます。
● 第1章 イントロダクション
● 第2章 プロジェクトの作成
● 第3章 ネットのファイルのダウンロード
● 第4章 requireとimport
● 第5章 Path
● 第6章 Promise
● 第7章 File System
● 第8章 パース
● 第9章 Puppeteerによる情報取得
● 第10章 Puppeteerによるフォーム操作
● 第11章 Puppeteerによるダウンロード
● 第12章 自作モジュール
● 終わりに
‥‥‥‥‥‥‥‥‥‥