Devenez un expert du web scraping - la formation complète

web scraping, webscraping, beautifulsoup, scrapy, selenium, splash, api, python, ananconda, hack

4.25 (267 reviews)
Udemy
platform
Français
language
Web Development
category
1,914
students
15.5 hours
content
Jul 2023
last update
$59.99
regular price

What you will learn

Scraper des milliers de pages en quelques minutes

Scraper des données en simulant une visite sur un navigateur

Accéder à des données uniquement accessibles via une authentification

Exploiter l’API d’un site

Enregistrer votre travail dans le Cloud

Description

Chaque jour sur Internet, des millions d’informations sont générées et stockées, faisant du web un immense hub de données, qui à l’heure du Big DATA, représente une opportunité immense.


Ces données n’étant pas accessible directement depuis une base de données ou une API, le web scraping joue pleinement son rôle d’extracteur de données massives.

En effet, le web scraping, c’est l’art de créer des programmes naviguant à la vitesse de la lumière sur des sites web et extraire toutes les informations souhaitées.

Je vous propose donc d’obtenir cette compétence avec moi, à travers 16h de cours qui vous feront passer de novice total à expert.

Je suis Sébastien Daviot, consultant pour le compte d’un logiciel web analytics, et j’utilise de mon côté le webscraping pour enrichir les analyses comportementales et de tendances des site web de mes clients.


Au programme de cette formation

Dans ce cours en ligne, vous apprendrez à coder en Python, le fonctionnement d’un site web et l'utilisation les principaux framework du web scraping comme Beautiful Soup, Scrapy, Splash, Selenium.

A l’issue de ce cours en vidéo vous pourrez répondre aux problématiques les plus complexes :

  • Scraper des milliers de pages en quelques minutes,

  • Scraper des données en simulant une visite sur un navigateur,

  • Accéder à des données uniquement accessibles via une authentification,

  • Exploiter l’API d’un site

  • Enregistrer votre travail dans le Cloud.

  • Pour cela, vous coderez avec moi vos premiers scrapers.

  • Puis, je challengerai régulièrement vos nouvelles compétences sur un site web spécialement créé pour l’occasion.

Pourquoi ce cours plutôt qu’un autre ?

  • Vous allez apprendre toutes les libraires Python de webscraping en un seul cours, ce qui est rare !

  • Aucune connaissance de départ exigée, le début du cours étant dédié à l’apprentissage du Python et des langages web côté client.

  • Je privilégie la pratique plutôt que faire un cours magistral.

  • Je reste disponible pour répondre à vos questions via la FAQ ou l'espace d'entraide.

  • Je suis formateur en ligne sur d’autres thématiques et les avis sont très positifs

J’espère vous avoir donné envie d’apprendre cette compétence et on se retrouve tout de suite pour démarrer le cours !

Content

Introduction

Qu'est ce que le web scraping ?
Dans quels cas utiliser le web scraping ?
Quelles sont les compétences nécessaires pour le web scraping ?

Les fondamentaux de la programmation en Python pour le web scraping

Contenu de la section
Introduction à la programmation

Programmation en Python - Préparation de l'environnement de travail

Installation Anaconda
Présentation d'anaconda
Installation Visual Studio Code
Lancer un script depuis VS Code

Programmation en Python - Gestion des variables en Python

Introduction aux variables
Les variables numériques
Les variables textuelles
Consulter et modifier le type d'une variable
Gérer la concaténation
Présentation exercices
Corrections exercices

Programmation en Python - Les conditions

Introduction aux conditions
Les booléens
Les opérateurs logiques
Construction d'une condition simple
Les conditions successives
Les conditions multiples
Enoncé exercice
Correction exercice

Programmation en Python - Les listes

Introduction aux listes
Obtenir des informations sur une liste
Modifier une liste
Enoncé exercice
Correction exercice

Programmation en Python - Les dictionnaires

Introduction aux dictionnaires
Modifier un dictionnaire
Créer des sous dictionnaires
Enoncé exercice
Correction exercice

Programmation en Python - Les boucles

Introduction aux boucles
La boucle while
La boucle for
Itérer sur une liste numérique

Programmation en Python - Les fonctions

Introduction aux fonctions
Créer sa première fonction
Les arguments de fonctions
Les valeurs par défaut sur les arguments
Les variables globales et locales
Enoncé exercice
Correction exercice

Programmation en python - Les librairies

Utiliser une librairie
Installer une librairie

Programmation en Python - La programmation orientée objet

La POO

Utiliser un terminal de commandes

Comprendre et lancer le terminal de commandes
Naviguer dans les dossiers
Modifier un dossier
Copier un dossier ou un fichier
Utiliser Python dans le terminal
Gérer des arguments depuis le terminal

La programmation web avec les langages côté client

Qu'est ce que le développement côté client
Comment lire le code d'une page web

Comprendre le langage HTML pour le web scraping

Créer son premier fichier HTML
Les principales balises
Les liens hyper text
Les images
Les listes et les tableaux
La personnalisation graphique
Enoncé exercice
Correction exercice

Comprendre le langage CSS pour le web scraping

Comprendre la syntaxe du CSS
Cibler les balises
Les classes CSS
Les IDs en CSS
Les DIV
Les SPAN
Enoncé exercice
Correction exercice

Comprendre le langage Javascript pour le web scraping

Gérer ses variables en JS
Créer des conditions
Créer des boucles
Les fonctions en js
Préparer son code à la dynamisation
Le DOM en Javacript
Ajouter un évènement
Modifier une page HTML dynamiquement
Naviguer dans le DOM
Enoncé exercice
Correction exercice

Web scraping avec BeautifulSoup

Préambule
Disclaimer sites du cours
Première analyse du site
installation des librairies nécéssaires
Requêter une page web et vérifier son fonctionnement
Choisir son interpréteur html
Cibler des balises
Utiliser les attributs des balises
Récupérer les valeurs d'attributs
Extraire les données des balises
Les sélecteurs CSS
Naviguer dans le DOM
Préparer son scraping
Utiliser la librairie Pandas pour mieux comprendre son extract
Extraire des données sur plusieurs pages
Enoncé Atelier
Correction Atelier

Web scraping avec Scrapy - principe de fonctionnement

Présentation de Scrapy
Préparation de son espace de travail
Les commandes windows
Générer son premier spider
Générer son premier spider (suite)
L'architecture d'un projet scrapy
Premières exécutions de son spider

Web scraping avec Scrapy - Selectionner les données avec xpath

La sélection de balises simples
Extraire le texte d'une balise
Sélection avec les attributs
Les références relatives
Récupérer la valeur d'un attribut
Les filtres "contient"
Nettoyer le texte récupéré
Naviguer dans le DOM
Enoncé Atelier
Correction atelier

Web scraping avec Scrapy - Les sélecteurs CSS

Sélection de balises simples
Sélection à partir d'attributs

Web scraping avec Scrapy - Exporter en Json et en CSV

Préparation de l'environnement de travail
Exporter en json ou en csv

Web scraping avec Scrapy - Récupérer des données sur plusieurs pages

Gérer la pagination
Récupérer des données sur des pages détail

Web scraping avec Scrapy - Les rules objects

Les spiders de type "Crawl"
Gestion des rule objects
Enrichir son spider

Web scraping avec Scrapy - Les item loaders

Déclaration des items
Les item loaders

Utiliser l'API d'un site web pour votre web scraper

Repérer l'utilisation d'une API sur un site web
Préparer l'environnement de travail
Exploration des données d'une API
Récupérer les données dans une API
Itérer sur une API

Web scraping avec Scrapy - Atelier

Enoncé Atelier
Correction atelier

Le Web scraping avec Selenium

Présentation Selenium
Vérifier si Sélénium est nécessaire à votre projet
Faire le setup d'installation
Préparer le spider
Scraping simple avec Selenium
Scraping avec interactions - installation
Scraping avec interactions
Les autres interactions possibles avec Selenium
Enoncé Atelier
Correction atelier

Contourner les blocages des sites web

Introduction
Apprendre à lire un fichier robots.txt
Ne pas suivre les règles du fichier robots.txt
Modifier le user agent
Dynamiser le user agent à chaque requête partie 1
Dynamiser le user agent à chaque requête partie 2
Bloquer les cookies
Ralentir le scraper

Web Scraping avec Splash

Introduction à la librairie Splash
Installation splash
Découverte de splash et du langage LUA
Créer un script en LUA
Intégrer Splash dans un projet Scrapy
Limiter les ressources appelées
L'autothrottle
Enoncé Atelier
Correction atelier

Simuler une connexion à un compte en ligne

Gérer le login avec Scrapy
Gérer le login avec Splash
Entrainement

Gestion des requêtes en AJAX

Comprendre l'AJAX
Récupérer des données depuis une requête dynamique

Envoyer vos données vers l'extérieur avec les pipelines

Connecter son projet Scrapy au système Mongo DB cloud - partie 1
Connecter son projet Scrapy au système Mongo DB cloud - partie 2

Conclusion et remerciements

Conclusion et remerciements

Screenshots

Devenez un expert du web scraping - la formation complète - Screenshot_01Devenez un expert du web scraping - la formation complète - Screenshot_02Devenez un expert du web scraping - la formation complète - Screenshot_03Devenez un expert du web scraping - la formation complète - Screenshot_04

Reviews

Mohamed
March 10, 2023
Après plusieurs heures de cours, je cherche encore les scripts utilisés dans les vidéos. Je pourrais apprendre fastidieusement seul sur le web, mais je suis pressé et les fichiers auraient été utiles par ce que je suis obligé de prendre des notes pour le code pour m'exercer ultérieurement !
Arthur
January 31, 2023
excellente introduction jusqu'ici. Le cours est un excellent point de départ pour se lancer dans le scrapping pro
Dav
October 10, 2022
Excellent prof, on reprend les bases de python pour se rafraichir la mémoire. Très bien expliqué, très précis. Un régal. Merci Sébastien
Theo
October 1, 2022
La formation n'est pas a jeter dans le sens ou elle apporte certaine connaissance difficilement trouvable en francais, neanmoins tant de points negatifs... --Aucun documents de cours-- Le formateur mentionne sans cesse ses fameux documents de cours : Ils sont introuvable a ce jour. Un commentaire datant d'il y a plus d'un an demandant au formateur un moyen de les telecharger a recu 100 likes mais reste sans reponse. --Aucun montage -- Toutes les petites erreurs du formateur : c'est pour nous. Il arrive meme qu'il fasse une erreur et ne l'indique qu'au cours d'apres ce qui nous oblige a recommencer l'etape d'avant. -- Obsolete-- Certaines manipulation ne fonctionne plus , certaines librairie on fait evoluer leur nomenclature. Aucune modifictation du formateur , aucune mention , aucune reponse. --Pedagogie = 0 -- C'est de loin la formation la moins ludique que j'ai pu voir, aucun effort de pedagogie. On recopie betements des librairies. Mention speciale aux rares explication du formateurs : - " Alors la on met .get pour lui dire de nous donner le resultat" - " Donc la on ecrit comme ca parceque c'est mieux" - " On va pas mettre return mais yield parceque c'est plus optimise" --Conclusion-- Si on compare a d'autres formation , celle la fait plus que pale figure. Je ne peux sincerement pas dire avec certitude que le formateur comprends ce qu'il fait. Ne payez pas plus de 5 euros pour cette formation .
Gatica
September 10, 2022
Une bonne partie de ce qui se trouve dans les cours ne fonctionnent pas quand on les reproduits. Et il n'y a aucun partage de fichiers avec des codes fonctionnels de la part du formateur. Peut mieux faire.
Abdallah
May 26, 2022
Bonne formation, j'avais des bases avec le webscraping mais j'ai appris beaucoup de chose et je ne regrette pas mon achat au contraire. Petite suggestion pour rendre la formation plus complète: intégrer un projet plus conséquent sur le webscraping qui reprend l'ensemble des éléments vus dans la formation (scrapper des sites comme doctolib, booking, ...)
Rémy
May 20, 2022
Je suis super enthousiaste d’apprendre ce cours et étant dans le marketing, ce cours va me permettre d’aller beaucoup plus loin que je ne le pense.
Boris
December 29, 2021
Jusqu'ici ça va, le formateur est clair et je l'entends très bien. Mais je comprends également parfaitement
Rachid
December 5, 2021
Simplement Topissimo. J'ai adoré ce cours. Le formateur a été jusqu'au bout des notions et des possibilités offertes par le scraping. J'en ai pris plein la tête, j'en sors enrichi... Merci
Jean-Baptiste
November 26, 2021
Pour moi il manque l'étape finale, à savoir comment déployer et automatiser notre scraper pour qu'il s'exécute seul à des intervalles donnés. Sinon, cours très complet.
FAKO
July 3, 2021
je suis très content de ce cours sur le web scraping. les explications sont très claires. seulement il n'y a pas des évaluations sur le site pour avoir une moyenne qui me permettrait d'appréhender mon niveau réel à chaque niveau du cours. je remercie pour les enseignements !!!!

Charts

Price

Devenez un expert du web scraping - la formation complète - Price chart

Rating

Devenez un expert du web scraping - la formation complète - Ratings chart

Enrollment distribution

Devenez un expert du web scraping - la formation complète - Distribution chart

Related Topics

4031156
udemy ID
5/6/2021
course created date
5/7/2021
course indexed date
Bot
course submited by