Réseaux de neurones à partir de zéro

Implementation de réseaux de neurones en partant de zéro (Python)

4.10 (12 reviews)
Udemy
platform
Français
language
Data Science
category
instructor
Réseaux de neurones à partir de zéro
66
students
5 hours
content
Aug 2022
last update
$19.99
regular price

What you will learn

Ce que sont les réseaux de neurones

Implémenter un réseau de neurones en partant de zéro (Python, Java, C, ...)

Entraînement de réseaux de neurones

Fonctions d'activation et le théorème d'approximation universel

Renforcer vos connaissances en Machine Learning et Data Science

Astuces d'implémentations: produit vectoriel Jacobien & log-sum-exp trick

Description

Dans ce cours, nous allons implémenter un réseau de neurones en partant de zéro, sans librairies dédiées. Ainsi, bien que nous allons utiliser le langage de programmation python, à l'issue de ce cours, vous aurez la capacité d'implémenter un réseau de neurones, dans n'importe quel langage de programmation.


Nous verrons le fonctionnement des réseaux de neurones de manière intuitive, puis mathématique. Nous verrons également certaines astuces primordiales, qui permettent de stabiliser l'entraînement des réseaux de neurones (log-sum-exp trick), et d'empêcher que la mémoire utilisée pendant l'entraînement ne croisse de manière exponentielle (jacobian-vector product). Sans ces astuces, la plupart des réseaux de neurones ne pourraient être entraînés.


Nous allons entraîner nos réseaux de neurones sur des problèmes réels de classification d'images et de régression. Pour cela, nous allons implémenter différentes fonctions de coûts, ainsi que plusieurs fonctions d'activations.


Ce cours s'adresse aux développeurs qui aimeraient implémenter un réseau de neurones en partant de zéro ainsi qu'à ceux qui veulent comprendre comment fonctionne un réseau de neurones de A à Z.


Ce cours est enseigné en utilisant le langage de programmation Python et requiert des connaissances de base en programmation. Si vous n'avez pas les bases requises, je vous recommande de vous mettre à jour en suivant un cours accéléré de programmation. Il est également recommandé d'avoir des connaissances en Algèbre et en Analyse afin de profiter au mieux de ce cours.


Concepts abordés :

  • Les réseaux de neurones L'implémentation de réseaux de neurones en partant de zéro

  • Descente de gradient et matrice Jacobienne

  • La création de Modules qui peuvent s'imbriquer dans le but de créer une architecture neuronale complexe

  • Le log-sum-exp trick

  • Produit vectoriel jacobien

  • Les fonctions d'activations (ReLU, Softmax, LogSoftmax, ...)

  • Les fonctions de coûts (MSELoss, NLLLoss, ...)


Ce cours est fréquemment mis à jour, avec l'ajout de bonus.


N'attendez plus avant de vous lancer dans le monde du machine learning!

Content

Introduction

Introduction
Réseau de neurones: explication intuitive

Propagation avant (forward pass)

Propagation avant: explication
Propagation avant: implémentation
Fonction d'activation (ReLU)
Réseau de neurones séquentiel

Inférence: classification d'images

Sauvegarder et charger les paramètres du réseau de neurones
Classification d'images: partie1
Classification d'images: partie2
Fonction d'activation: softmax

Propagation arrière (backward pass)

Optimisation par descente de gradient
Matrice jacobienne
Théorème de dérivation des fonctions composées (chain rule)
Théorème de dérivation des fonctions composées: implémentation

Régression

Erreur quadratique moyenne (MSELoss)
Entraînement d'un réseau de neurones
Optimiseur
Problème de régression: mesure quantitative de la progression d'une maladie

Classification

LogSoftmax
Log-sum-exp trick
Erreur de vraisemblance logarithmique négative (NLLLoss)

Améliorations

Traitement par lots (batching): partie1
Traitement par lots (batching): partie2
Produit vectoriel jacobien (jacobian-vector product)
Initialisation de Xavier

Classification d'images et conclusion

Classification d'images
Conclusion

Reviews

Bruno
January 28, 2023
Cours tres utile pour comprendre les base des réseaux de neurones, excellente pédagogie de l'intervenant, je recommande sans hésitation
Yves
August 17, 2022
Je viens tout juste de commencer le cours, pour l'instant je ne suis qu'à la section 3 mais j'aime beaucoup le format des cours de cet instructeur. Pour chaque concept, on à le droit à une explication intuitive suivi d'une explication mathématique très simple à comprendre pour finir avec l'implémentation.

Charts

Price

Réseaux de neurones à partir de zéro - Price chart

Rating

Réseaux de neurones à partir de zéro - Ratings chart

Enrollment distribution

Réseaux de neurones à partir de zéro - Distribution chart
4796184
udemy ID
7/23/2022
course created date
7/28/2022
course indexed date
Bot
course submited by