Apprentissage profond
Confier l’ingénierie des caractéristiques à des couches empilées
OVERVIEW
- Tous les concepts
- 6
- Débutant
- 2
- Intermédiaire
- 3
- Expert
- 1
The turning point of deep learning was not “more layers” but the discovery that with enough width, data and stable optimisation, the intermediate abstractions grow on their own. This domain starts from a single neuron and works up to backpropagation, convolution, attention and the normalisation tricks that make depth actually trainable.
Les questions auxquelles ce domaine répond
- Q1
What is a single neuron actually computing?
- Q2
How does backpropagation carry error backwards?
- Q3
Why are deeper networks harder to train?
Entrées de ce domaine
- 01Neurone et perceptronDébutantLa plus petite pièce d’un réseau de neurones : une somme pondérée, un biais et une touche de non-linéarité
- 02RétropropagationIntermédiaireTransformer « calculer le gradient » d’un pensum mathématique en un simple appel de fonction : l’instant où l’apprentissage profond a décollé
- 03Fonctions d’activationDébutantSans elle, même le plus profond des réseaux n’est qu’une seule transformation linéaire
- 04Réseaux de neurones convolutifsIntermédiaireRemplacer les connexions denses par « regarder localement et réutiliser le même filtre partout » : l’idée qui a rendu la reconnaissance d’images enfin fonctionnelle
- 05Réseaux de neurones récurrentsIntermédiaireDonner une mémoire au réseau : une même unité réutilisée dans le temps pour traiter des séquences de longueur quelconque
- 06Normalisation et connexions résiduellesExpertRendre entraînable un réseau de cent couches : un raccourci identité et une remise à l’échelle par couche