Глубокое обучение
Передать проектирование признаков многослойной сети
OVERVIEW
- Все статьи
- 6
- Начальный
- 2
- Средний
- 3
- Экспертный
- 1
The turning point of deep learning was not “more layers” but the discovery that with enough width, data and stable optimisation, the intermediate abstractions grow on their own. This domain starts from a single neuron and works up to backpropagation, convolution, attention and the normalisation tricks that make depth actually trainable.
Вопросы, на которые отвечает эта область
- Q1
What is a single neuron actually computing?
- Q2
How does backpropagation carry error backwards?
- Q3
Why are deeper networks harder to train?
Статьи этой области
- 01Нейрон и перцептронНачальныйМельчайшая деталь нейросети: взвешенная сумма, смещение и один нелинейный поворот
- 02Обратное распространениеСреднийПревращение «вычислить градиент» из математической каторги в один вызов функции — момент, когда глубокое обучение взлетело
- 03Функции активацииНачальныйБез неё даже самая глубокая сеть — всего лишь одно линейное преобразование
- 04Свёрточные нейронные сетиСреднийЗамена полных связей на «смотреть локально и переиспользовать один и тот же фильтр везде» — идея, сделавшая распознавание изображений рабочим
- 05Рекуррентные нейронные сетиСреднийДать сети «память»: один и тот же блок переиспользуется во времени для последовательностей любой длины
- 06Нормализация и остаточные связиЭкспертныйСделать сотню слоёв реально обучаемыми: тождественный «короткий путь» плюс перенормировка на каждом слое