深層学習
特徴量設計を多層ネットワーク自身に任せる
OVERVIEW
- 全項目
- 6
- 初級
- 2
- 中級
- 3
- 上級
- 1
The turning point of deep learning was not “more layers” but the discovery that with enough width, data and stable optimisation, the intermediate abstractions grow on their own. This domain starts from a single neuron and works up to backpropagation, convolution, attention and the normalisation tricks that make depth actually trainable.
この領域が答える問い
- Q1
What is a single neuron actually computing?
- Q2
How does backpropagation carry error backwards?
- Q3
Why are deeper networks harder to train?
この領域の項目
- 01ニューロンとパーセプトロン初級ニューラルネットワークの最小部品 —— 重み付き和にバイアスを足し、非線形をひとひねりする
- 02誤差逆伝播法中級「勾配を求める」を数学の重労働から一行の関数呼び出しへ。深層学習が飛躍した瞬間
- 03活性化関数初級これがなければ、どんなに深いネットワークも一回の線形変換にすぎない
- 04畳み込みニューラルネットワーク中級「局所を見て、同じ物差しを使い回す」で全結合を置き換え、画像認識を初めて実用にした
- 05リカレントニューラルネットワーク中級ネットワークに「記憶」を:同じユニットを時間に沿って使い回し、任意長の系列を扱う
- 06正規化と残差接続上級百層のネットワークを本当に訓練可能にする —— 恒等の近道と、層ごとの再スケーリング