全項目

ベクトルとベクトル空間

AI は言葉も画像も音も、すべて「数の並び」に変える

勾配と勾配降下法

深層学習の本質はただ一つ —— 下り坂の方向へ小さく一歩進む

行列演算と線形写像

行列の積は「掛けて足す」計算ではなく、空間そのものを一度に書き換える操作だ

確率と確率分布

モデルは「答え」を出すのではなく、取りうる答えそれぞれへの確信度を出す

ベイズの定理

少し信じ、証拠を見て、少し訂正する —— これがベイズである

エントロピーと情報理論

文が意外であるほど多くの情報を運ぶ。言語モデルの損失関数が測っているのは、まさにその「意外さ」である

教師あり学習

「問題と答え」の組を大量に与え、モデルに自力で答える力を教える

教師なし学習

答えがないときは、データ自身に構造を浮かび上がらせる——「良い」の基準も作り直す

損失関数

損失関数は「何を罰するか」を決める——差し替えれば、正しさの基準そのものが変わる

過学習と正則化

モデルは訓練データを丸暗記したのに、新しいデータでは手も足も出ない

モデル評価と交差検証

正解率は最も人を欺く指標——評価を誤れば、あとはすべて崩れる

バイアス・バリアンス分解

予測誤差は三つに分けられる——単純すぎるモデル、揺れすぎるモデル、そして世界そのものの偶然性

ニューロンとパーセプトロン

ニューラルネットワークの最小部品 —— 重み付き和にバイアスを足し、非線形をひとひねりする

誤差逆伝播法

「勾配を求める」を数学の重労働から一行の関数呼び出しへ。深層学習が飛躍した瞬間

活性化関数

これがなければ、どんなに深いネットワークも一回の線形変換にすぎない

畳み込みニューラルネットワーク

「局所を見て、同じ物差しを使い回す」で全結合を置き換え、画像認識を初めて実用にした

リカレントニューラルネットワーク

ネットワークに「記憶」を：同じユニットを時間に沿って使い回し、任意長の系列を扱う

正規化と残差接続

百層のネットワークを本当に訓練可能にする —— 恒等の近道と、層ごとの再スケーリング

トークン化

モデルは文字ではなくトークンを読む。分割の仕方が能力とコストを静かに決める

単語埋め込み

「単語」を「座標」に変える。類義語は自然に集まり、意味が初めて足し引きできる

アテンション機構

各位置が他のすべての位置を直接「見て」、関連度に応じて注意を動的に配分する

Transformer アーキテクチャ

「一語ずつの伝言」を「全員が同時に話す会議」に置き換え、長距離依存を一跳で届かせる

事前学習とファインチューニング

大量のラベルなしテキストで言語を学び、少量データで専門化する。現代 AI で最もデータ効率のよい范式

プロンプト設計とアラインメント

モデルを「役に立ち、正直で、無害」にすることは、ただ大きくするより難しい

画像のデジタル表現

機械にとって写真とは、数字のグリッドを重ねたものにすぎない

畳み込み演算

小さなテンプレートを画像全体に滑らせ、エッジ・テクスチャ・形を見つける

画像分類

「猫にはひげがある」と教えず、十分な数の猫を見せれば自分で気づく

物体検出

「何が写っているか」から「何が・どこに・いくつあるか」へ

セマンティックセグメンテーション

すべての画素に色を塗る —— 枠を描くのではなく塗り絵のように

自己教師あり視覚とマルチモーダル対照学習

ラベルは不要 —— 「どれが同じ画像か」を手がかりに世界を見る目を養う

マルコフ決定過程

「一歩ずつ決める」ことを五つの記号で書き表す。強化学習はここから始まる

価値関数と Q 学習

「どうするか」を当てるのではなく、まず「各選択の価値」を計算する

方策勾配法

方策そのものを直接調整し、「良い行動」がより頻繁に現れるようにする

探索と活用

今いちばん良い選択が、長期的に最良とは限らない

深層強化学習

ニューラルネットにピクセルから直接判断させ、昔ながらの工夫で安定させる

人間のフィードバックによる強化学習

「良い答え」を式に書けないときは、人間を報酬関数の代わりにする

生成モデルの全体像

判別モデルは「これは何か」に、生成モデルは「どう見えるべきか」に答える

オートエンコーダと変分オートエンコーダ

情報をボトルネックに押し込み、そこから再び生み出す

敵対的生成ネットワーク

偽造者と鑑定人の勝負 —— 互いに限界を引き出す

拡散モデル

小さなノイズ除去を千回学べば、純粋なノイズから画像を作れる

潜在空間拡散と条件制御

画素ではなく、圧縮された意味空間で拡散を行う

マルチモーダル生成

一つのモデルが語り、描き、動き、さらには三次元世界をモデル化する

学習・推論インフラストラクチャ

メモリが「どれだけ大きなモデルを訓練できるか」を、通信が「どれだけ時間がかかるか」を決める

モデル圧縮

精度をほぼ犠牲にせずモデルを小さく・速く・安くする —— ただし三つ同時には取りにくい

推論最適化とサービング

訓練は一度だけ、推論は毎日何億回。初回トークンの速さとスループットは、しばしば相反する

検索拡張生成

知識をパラメータに詰め込むより、外に置いて必要なときに引く —— 持ち込み可の試験のように

エージェントとツール利用

モデルに「答える」だけでなく、調べ、API を呼び、コードを走らせる力を持たせ、その結果から次の一手を決めさせる

安全性・アラインメント・プロンプトインジェクション

モデルが最適化するのは「本当に望むもの」ではなく損失に書いた代理指標。そのずれがアラインメント問題のすべてだ