AI にできること

最初の一語を書くことから、一篇文章を読み解くことまで。このファミリーが扱うのは記号の並びそのもので、生成・書き換え・翻訳・要約・抽出・検索・推論を含みます。

モデルに画像を読ませるためのファミリーです。もっとも基本的な分類から、物体の枠取り、画素単位のセグメンテーション、文字や顔の認識、そして画像についての問いへの回答までを扱います。

文章やスケッチをもとに、画像を直接生成・修正・復元します。生成 AI のなかで、一般の人々が最初にその存在を実感したファミリーです。

動画は「動く画像」に時間軸を加えたものです。このファミリーは空間と時間を同時に扱い、短い映像の生成、動作の理解、映像の編集、口の動きの同期などを行います。

音は波形であり、時系列でもあります。音声認識は音を文字に、音声合成はその逆を行い、音楽や効果音の生成は聴ける素材をそのまま生み出します。

2 次元の入力を 3 次元のアセットへと引き上げます。メッシュ、点群、レンダリング可能なシーンなどです。ゲームや映像、ロボットシミュレーションの上流に位置します。

コードは厳密な文法をもつ言語です。このファミリーは次の一行を補完するだけでなく、リポジトリ全体を理解し、コマンドを実行し、エラーを特定して修正します。

モデルがツールを呼び出し、ファイルを読み書きし、ブラウザを操作できるようになると、「問いに答える」ことから「タスクを完遂する」ことへと変わります。このファミリーは、動作を信頼できる流れへと組み上げることを扱います。

乱雑な表や文書、レイアウトを構造化されたフィールドへと変えます。AI を実際の業務フローに組み込むときに、まず越えなければならない関門です。