テキスト生成と続き書き
前の文脈を受けて一語ずつ書き進める
本ページの本文は英語で提供されています。タイトルと導入は日本語化されています。
この能力とは何か
Given a passage as context, the model writes what comes next. Both input and output are text and no particular transformation is targeted: it can continue a story, finish an explanation or draft an email. It differs from conversation in that no instruction format is required, and from summarisation or translation in that neither compression nor a language switch is the goal — both ends stay in the same modality.
技術的にどう実現するか
The dominant route is an autoregressive Transformer language model: text is split into tokens, the model predicts the probability of the next token position by position, and training maximises likelihood over the corpus. GPT, Llama and Qwen all follow it, differing in scale, data and post-training recipe. At inference, temperature, top-k and top-p shape diversity, while long outputs reuse cached keys and values to cut cost.
代表的な製品
27GPT-4o
2024ネイティブにマルチモーダルな汎用モデル。テキスト・画像・音声をひとつの入口で扱う
Llama
2023オープンウェイト路線を主流にした汎用モデル群
Qwen
2023多様な規模とマルチモーダル版を備えたオープンウェイトのモデル群
DeepSeek-V3
2024総パラメータ 671B、1 トークンあたり 37B だけを活性化するオープンウェイト MoE
Mistral Large
2024欧州のオープンウェイト研究所による商用フラッグシップモデル
Gemini
2023ネイティブにマルチモーダルで、超長文脈を扱う汎用モデル
Claude
2023長い文脈と安全性の調整で知られる汎用対話モデル
MiniMax-M
2025ハイブリッド注意と100万トークン文脈をもつオープンウェイトの推論モデル
DeepSeek-R1
2025強化学習で推論の連鎖を訓練し、MIT ライセンスで重みを公開した推論モデル
Apple Intelligence
2024端末とプライベートクラウドで分担する OS 級の AI 機能
Command R
2024検索拡張とツール呼び出しのために設計された商用モデル
Jamba
2024状態空間モデルと Transformer を混合したオープンウェイトモデル
DBRX
2024DatabricksのオープンウェイトMoE言語モデル
Gemini
2024検索・オフィス・マルチモーダルモデルを一つの対話入口に集約
Grok
2023ソーシャルプラットフォームのデータと結びついた対話モデル
Yi
2023中英バイリンガルで超長文脈版もあるオープンウェイトモデル
Kimi
2023長い文脈の処理を得意とする中国語の対話アシスタント
Hunyuan
2023開放ウェイト版を含むテンセントの汎用モデル群
Microsoft Copilot
2023対話型 AI を OS とオフィスソフトに組み込む
Doubao
2023バイトダンスの汎用対話モデルとアプリ
Phi
2023小さな規模と厳選データで作られた高効率な小モデル
Step
2023マルチモーダルとオンデバイスを狙う汎用モデル群
Baichuan
2023中国語シーンに向けたオープンウェイトの汎用モデル
GLM
2023自己回帰空白穴埋め事前学習から始まった中国語の汎用モデル
ChatGPT
2022大規模言語モデルを誰もが使える対話画面にした
Character.AI
2022自分で作ったキャラクターと長く会話できるロールプレイ
ERNIE
2019知識増強の事前学習から始まった中国語モデル、その初期の代表的版
関連する組織
代表的な用途
- First drafts and rewriting
- Drafting email, documents and copy
- Code comments and API docs
- Test data and synthetic corpora
どう評価するか
- Perplexity
- Predictive uncertainty on held-out text; lower is better
- Human-preference Elo
- Preference ranking from pairwise comparison
- ROUGE/BLEU on constrained tasks
- Reference overlap when an answer key exists
限界と難しさ
- Fluency is not truth: the model states wrong facts with confidence — hallucination
- Over long outputs, earlier setup drifts and the text contradicts itself
- Poor sampling settings can trap the model in repetitive or degenerate loops