术语表

函数在两端导数趋近 0，梯度难以通过

用 (x, y, w, h) 或角点表示的矩形

每个样本的正确输出，监督信号的来源

标签噪声带来的、无法消除的误差下限

每次滑动跨过的像素数

让输入绕过子层直接相加，缓解深层梯度消失

从状态到动作（分布）的映射

全部 token 及其编号的固定集合

输入平移时输出也随之平移，而非改变

用两个小矩阵之积近似一个大矩阵

智能体可施加的影响，可离散也可连续

先固定第一步为 a 之后的期望折扣回报

在嵌入空间中把同类拉近、异类推远的损失

靠拉近正样本、推远负样本来学习表征

让模型行为符合人类意图与价值

把对采样求期望的梯度化为对数概率的加权和

每个摇臂奖励分布未知、每次只能拉一个的最简序贯决策模型

并行多组注意力，各学一种关注模式

模型在未见数据上的表现

衡量向量“长度”的函数，常用 L2

模型对训练集扰动的敏感程度

把长文档切成可检索的片段

用少量随机负例替代全词表 softmax

连续变量的“概率浓淡”，区间上的积分才是概率

某个输出在原始输入上所覆盖的区域大小

输出上一个像素对应回输入的区域大小

智能体可调用的一个外部能力

模型输出结构化参数以触发外部函数

要求正确类别得分高出一定间隔，SVM 的核心

残差连接中把输入直接加回输出的那条通路

主动寻找模型失败与滥用路径

结合证据更新后的相信程度

限制智能体行为范围的检查与约束

真实类别与预测类别的交叉计数表

对加权和做非线性变换的函数

把一次计算表示为节点与有向边的图，求导即在图上传播

以 GPU/TPU 为代表的高吞吐并行计算单元

模型能够表示的全部函数构成的集合

移除影响力低的权重或整块结构

模型钻代理奖励的空子而非真正完成任务

拟合人类偏好、输出可微分数的模型

把高维数据压到更低的维度并尽量保留结构（PCA、t-SNE、UMAP）

用分布 Q 编码来自 P 的数据所需的信息量

正确类别预测概率的负对数，分类默认损失

分类训练的标准目标函数

Q 来自一侧序列、K/V 来自另一侧

让图像特征查询文本向量的注意力机制

模型在训练样本上的平均损失

存储历史转移、随机采样以打破相关性

前者关心“报警里有多少是真的”，后者关心“真事里有多少被逮到”

依据相似度把样本分成若干组（k-means、层次聚类）

一组在输入上滑动的可学习权重

被学习的小权重矩阵

预测与标签差值的平方在样本上的平均，回归默认损失

交叉熵的指数，平均每步犹豫在多少个选项之间

行为策略与所学策略可以不同

每一步动态重组批次，减少 GPU 空转

复合函数的导数等于各层局部导数之积

用低位宽整数表示浮点权重与激活

不微调、直接用文本提示分类

输出关于 0 对称，利于优化

把不同的层放到不同的设备，用微批次填空

用 Sigmoid 输出的 0–1 系数控制信息通过量

用采样模拟来评估动作、指导搜索的算法

估计数据服从的概率分布

生成器只覆盖数据分布的少数几个模式

生成器只覆盖少数模式，多样性丧失

一份更新缓慢的网络，用来提供稳定的自举目标

训练中后续层输入分布不断变化的现象

两个同维向量逐项相乘再求和，余弦相似度的分子

判断样本真伪的网络，同时充当损失

一步里用多少样本估计梯度

模型平均预测与真实规律的偏离量

同一输入下的两个候选输出及人类的取舍

可学习的阈值偏移量

隐表示所在的低维层，限制信息通过的通道

把任意矩阵写成“旋转·拉伸·旋转”的乘积

在大数据集上预训练，再在小任务上微调

自编码器压缩后的低维表示空间

把离散对象映射到连续向量的那一层或那一结果

把文本编码成向量的模型

同一组权重在所有空间位置复用

某个输入对输出的影响强度，可正可负

在损失中加入权重平方和惩罚，抑制大权重

用大量三维高斯椭球表示场景，渲染快速

靠提示中的示例完成任务，不更新参数

把噪声映射为样本的网络

把声学特征还原为波形的组件

视频中跨帧的局部单元，用于建模运动

从请求发出到收到第一个 token 的时间

喂给模型的特征向量

过参数化区测试误差先升后降的现代反例

让模型显式写出中间推理步骤

神经元长期处于负区间、梯度恒为零而不再更新

在给定参数下，观测到这份数据的概率

假设为真时，观测到这份数据的概率

把随机试验结果映射为数值的函数

用小批量近似全量梯度的做法

参数空间上损失值构成的高维地形

按后验概率抽取并选最大值，探索量自动流向不确定处

变换后方向不变、只被缩放的向量及其缩放倍数

梯度沿网络逐层传播的大小与稳定性

梯度沿层连乘后指数级缩小

把恶意指令伪装成数据让模型执行

在边界补零以控制输出尺寸

把浅层高分辨率特征送入深层，保住边界细节

同一空间位置上的不同测量量，如 R/G/B 或 Alpha

小模型草拟、大模型并行校验以加速生成

对比损失所加的 MLP，训练完通常丢弃

更深的网络训练误差反而更高，且非过拟合

向量里数字的个数

词表中没有、只能靠子词拼出的词

每个通道用多少比特表示，8 位对应 256 级

显式注入序列顺序的信号，正弦式或 RoPE

用条件与无条件预测之差外推，控制贴题程度

看到数据之前对假设的相信程度

能写出或逼近 p(x) 的模型，如自回归与扩散

存在一个超平面能把两类完全分开

随机变量的平均信息量 / 不确定性

为高维向量提供近邻检索的存储

图像的最小采样单元，携带一个或多个通道的数值

限制新旧策略之间的偏离幅度

每一步的步长

组织颜色数值的一套坐标系统，如 sRGB、HSV、Lab

随机遮词再还原，双向目标

实际累积收益与始终选最优动作的差距

找出与主体分布偏离的少数样本

只提供采样器、不给出概率的模型，如 GAN

随时间更新的“到目前为止”的摘要向量

某动作比该状态平均水平好多少

比较两个向量方向的一致程度，取值 −1 到 1

类别 → 类别 + 个体 → 二者统一

把归一化放在卷积之前的结构，训练更稳

绕过安全训练诱导模型越界

学新任务时旧能力迅速退化

在验证损失回升前停止训练

每一步加噪量的时间表，以 βₜ 或 ᾱₜ 描述

把单层内部的大矩阵切到多张卡上

序列中相距很远的元素之间的相互影响

0 到 1 之间，决定对未来奖励的重视程度

所有假设下数据出现的总概率，起归一化作用

用大模型的软输出训练小模型

变换实际展开的独立方向数目，不超过行数与列数

把随机采样写成确定变换加外部噪声，使梯度可回传

用更精确的模型对候选片段重新打分

把矩阵沿对角线翻面，行变列、列变行

一种上采样操作，分割解码器常用

描述当前局面的变量，需满足马尔可夫性

从状态 s 出发、遵循策略 π 的期望折扣回报

让框架自动、精确地算出梯度，而非数值近似

从数据本身构造标签，无需人工标注

让智能体与自己的历史版本对局来生成训练数据

单个事件的信息量 −log p

Q/K/V 都来自同一序列的注意力

策略网络与价值网络，前者选动作后者打分

字节对编码，自底向上合并高频符号对

沿时间展开后做反向传播

由条件图引导结构的旁路网络

确定性采样，几十步即可获得相近质量

离散马尔可夫扩散，采样通常需上千步

直接偏好优化，无需显式奖励模型

训练时随机屏蔽一部分神经元，防止单元共适应

数据对数似然的下界，等于重构项减去 KL 项，VAE 的实际优化目标

精确率与召回率的调和平均

生成分布与真实分布在 Inception 特征空间中的 Fréchet 距离，越低越好

对比学习的标准损失，本质是多分类交叉熵

两个框的交集与并集之比

交叉熵与真实熵之差，非负且不对称

衡量编码分布与标准正态的偏离，充当正则项

惩罚新策略偏离参考策略的幅度，防止退化

缓存历史 token 的键值以减少重复计算

低秩适配器，只训练极少量新增参数

低秩适配增量，用于低成本定制

多类别、多 IoU 阈值下的平均精度均值

每一类 IoU 的平均值，分割的主指标

用神经网络表示场景辐射场，支持新视角合成

非极大值抑制，用于去除重复框

只有一位为 1 的稀疏向量，词之间完全正交

把层归一化放在子层之前的稳定化做法

注意力里「查询、索引、内容」三组向量

把推理与行动交替进行的提示范式

曲线下面积，衡量模型在所有阈值下的排序能力

旋转位置编码，编码相对位置、外推性好

直接在字符/字节流上运行的子词工具

监督微调，用「指令—回答」对训练

用中心词预测周围词的训练目标

把一组实数打分变成和为 1 的概率分布

「新估计的目标」与「旧估计」之差

预测第一名 / 前五名是否命中真实标签

用 Transformer 处理图像 patch 的架构

衡量两个分布的「推土机」距离，比 JS 散度更适合训练

分片优化器状态、梯度与参数以降低单卡显存

以概率 ε 随机探索，其余时间利用当前最优