AI 工程、安全与伦理
把一个能跑的模型，变成一件能用、可信、可问责的产品
OVERVIEW
- 全部词条
- 6
- 入门
- 2
- 进阶
- 3
- 专家
- 1
模型在实验里跑通只完成了大约三分之一的工作。剩下的是工程与治理：怎样把它压缩到能上线的成本、怎样评估而不是靠感觉、怎样对抗注入与越权、怎样在失误发生时能解释与追责。这一域是 AI 从论文走向产品的必经关口。
这一域要回答的问题
- Q1
大模型如何压缩到消费级硬件？
- Q2
没有标准答案时怎么评估？
- Q3
提示注入为什么难以根治？
本域词条
- 01训练与推理基础设施专家显存决定你能训多大的模型，通信决定你要花多久；算力本身往往不是瓶颈
- 02模型压缩进阶在几乎不牺牲精度的前提下把模型变小、变快、变便宜——但三者通常只能同时占两样
- 03推理优化与服务化进阶训练只发生一次，推理每天发生上亿次；服务的两难在于首 token 要快、吞吐要高，而两者常常互相拉扯
- 04检索增强生成入门与其把知识硬塞进参数，不如让它留在外面、需要时再查——像开卷考试而非闭卷考试
- 05智能体与工具调用进阶让模型不再只是回答问题，而是能查资料、调接口、跑代码——并在每一步的结果之后再决定下一步
- 06安全、对齐与提示注入入门模型优化的从来不是“我们真正想要的东西”，而是我们写进损失函数里的那个代理指标——两者的缝隙就是对问题的全部