结果重排序
把召回的候选按相关性重新排序
语言与知识进阶 #10
输入文本表格
这项能力指什么
输入一个查询和一小批召回的候选文档,输出它们重新排定的顺序与相关性分数。它与「语义检索」的区别是分工不同:检索用便宜的向量近邻从上万条里捞出几十条,重排序用更贵的模型在这几十条上做精细判断,所以只在候选集上运行。
技术上如何做到
典型做法是交叉编码器:把查询与候选文档拼成一条序列送进同一个模型,直接输出相关性分数;因为编码时两者已互相看到,判断精度高于双塔,代价是无法预计算、必须逐对推理。为控延迟常用先小模型截断再大模型精排的多级方案,也有用大模型按提示打分的做法。
代表产品
4相关机构
典型用途
- RAG 检索后提升证据质量
- 电商与内容搜索的最终排序
- 问答系统里挑出最相关段落
- 候选答案的去重与择优
怎么评价它好不好
- nDCG@k
- 重排后前 k 位的折损增益,看重相关项排得更前
- MAP
- 所有相关项平均精度的均值
- MRR
- 第一条相关结果的位置质量
边界与难点
- 交叉编码器要对每个候选单独推理,候选一多延迟就直线上升
- 在训练分布之外的查询上判断不稳,容易把长文档截断后误判
- 它只能在召回集合内排序,召回漏掉的相关内容无法补救