检索质量有数了:评测集 + 重排,alpha 不再写死

先做评测再做重排——否则重排的收益只能靠"搜两下感觉准了"。

**评测集**(test_retrieval_quality.py):24 篇语料 + 16 个问题,问题分成字面
重叠和纯语义两类。第一版是 8 篇、主指标 hit@3,结果各档 alpha 全是 100%,
等于什么都没量——8 选 3 瞎猜都有 37%。扩语料、加干扰、主指标换成 hit@1
之后才开始能分辨。

量出来的第一个结论就推翻了我原来的猜测:

    alpha   hit@1   hit@5   MRR     字面    语义
    0.0     88%     100%    0.911   100%    75%
    0.2     81%     100%    0.880   88%     75%
    0.5     81%     100%    0.880   88%     75%
    1.0     81%     100%    0.880   88%     75%

本地哈希向量那一路不是"弱一点",是**纯噪音**:给它任何权重,hit@1 都从 88%
掉到 81%。而 alpha 的默认值一直写死 0.5,等于主动把检索做差。改成跟着
embedder 能力走(default_alpha:有语义泛化才给 0.5,否则 0),节点上的
alpha 也不再写死默认值。

**重排**(memory/rerank.py):初筛多捞一些(20 条),让模型按"对回答这个问题
有多大帮助"重排,再取 top_n。只捞 5 条的话重排最多把这 5 条换个顺序,第 6
条是对的也救不回来。

用已配置的对话模型做,不引入本地 cross-encoder——后者要下模型权重,和"零配置
能跑起来"的基线冲突。代价是每次检索多一次调用,所以默认关闭。

失败一律退回初筛顺序并说一声:解析不出分数、个数对不上、模型抛异常、没配
provider,四条路径都有测试。重排是增强,不该因为模型抽风就让整个检索挂掉。
This commit is contained in:
ThearchyHelios
2026-09-19 09:33:09 +08:00
parent df935599f2
commit e8ef6ff9a8
8 changed files with 474 additions and 12 deletions
+13 -2
View File
@@ -318,14 +318,25 @@ export const NODE_DEFS: Record<NodeType, NodeDef> = {
{ key: 'query', label: '检索问题', type: 'prompt' },
{ key: 'collection', label: '知识库', type: 'collection' },
{ key: 'limit', label: '返回片段数', type: 'number', min: 1, max: 20 },
{
key: 'rerank', label: '重排', type: 'select', advanced: true,
options: [
{ value: 'off', label: '不重排' },
{ value: 'model', label: '让模型重排(更准,多一次调用)' },
],
help: '开了会先多捞一些候选,再让模型按"对回答这个问题有多大帮助"重新排序',
},
{
key: 'alpha', label: '向量 vs 关键词', type: 'number', min: 0, max: 1, step: 0.1,
help: '1 = 纯语义相似,0 = 纯关键词匹配',
help: '1 = 纯语义相似,0 = 纯关键词匹配。留空则跟着向量模型的能力走'
+ '——本地哈希向量没有语义泛化,给它权重反而会让命中率下降',
},
{ key: 'min_score', label: '最低分数', type: 'number', min: 0, max: 1, step: 0.05, advanced: true },
...COMMON_TAIL,
],
defaults: { query: '{{ last_message }}', collection: 'default', limit: 5, alpha: 0.5 },
// alpha 不写死:写死 0.5 等于给一个没有语义能力的信号一半权重,
// 实测会把 hit@1 从 88% 拉到 81%(backend/tests/test_retrieval_quality.py)
defaults: { query: '{{ last_message }}', collection: 'default', limit: 5, rerank: 'off' },
},
transform: {
type: 'transform', label: '数据整形', category: '上下文', icon: Shuffle,