mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-20 03:12:01 +00:00
检索质量有数了:评测集 + 重排,alpha 不再写死
先做评测再做重排——否则重排的收益只能靠"搜两下感觉准了"。
**评测集**(test_retrieval_quality.py):24 篇语料 + 16 个问题,问题分成字面
重叠和纯语义两类。第一版是 8 篇、主指标 hit@3,结果各档 alpha 全是 100%,
等于什么都没量——8 选 3 瞎猜都有 37%。扩语料、加干扰、主指标换成 hit@1
之后才开始能分辨。
量出来的第一个结论就推翻了我原来的猜测:
alpha hit@1 hit@5 MRR 字面 语义
0.0 88% 100% 0.911 100% 75%
0.2 81% 100% 0.880 88% 75%
0.5 81% 100% 0.880 88% 75%
1.0 81% 100% 0.880 88% 75%
本地哈希向量那一路不是"弱一点",是**纯噪音**:给它任何权重,hit@1 都从 88%
掉到 81%。而 alpha 的默认值一直写死 0.5,等于主动把检索做差。改成跟着
embedder 能力走(default_alpha:有语义泛化才给 0.5,否则 0),节点上的
alpha 也不再写死默认值。
**重排**(memory/rerank.py):初筛多捞一些(20 条),让模型按"对回答这个问题
有多大帮助"重排,再取 top_n。只捞 5 条的话重排最多把这 5 条换个顺序,第 6
条是对的也救不回来。
用已配置的对话模型做,不引入本地 cross-encoder——后者要下模型权重,和"零配置
能跑起来"的基线冲突。代价是每次检索多一次调用,所以默认关闭。
失败一律退回初筛顺序并说一声:解析不出分数、个数对不上、模型抛异常、没配
provider,四条路径都有测试。重排是增强,不该因为模型抽风就让整个检索挂掉。
This commit is contained in:
@@ -318,14 +318,25 @@ export const NODE_DEFS: Record<NodeType, NodeDef> = {
|
||||
{ key: 'query', label: '检索问题', type: 'prompt' },
|
||||
{ key: 'collection', label: '知识库', type: 'collection' },
|
||||
{ key: 'limit', label: '返回片段数', type: 'number', min: 1, max: 20 },
|
||||
{
|
||||
key: 'rerank', label: '重排', type: 'select', advanced: true,
|
||||
options: [
|
||||
{ value: 'off', label: '不重排' },
|
||||
{ value: 'model', label: '让模型重排(更准,多一次调用)' },
|
||||
],
|
||||
help: '开了会先多捞一些候选,再让模型按"对回答这个问题有多大帮助"重新排序',
|
||||
},
|
||||
{
|
||||
key: 'alpha', label: '向量 vs 关键词', type: 'number', min: 0, max: 1, step: 0.1,
|
||||
help: '1 = 纯语义相似,0 = 纯关键词匹配',
|
||||
help: '1 = 纯语义相似,0 = 纯关键词匹配。留空则跟着向量模型的能力走'
|
||||
+ '——本地哈希向量没有语义泛化,给它权重反而会让命中率下降',
|
||||
},
|
||||
{ key: 'min_score', label: '最低分数', type: 'number', min: 0, max: 1, step: 0.05, advanced: true },
|
||||
...COMMON_TAIL,
|
||||
],
|
||||
defaults: { query: '{{ last_message }}', collection: 'default', limit: 5, alpha: 0.5 },
|
||||
// alpha 不写死:写死 0.5 等于给一个没有语义能力的信号一半权重,
|
||||
// 实测会把 hit@1 从 88% 拉到 81%(backend/tests/test_retrieval_quality.py)
|
||||
defaults: { query: '{{ last_message }}', collection: 'default', limit: 5, rerank: 'off' },
|
||||
},
|
||||
transform: {
|
||||
type: 'transform', label: '数据整形', category: '上下文', icon: Shuffle,
|
||||
|
||||
@@ -125,7 +125,8 @@ function KbTab() {
|
||||
const [docs, setDocs] = useState<KbDocument[]>([])
|
||||
const [query, setQuery] = useState('')
|
||||
const [hits, setHits] = useState<any[] | null>(null)
|
||||
const [alpha, setAlpha] = useState(0.5)
|
||||
// 初值跟着 embedder 能力走:本地哈希向量下给向量权重会让命中率下降
|
||||
const [alpha, setAlpha] = useState(0)
|
||||
const [adding, setAdding] = useState(false)
|
||||
const fileRef = useRef<HTMLInputElement>(null)
|
||||
|
||||
|
||||
Reference in New Issue
Block a user