知识库:换 embedding 模型不再 500,检索能回指了

三件事,都是"这三个模块一条测试都没有"的后果。

**换 embedder 会让检索整体 500。** 库里是 512 维的本地向量、查询是 1536 维的
远端向量时,cosine 直接 `shapes (1536,) and (512,) not aligned`。from_blob 有
dim 参数,但 kb.py 和 memory/store.py 调用时都没传;而且存量向量属于哪个模型
代码里没有任何地方记着,所以也无从降级。

Chunk / MemoryItem 各加 embed_model + embed_dim(走现成的 _COLUMN_MIGRATIONS,
存量回填空值,正好表示"不知道是谁建的")。检索遇到对不上的向量整体退回纯
关键词并说破,不是把它们当 0 分静默沉底——那样用户看到的是结果莫名其妙变差,
而不是"这里有一批索引该重建了"。配套 kb.reindex + POST /api/kb/reindex。

长期记忆那份一起修了。判重那条更危险:维度碰巧相同但模型不同时 cosine 算出来
是随机数,会把不相关的旧记忆认成"重复",然后把新内容丢掉。

**默认 embedder 没有语义能力,而开关藏在一个环境变量里。** LocalEmbedder 是
特征哈希 + TF,和 BM25 吃同一批词;alpha 默认 0.5 等于给了它一半权重,同义
改写一条都召不回。开启真模型的唯一开关是 AGENTLAB_USE_OPENAI_EMBEDDINGS——
没界面、没人会发现。改成设置项(照 COPILOT_SETTING_KEY 的路子),知识库页顶部
能选能看能重建。

配置失败必须响:第一版写成静默退回本地,但选了 OpenAI 却拿到哈希向量的人,
在搜不出同义表达时完全无从怀疑到这里。现在抛 EmbedderUnavailable,API 400
原样交回"检查 OPENAI_API_KEY 是否配了",且不会把配置改掉。

**检索结果不进工件库。** db_query、工具节点、agent 工具调用都落 put_json 快照,
run_retrieve 什么都不落——于是结论只要来自知识库,"这个数是哪来的"就断在这儿,
而数字回指正是这个项目的签名能力。现在落 kind="retrieval_snapshot",并发一条
retrieve.end 带 artifact id。解码层补了正式映射(原来会掉进"未知事件"兜底,
画成一坨原始 JSON)。

新增 test_kb.py 11 条,补上这三个模块此前的零覆盖,包括 embeddings.py 里
注释记着、但一直没有测试守的那个归一化边界(单条候选被 min_score 误杀)。

端到端在真实服务上验过:撞上存量向量返回 200 + 降级说明(以前 500)、
重建后 stale 归零、配不起来的远端模型 400 且配置不变。
This commit is contained in:
ThearchyHelios
2026-09-19 09:27:07 +08:00
parent cd7ced7673
commit df935599f2
14 changed files with 636 additions and 18 deletions
+24
View File
@@ -712,6 +712,30 @@ export function decodeRun(events: RunEvent[]): Step[] {
break
}
case 'retrieve.end': {
// 知识检索。以前只发一条 info 日志,于是"这句结论依据的是哪份文档的
// 哪一段"在轨迹里查不到——而 SQL 取数那条路早就能下钻到工件
const count = num(d.count) ?? 0
const collection = String(d.collection ?? '')
const top = num(d.top_score)
push({
id: `rt-${seq}`, seq, kind: 'schema', nodeId,
status: count ? 'done' : 'failed',
level: d.degraded ? 'warn' : count ? undefined : 'warn',
title: count
? `在「${collection}」里检索到 ${count} 段`
: `在「${collection}」里没检索到内容`,
detail: String(d.query ?? ''),
meta: [
top != null ? `最高分 ${top}` : '',
// 退回关键词是"少了一半能力",不标出来用户只会觉得最近搜得不准
d.degraded ? '已退回关键词' : '',
].filter(Boolean).join(' · ') || undefined,
artifact: d.artifact,
}, nodeId)
break
}
default:
// 新增事件类型时不要静默吞掉——宁可显示一条原始的,也比让人觉得
// "什么都没发生"好。加了新事件记得回来补一条映射。