 ThearchyHelios
|
587bf7e27c
|
第三波前两批：六个「看着成功其实没干活」的平台漏洞堵上，记录页能回放，管理页与画布收尾
起因是一次探索运行：Copilot 改节点时把工具绑定整份抹掉，agent 没有工具只能写「假设调用」，
校验节点的自动修复编出 total_count=0 让 schema 通过，协作成员把工具调用标记当文字输出了四轮，
轮数用完后节点把原话当成功结果交出去——运行标成已完成，数据库一次都没查。
平台可信度（先写失败测试）
- Copilot 修改节点改为合并：没写的字段保留，null 才删除；协作成员按名字合并。前后端同一套规则，
工具集合变小时自查报警、改图回执列出变化
- 新校验规则：提示词点名了某个工具而节点没有绑定它，判错误，Copilot 自查会交回去修
- 校验修复只许改格式：冒出原文没有的值就判修复无效；修复这次模型调用计入用量
- 识别模型把工具调用写成文字的情况（DSML、<tool_call> 等标记）：纠正一次，仍然如此就判失败并说明原因
- 协作团队用完轮数不再按成功交付：默认失败，可选降档，点出一次都没派到的成员
- 审批恢复后，同一节点里已经执行过的工具调用复用结果，不再重复执行
后端
- 查询时限交给数据库执行（Oracle call_timeout、PG statement_timeout、MySQL max_execution_time、
SQLite progress handler），可按数据源配置；超时报错与实际耗时一致
- 等审批的运行可以真正取消；会话列表带最后一轮状态；测连接结果持久化；探查结构可只看不存；
自定义工具可草稿试跑、写坏的参数定义保存时拒绝；MCP 服务改动后作废旧工具缓存；
检索命中带贡献分解；重建索引在后台跑并报进度；报错统一收进 core/errors
前端
- 公共层：管理页共用件、失败说明（lib/explain）、健康状态进公共库；目录按表各自加载并有超时，
一张表卡住不再拖垮整站；上传显示真实字节进度；离线横幅只播报不变的句子
- 画布：卡片只说游标所在的那一次执行；等审批时可放弃运行；团队收尾判定与未完成说清楚；
回放用量取那一刻的值
- 编排页：Copilot 合并语义与工具变化回执；「用完轮数时」选项；正式运行期间锁住所有改图入口
- 回答流 / 问数据：新失败类型说人话并给下一步；画布与右栏互相定位；数据源范围、回收站、重新核对
- 记录页：「航迹」页签复用画布时间轴，可拖动回放、列出关键时刻；列表行带执行 / 等人 / 失败缩略条
- 外壳：统一的离开前确认（data router），导航、⌘K、快捷键、后退都会先问
验证（沙箱）：tsc 干净，pytest 838 passed（两遍），14 个检查脚本中 13 个全绿；
check-ui 余 1 项旧断言（按旧日期格式找运行行），3c 更新。
|
2026-09-27 10:16:32 +08:00 |
|
|
ThearchyHelios
|
e10c4f23fc
|
界面与交互全面翻修（前两波）：运行态有了 HUD 和时间轴，终态会收尾，全站令牌、组件、文案统一
来自 2026-09 的 UI/UX 审查（142 条）。本提交是前两波，第三波（记录页接入时间轴、跨页互链、check-ui 更新、全站扫尾）另行提交。
地基
- 设计令牌：全局规则和 .btn/.field/.chip 放进 CSS 层，Tailwind 工具类重新生效，选中态、开启态不再被吞掉；字号阶梯；
辅助文字在所有底色上 >= 4.5:1；状态色专用，节点类型色与之拉开色相；「跟随系统」真的跟随，首帧不闪深色；新字标与 favicon
- 基础组件：confirmDialog / promptDialog 取代原生对话框；toast 出错不自动消失、可复制、读屏可播报；离线横幅与断线恢复；
九种剪影的状态徽标；唯一一份状态文案（lib/status）、格式化（lib/format）、术语（lib/terms）、报错人话（lib/errors）
- 运行态内核：事件折成航迹（run/trace.ts），可投影到任意时刻；取消 / 失败 / 服务重启后统一收尾，不再永远转圈；
run.status 随事件回写；token 事件不再堆进 events
- 后端：协作成员逐个完成即发事件，调度者决策有事件；时长分执行 / 墙钟 / 等人；API 时间带时区；
中断的运行也发 stream.end；运行列表可筛选翻页；删除运行 / 工作流有保护；运行默认值接通；可测未保存的配置；
报错说清发生了什么、为什么、怎么办
功能
- 画布：状态四重编码、固定高度遥测槽、按缩放三档、运行胶囊与 HUD、航迹时间轴与回放、执行轨迹边、
等待闸门、跟随执行、正式运行只读、一次性时刻（开场点亮、回扫、阻断级联、出具印章）
- 编辑：撤销重做、版本历史、问题面板可定位、三栏可收起、模板与表达式字段区分、变量血缘、快捷键、带搜索的选择器
- 回答流 / 问数据：贴底才跟随滚动、工件下钻、出具横幅列出缺口、答案可复制导出、按会话的忙闲、
答案不再在 2000 字处截断、重启后这一轮会收尾
- 记录页：待审批 / 运行中 / 失败页签、筛选翻页、实时接流、排错路径指到节点、封存凭证常驻
- 管理页：新的「数据」页、写操作失败都有反馈、弹窗里先测连接、统一持久的连接状态
- 外壳：导航改版、⌘K 命令面板、? 快捷键帮助、404、页面标题与 favicon 状态点、后台提醒
验证（沙箱）：tsc 干净，pytest 579 passed，14 个检查脚本中 13 个全绿；check-ui 剩 1 项旧断言（按旧日期格式找运行行），第三波更新。
|
2026-09-26 23:11:31 +08:00 |
|
|
ThearchyHelios
|
86a0928512
|
知识库页不再把"退回本地哈希"藏起来：配了语义模型却没连上时说实话，也不再劝人重建
本机配的是 LM Studio 上的 text-embedding-qwen3-embedding-4b。服务启动时它没起，
load_setting 连不上，整个进程就一直用本地哈希——它后来起了也不会自己连上，原因只在
服务端日志里留一句。页面按"配的是不是 local"判断，于是：
- 不标"没有语义能力"，看着一切正常，检索却一直是纯关键词；
- 高亮"重建索引（73 段）"——那些"对不上"的向量正是 qwen3 建好的，一点就拿哈希
覆盖掉，连上之后还得再重建一遍。
改法：
1. 后端记下保存的配置为什么没生效（embeddings.unavailable_reason），状态接口多报
fallback / fallback_reason：配的是语义模型、实际在用本地哈希。重新配置成功就清掉。
2. 页面按实际生效的 embedder（has_semantics）标"没有语义能力"。退回时说清配的是哪个、
在哪、为什么没连上，给「重新连接」——发的就是保存着的那份配置，服务起来后点它即可，
不用重启；"重建索引"收起，存量提示改口成先别重建。明确选了本地哈希的照旧：标没有
语义能力，重建按钮还在。
验证：test_kb 新增一条，走完"启动连不上 → 状态里报退回并带原因 → 重新连上后消失 →
明确选本地不算退回"。check-ui 新增一组伪造状态接口的断言（退回 / 重新连接 / 明确选
本地，写请求一律拦下）；把页面换回旧版本跑，这组挂 8 项。后端 471 passed，tsc 与
check-decode / guards / stream / ui 全绿；本机状态接口现在如实报出退回和原因。
|
2026-09-25 19:09:19 +08:00 |
|
|
ThearchyHelios
|
7b04162540
|
Excel/CSV 变成能查的表、PPT 读得进来、跑挂了能接着跑、文档和工具有了地址
四件事，其中 Excel 那条不是"多支持一种格式"，是补一个和地基冲突的缺口。
**Excel / CSV → 可以用 SQL 查的表。**
这个项目有条不可回退的决策：叙述层无算术权限，所有算术下沉到 SQL 或口径卡，
叙述只能引用（engine/issuance.py）。表格传进知识库只能被切块检索，数字就成了
模型从片段里"读"出来的——复核层拦得住凭空多出的数字，拦不住"从一堆片段里
读错了一格"。所以表格必须变成表。
不新增数据源类型：kind='sqlite' 早就支持，build_url 拿 database 当文件路径。
落成 .db 文件再建一条 DataSource 指过去，下游一行都不用改——SQL 守卫、结构
探查、db_query__<name> 工具、查询快照进工件库、Copilot 的数据源清单，全都白拿。
建表走 sqlite3 直连而不是 run_query：guard 的 _ALWAYS_DENIED 里有 create，
那是对的（模型不该能建表），而导入是我们自己发起的可信操作。
四个语义是这块的全部分量：
- **类型要推，不能全存 TEXT。** SQLite 是动态类型，但列亲和性决定排序和比较：
整数列落成 TEXT 的话 '10' < '9'，SUM() 在混入空串时静默出错，而没有任何
地方会报。逐列扫描推断 INTEGER/REAL/TEXT，空单元格存 NULL 不存 ""，
日期存 ISO（字典序恰好等于时间序）。测试里那条 ORDER BY 要是 9<10 而不是
'10'<'9'，守的就是整块的意义。
- **表头取第 1 行，但不猜。** 不做"自动找表头"的启发式：猜错的表现是列名变成
一行数据，没有任何征兆，直到某天有人发现汇总一直少一行。改成 header_row
可填，并把推断出的列名和类型当场回显——错了一眼看见。
- **同名重传原地替换，id 和 name 都不变。** 名字会成为工具名（db_query__sales）
而工具名写进了保存过的图，另起一个 sales_2 等于悄悄让那些图失效。
- **中文原样保留。** 一开始把 sheet 名清洗成了 ASCII，结果「明细」「汇总」都变成
sheet、sheet_2，模型和用户都认不出哪张是哪张——而 SQLite 的标识符本来就允许
非 ASCII，那道清洗纯属自找麻烦。现在只替换会断句的空白和标点。
实测：两 sheet 的中文 xlsx → 两张表，金额列 INTEGER，跨表 JOIN + SUM 跑通，
Copilot 的工具清单里带着表名。CSV 按 utf-8-sig / utf-8 / gb18030 依次试——
GBK 的 CSV 是 Excel 另存为的默认行为，按 UTF-8 读会得到乱码列名，而乱码不报错。
知识库那边顺手改了指路：传 .xlsx/.csv 进去不再说"不是 UTF-8 文本"，
而是告诉你该传到数据源那边、以及为什么。
**PPT。** 文本框和表格分开取（表格的 has_text_frame 是 False），幻灯片之间
留空行当段落边界。.ppt/.doc/.xls 这些老二进制格式认出来再拒，说清楚"另存为
新格式"——以前它们会掉进"不是 UTF-8 文本"那个兜底，对着一个 .ppt 说这话，
用户根本不知道该怎么办。
**问数据页的「接着跑」。** 挂了那一轮不该只剩一行红字：断点一直在 checkpoint
里躺着。按钮挂在 approvalsFor 那个每轮插槽里（本来就托着「看执行过程」和
「跑一下」）。不带图——问数据页改不了图，这里就是"用原来的配置重试失败的
那一步"，配置本身错了要到画布上改。实测：续的是同一次运行（8→13 条事件），
只跑了 lp 往后，轨迹里有 run.resumed。
**文档 / 工具的地址。** /knowledge/kb/:docId 是新页面——文档原来连详情视图都
没有，而切块这层做了不少事（按行边界留重叠、跨块续表头），结果一处都看不见。
现在逐段列出来带字数和 token 数，还标出"这份文档里混着两个模型建的向量"
（换模型只重建了一部分时真会发生，而那会让这部分内容悄悄退回关键词检索）。
新增 GET /kb/documents/{id}。工具那边 tab key 从 tools 改成 library，
否则地址是 /tools/tools/<id>。
验证：后端 265 passed（新增 test_tabular.py 16 条）；tsc 干净；三个 check 全过，
check-ui 补了文档/工具两节；四块都在真浏览器/真后端上端到端跑过。
开发库里造的演示数据源、会话和运行已清干净。
|
2026-09-20 16:19:07 +08:00 |
|
|
ThearchyHelios
|
6a46e4b55c
|
大文件传得进来了：分批算向量、上传转后台、边读边数大小
压测量出来的三个问题，10MB 文本（切 7914 段）：
上传耗时 150s（本地哈希） 换成 Qwen3-Embedding-4B 要 40 分钟以上
而这 150 秒是压在一个 HTTP 请求里同步跑完的
浏览器和反向代理的默认超时都在 60 秒上下，也就是 5MB 以上的文件用户必然
看到超时——而后端其实还在跑，跑完文档也确实入了库。界面显示失败、数据其实
成功，比直接拒绝还糟。
**分批算向量。** 原来 ingest 是 embed_texts(pieces) 一次全发。本地哈希只是慢，
换成远端模型就是必挂：近八千段一次请求塞不下（OpenAI 单次上限 2048）。
reindex 那边早就分批了，ingest 这条一直漏着——而我上一轮刚把"换真模型"做成
设置页里点两下的事。
**上传转后台。** create_document / process_document 拆开，上传立刻返回
status=processing，切块和算向量在后台跑，进度写回文档行，前端轮询显示
"正在切块并算向量… 4288/7914 段"。实测上传返回 0.07 秒。
进度这件事返工过一次：先用另一个 session 单独写，结果整个过程界面上都是空的、
只在结束时闪一下——SQLite 只允许一个写者，主事务开着的时候那次写被堵住了。
改成主事务自己按批提交，顺手把进度写进去。
失败要写回 failed，否则永远停在"处理中"转圈。服务重启时也把残留的
processing 收尾成 failed——和 runner 对 running 的 run 是同一个道理。
**边读边数大小。** 原来是 raw = await file.read() 读完再判断，传个 1GB 的
文件内存在报 413 之前就吃掉了——那个检查拦的是"入库"，不是"占内存"。改成
按块读、超了立刻停。上限从写死的 10MB 变成配置项，默认 50MB。
端到端验过：10MB 上传返回 0.07s，后台进度 768→1472→…→7914 实时可见，
最终 ready / 7914 段。
|
2026-09-20 09:47:02 +08:00 |
|
|
ThearchyHelios
|
1e9f32b869
|
embedding 能接本地端点了：维度改成探测，不再按模型名猜
在本机 LM Studio 上接 Qwen3-Embedding-4B 时撞出来的两个兼容问题。
**维度不能猜。** 原来是"名字里有 3-large 就 3072，否则一律 1536"。本地部署的
模型五花八门——bge-m3 是 1024、Qwen3-Embedding-4B 是 2560——猜错的后果不是
差一点，是所有存量向量都被判成"和当前 embedder 对不上"，检索整体退回关键词。
改成建 embedder 时实际探一次。
**langchain 默认发的是 token 数组。** 它先把文本分词，再把 token id 数组发过去，
OpenAI 官方认，LM Studio 这类本地服务只收字符串，直接 400：
'input' field must be a string or an array of strings
自定义 base_url 时关掉这个行为发原文。我们的片段都在 800 字上下，本来也用不着
那套长度保护。顺带设了 chunk_size=512——远端接口单次批量有上限，不分块的话
大文档必挂。
报错也改了：原来只说"检查 OPENAI_API_KEY"，现在带上试的是哪个地址、哪个模型
——本地服务没起的话，照着旧文案去翻 key 是白费功夫。
实测 Qwen3-Embedding-4B（2560 维）对比本地哈希向量：
hit@1 hit@5 MRR 字面 语义 入库 每查
哈希 88% 100% 0.911 100% 75% 0.2s 0.00s
Qwen3 94% 100% 0.958 100% 88% 3.4s 0.09s
涨的全在语义类，字面类没被搞坏。has_semantics() 转真后 alpha 默认从 0 自动
回到 0.5，不用手调。
一个没料到的结果：纯向量（alpha=1）只有 81%，比纯关键词（alpha=0）的 88% 还低,
混合（0.5）才是 94%。专有名词靠 BM25、换了说法靠向量，两边各管一半——混合
检索在这份语料上是真有必要，不是摆设。
样本只有 16 题，差一题就是 6 个百分点，别把 94% 当结论；方向是明确的。
|
2026-09-20 09:31:00 +08:00 |
|
|
ThearchyHelios
|
901d840b86
|
Word / PDF 真的传得进来了，表格切开也还读得懂
上一轮做了解析，但那条路在产品上够不着：
- environment.yml 装的是 [microvm,dev,db]，没有 docs——新机器起来，传 PDF
只会得到一句"要先装解析库"
- 文件选择框的 accept 里压根没有 .pdf / .docx，点上传根本选不中这些文件
两处都补上。表格类（xlsx）故意不放进 accept：它进知识库会被切成文本，
聚合算不了、数字也无法回指，那条路该走数据源。
装上依赖实测各格式：Word（含表格）、PDF（含中文，扫描件会明说要先 OCR）、
HTML、txt/md/csv/json 都通；Excel 和 PPT 不认得，报错说得清楚。
**切块对表格的处理是这次的主要工作。** 一份 60 行的 Word 表格切出来长这样：
块1 首行 | 上海 | 172151 | 13%
门店名被切没了，也没有表头——召回到这块，模型看到的是一列没有主语的数字。
两个毛病：
1. 重叠按字符切（buf[-120:]），会从行中间断开。改成只在行边界取，
整段没有换行就宁可不要重叠
2. 表格横跨多块时，除第一块外都没有列名。改成开新块时把表头补在最前面
第二条我第一版写成了 tail+header+block，表头被夹在重叠的那几行后面成了中间
一行——"表头在不在"查出来是 True，看着修好了，块的开头其实仍然是一串没有
主语的数。测试里专门有一条盯着表头必须领头，就是为这个。
端到端验过：60 行表格的 Word 传上去切成 3 段，搜"门店销售额"召回的片段
第一行就是"门店 | 城市 | 销售额 | 同比"。
|
2026-09-19 22:58:01 +08:00 |
|
|
ThearchyHelios
|
33c7c41336
|
记忆写进去读不回来：Copilot 不许自己起 scope，重建也管记忆了
查会话 cbe09f4b（「我是谁」）时发现的。用户说了「我叫张三」，下一轮问
「我是谁」答不上来——记忆在库里好好的，只是读错了地方：
写入 run 6cd33864 memory 节点 {"action":"write","scope":"user"} → write @ user
读取 run c71fa1bc memory 节点 {"action":"recall"} 没写 scope → recall @ default
同一个会话里 Copilot 生成的两张图，写的时候自己发明了一个 user 域，读的时候
忘了写、落回 default。根子在节点参考把 scope 列成了可填字段却没说该填什么：
- memory：… config: {action, query, content, scope, assign_to}
对比一下，memory_recall / memory_write 这两个**工具**压根没有 scope 参数，
一律用 ctx.memory_scope，所以走 agent 那条路从来不会错位。只有节点会。
现在从可填字段里去掉，并写明后果。节点的 scope 配置本身保留——以后接 project
时从 run.memory_scope 传进去即可，不用改节点。
顺带补上两个上一轮埋的口子。给 Chunk 和 MemoryItem 都加了 embed_model/embed_dim，
对不上就退回关键词，但**只给知识库做了 reindex**：
- store.reindex / stale_count 补齐，记忆终于有了恢复手段
- store.recall 加 on_degrade。以前退得悄无声息——知识库那边至少发一条 warn，
记忆这边只是"最近想不起事"，人根本不会想到要去重建索引
- 重建一次管两边。它们共用一个 embedder，换模型时一起失效；分成两个按钮的
结果是点了一个、以为好了，另一个还在悄悄退回关键词
- 没建倒排的片段也归这个按钮管。它们走全表扫，结果对但慢，而重建正好把倒排
一起建了；按钮只认"向量对不上"的话，这些片段永远等不到人来点
实机验证：一次重建收拾了 2 段知识 + 1 条记忆 + 2 个倒排缺口，三个计数归零。
数据侧另行清理（不在本提交里）：身份记忆从 scope=user 移到 default，删掉
zz_fix_* 等测试残留，删除前整表导出到 data/backups/。
|
2026-09-19 16:59:51 +08:00 |
|
|
ThearchyHelios
|
2a1040bbfc
|
重排给足输出预算；失败提示分清是哪种失败
拿真 provider（deepseek-v4-pro，千帆网关）跑了一遍评测集，重排确实有用：
hit@1 hit@5
初筛 88% 100%
重排后 100% 100%
变动的两题都是语义类的，正好是本地哈希向量的短板——BM25 把「权限」的字面
命中排给了「数据导出」（那篇里有「export 权限」），模型读懂了问的是「谁有权
改」。字面类原本就 100%，没有被重排搞坏。
但 16 次里有 2 次退回了初筛顺序。查下来模型回的是**空字符串**，而失败那次的
out_tokens 正好等于 max_tokens——重排的输出只有一行几十字的 JSON，但模型为了
读完 20 条候选要花 800~1600 个输出 token，顶到上限后正文什么都不剩。llm.py
里对同一个现象早有记录：「思考型模型把额度全花在推理上了，正文是空的」。
所以重排改成有自己的预算（至少 4096），不跟节点上那个走。补跑 16/16 全部成功。
顺带纠正一处判断：thinking=off 救不了这个 provider。实测关思考那组照样在
out_tokens=2048 时空手——factory.py 只在 anthropic 分支里读 thinking 字段，
openai_compatible 整条路径不碰它。仍然传 off，因为对 Anthropic 有效、而且打分
任务本来不需要思考模式，但它不是这次的解药，注释里写明了。
失败提示原来四种坏法统一报「解析不出来」，会把人引去查 JSON 格式，而该调的是
token。现在分开说：空回复 → 「把最大输出 token 调大」；找不到 scores → 带上
原文前 80 字；个数不符 → 说明给了几个、候选几个；混了非数字 → 指出是哪个值。
测试里有一条专门断言空回复的提示中不出现「解析」二字。
|
2026-09-19 11:09:04 +08:00 |
|
|
ThearchyHelios
|
913380f738
|
倒排索引取代全表重算；PDF/Word 终于传得进来
**倒排**：以前每次检索都 select(Chunk) 全量载入，再在 Python 里重建一遍 BM25
——不只是扫表，是对每一段重新分词、重新统计词频，每次查询都来一遍。几百段
无感，上万段就是秒级，而那正是知识库开始有用的规模。
没用 SQLite 的 FTS5。方案里写了实施前先验证，验了：trigram 分词器要求查询
至少三个字符，中文的「商家」「订单」「权限」这些两字词一个都召不回。照搬会
让召回大幅倒退。现有分词器本来就做中文单字 + 二元组，自己存一张 chunk_terms
既保住召回，也不把知识库锁死在 SQLite 上。
快是次要的，一致才是前提——所以先写了"倒排必须和全表扫给出同一个名次"的
测试。它当场抓到两个真问题：
1. BM25 被算了两次：倒排按全集统计（N、avg_len、df）算一次，hybrid_rank
又在候选子集上重建一次，而子集的 df 和平均长度是另一套数。改成把倒排
算好的分传下去，不再重算。
2. 原来的 BM25.score 遍历的是**带重复**的查询词表：「导出订单最多多少行」
里「多」出现两次，贡献就加两次。倒排用 set() 去重，顶部那条差了 2.32。
改成按查询词频加权。
还有一处是排序确定性：分数并列时稳定排序保留输入顺序，而两条路径喂进去的
顺序天生不同——同一个查询会因为走了哪条路给出不同名次。两边都按 id 定序。
倒排跟着 ingest 建、跟着删文档清、跟着 reindex 重建；没建倒排的片段（存量
数据升级上来就是这样）退回全表扫——宁可慢，也不要因为索引没建好就说"没搜到"。
**解析**：upload 以前只收 UTF-8，PDF 传上去直接 415，而 mime 字段记了却从不
参与判断。现在认 PDF / DOCX / HTML。解析库走可选依赖 [docs]（几十兆，只用
纯文本的人不该为此付出安装时间），HTML 用已在依赖里的 bs4。
几处是实际验出来的，不是想出来的：DOCX 要连表格一起取（合同和口径说明的关键
信息常常整个在表里）；PDF 每行拖着排版填充空格，不清掉会混进切块和词频统计
（实测 416 字里只有 68 字是正文）；扫描件提不出文字要明说，否则悄悄存一份
空文档，用户以为传成功了却永远搜不到。
PDF/DOCX 两条路径在临时 venv 里用真文件验过（含中文、表格、扫描件、坏文件），
没有动开发环境。
|
2026-09-19 09:44:09 +08:00 |
|
|
ThearchyHelios
|
e8ef6ff9a8
|
检索质量有数了：评测集 + 重排，alpha 不再写死
先做评测再做重排——否则重排的收益只能靠"搜两下感觉准了"。
**评测集**（test_retrieval_quality.py）：24 篇语料 + 16 个问题，问题分成字面
重叠和纯语义两类。第一版是 8 篇、主指标 hit@3，结果各档 alpha 全是 100%，
等于什么都没量——8 选 3 瞎猜都有 37%。扩语料、加干扰、主指标换成 hit@1
之后才开始能分辨。
量出来的第一个结论就推翻了我原来的猜测：
alpha hit@1 hit@5 MRR 字面 语义
0.0 88% 100% 0.911 100% 75%
0.2 81% 100% 0.880 88% 75%
0.5 81% 100% 0.880 88% 75%
1.0 81% 100% 0.880 88% 75%
本地哈希向量那一路不是"弱一点"，是**纯噪音**：给它任何权重，hit@1 都从 88%
掉到 81%。而 alpha 的默认值一直写死 0.5，等于主动把检索做差。改成跟着
embedder 能力走（default_alpha：有语义泛化才给 0.5，否则 0），节点上的
alpha 也不再写死默认值。
**重排**（memory/rerank.py）：初筛多捞一些（20 条），让模型按"对回答这个问题
有多大帮助"重排，再取 top_n。只捞 5 条的话重排最多把这 5 条换个顺序，第 6
条是对的也救不回来。
用已配置的对话模型做，不引入本地 cross-encoder——后者要下模型权重，和"零配置
能跑起来"的基线冲突。代价是每次检索多一次调用，所以默认关闭。
失败一律退回初筛顺序并说一声：解析不出分数、个数对不上、模型抛异常、没配
provider，四条路径都有测试。重排是增强，不该因为模型抽风就让整个检索挂掉。
|
2026-09-19 09:33:09 +08:00 |
|
|
ThearchyHelios
|
df935599f2
|
知识库：换 embedding 模型不再 500，检索能回指了
三件事，都是"这三个模块一条测试都没有"的后果。
**换 embedder 会让检索整体 500。** 库里是 512 维的本地向量、查询是 1536 维的
远端向量时，cosine 直接 `shapes (1536,) and (512,) not aligned`。from_blob 有
dim 参数，但 kb.py 和 memory/store.py 调用时都没传；而且存量向量属于哪个模型
代码里没有任何地方记着，所以也无从降级。
Chunk / MemoryItem 各加 embed_model + embed_dim（走现成的 _COLUMN_MIGRATIONS，
存量回填空值，正好表示"不知道是谁建的"）。检索遇到对不上的向量整体退回纯
关键词并说破，不是把它们当 0 分静默沉底——那样用户看到的是结果莫名其妙变差，
而不是"这里有一批索引该重建了"。配套 kb.reindex + POST /api/kb/reindex。
长期记忆那份一起修了。判重那条更危险：维度碰巧相同但模型不同时 cosine 算出来
是随机数，会把不相关的旧记忆认成"重复"，然后把新内容丢掉。
**默认 embedder 没有语义能力，而开关藏在一个环境变量里。** LocalEmbedder 是
特征哈希 + TF，和 BM25 吃同一批词；alpha 默认 0.5 等于给了它一半权重，同义
改写一条都召不回。开启真模型的唯一开关是 AGENTLAB_USE_OPENAI_EMBEDDINGS——
没界面、没人会发现。改成设置项（照 COPILOT_SETTING_KEY 的路子），知识库页顶部
能选能看能重建。
配置失败必须响：第一版写成静默退回本地，但选了 OpenAI 却拿到哈希向量的人，
在搜不出同义表达时完全无从怀疑到这里。现在抛 EmbedderUnavailable，API 400
原样交回"检查 OPENAI_API_KEY 是否配了"，且不会把配置改掉。
**检索结果不进工件库。** db_query、工具节点、agent 工具调用都落 put_json 快照，
run_retrieve 什么都不落——于是结论只要来自知识库，"这个数是哪来的"就断在这儿，
而数字回指正是这个项目的签名能力。现在落 kind="retrieval_snapshot"，并发一条
retrieve.end 带 artifact id。解码层补了正式映射（原来会掉进"未知事件"兜底，
画成一坨原始 JSON）。
新增 test_kb.py 11 条，补上这三个模块此前的零覆盖，包括 embeddings.py 里
注释记着、但一直没有测试守的那个归一化边界（单条候选被 min_score 误杀）。
端到端在真实服务上验过：撞上存量向量返回 200 + 降级说明（以前 500）、
重建后 stale 归零、配不起来的远端模型 400 且配置不变。
|
2026-09-19 09:27:07 +08:00 |
|
|
ThearchyHelios
|
761117344b
|
沙箱会话生命周期与记忆检索
## 每跑一次图就多一台常驻 VM，没有任何自动回收路径
_reap_idle 只在 run() 里调，也就是说没人再跑代码时闲置 VM 永远收不掉，
microvm_idle_seconds 形同虚设；而 thread_id 每个 run 都是新的，runner 的
finally 又从不调 cleanup，于是每跑一次带代码节点的图就多一台几百 MB 的常驻
microVM（seatbelt 那边同样积了几十个历史会话目录）。
两处一起补：run 到终态就 cleanup(run_id)（interrupted 除外，人回来还要接着跑），
外加 lifespan 里起一个后台回收任务定期 _reap_idle——回收本来也不该占着请求
路径的时间。实测连跑三次 live_vms 稳定回到 0。
## 超时会连人带文件销毁整台 VM
会话契约是"同 session_id 共享文件系统，可以先写文件下一步再读回来"，而
microVM 超时直接 _destroy，工作区连同用户数据一起没了，返回结果里没有任何
提示。另外三个后端超时只 killpg、工作目录照留——换到 microVM 之后同一张图的
行为就变了。现在超时先在 VM 内 pkill 掉跑飞的进程（入口名带唯一后缀，不会
误伤同会话的并发执行），确认 VM 还活着就保住工作区；收拾不动才销毁。
限额变更那条没法避免重建（VM 内存是启动时定死的），但不能不吭声：同一个 run
里两个代码节点填了不同的 memory_mb 就会触发。ExecResult 新增 session_reset，
代码节点在时间线上明确告警，否则下游只会看到一个无从追查的 FileNotFoundError。
## 新建 scope 写入第一条后永远搜不到
hybrid_rank 的 _norm 在 hi==lo 时把所有分数抹成 0，而候选只有一条时 hi 恒等于
lo，合并分 0.0 会被 min_score 过滤掉。"先写一条、下一轮再 recall"恰恰是 agent
最常见的用法。全都一样分是"都一样好"，不是"都一样差"，改成返回 1.0。
## 记忆去重误判，写入被静默丢弃且返回不相关的旧记忆
remember 拿 recall 的分数判重，但那是 min-max 排名归一化的结果——排第一的那条
在两路信号上都会被归成 1.0，与它和查询像不像毫无关系。于是 scope 里只要已有
两条记忆，新内容随便撞一个字排到第一就被判成重复丢掉，接口还返回 201 并把那条
不相关的旧记忆当成"刚保存的"交回去。改成直接比未归一化的余弦相似度。
验证：三条互不相关的记忆都能写进去、完全相同的仍被去重、单条 scope 可检索。
|
2026-09-14 15:41:05 +08:00 |
|
|
ThearchyHelios
|
964eeaa829
|
AgentLab：可视化 Agent 编排实验台
在画布上拖拽编排 agent 工作流，并实时看着它执行。
后端 FastAPI + LangGraph：把画布 JSON 编译成 StateGraph，15 种节点
（模型/Agent/多Agent、工具/沙箱、分支/循环/子图、记忆/检索/整形、
人工介入/结构校验）。选 LangGraph 是因为可视化编排真正难的是暂停、
恢复和回放，而 checkpointer + interrupt() 正好把这几件事做在了底层。
前端 React + React Flow：节点元数据驱动属性面板与连接桩，运行时
节点高亮、边流动画、卡片内流式 token 全部由同一份事件流驱动。
关键实现：
- Agent 内工具审批用 @task 缓存模型调用，interrupt 重放时不重复计费
- 沙箱保持只读根文件系统，代码经 exec+base64 写入（put_archive 会被
只读容器拒绝），断网、非 root、内存/CPU/超时限额
- 检索为向量与 BM25 混合，本地哈希 embedding 零配置可用
- 分支条件走 AST 白名单求值器；HTTP 工具逐 IP 拦截内网与元数据地址
- Mock provider 让无 API Key 也能跑通完整链路
7 个内置模板全部冒烟通过，含真实模型端到端验证。
|
2026-09-13 17:27:00 +08:00 |
|