25 Commits

Author	SHA1	Message	Date
ThearchyHelios	0d9f1d9339	用户看得到的列表补决胜键（复核 R-a9）：按名称、时间等可能并列的排序后面补上同一个模型的 id，并列时两种库排出来一样 ... - 实测 /api/evals/calibers、/api/schedules/trigger-options 按 Workflow.name 排序遇同名并列时 SQLite、PostgreSQL 顺序不同。用 AST 逐个过了一遍 order_by：最后一个排序键是 created_at / updated_at / last_active_at / at / name / 各种 *_at 之类、不唯一的列，又不带 DISTINCT、GROUP BY 的，补「, 模型.id」（降序补 id.desc()），共 104 处，分布在 api、apps、auth、blueprints、chat、data、engine、eval、ledger、look、memory、process、providers、scheduler（runs.py 里的三处在上一个提交里） - 按唯一列（seq、version、唯一的 name）排的不动；按聚合、coalesce 之类表达式排的说明见 db/postgres	2026-10-19 12:07:06 +08:00
ThearchyHelios	4aa3e6f01f	评测估算和每题平均花费：有估不出金额的调用时不再写成 0 美元 ... 价格目录里没有助手模型时（真实模型验收的接入就是这样），第一次评测估不出、照实写了；第二次起估算按上一次的每题平均 花费算，而每题平均是「估得出的那部分」除以题数 = 0，开跑对话框写「约 $0」、评测总览写「每题约 $0」，像不花钱。 - eval/stats.summarize：每题平均花费一分都没估出来（有估不出的调用、估得出的部分是 0）时为 None，估出了一部分的照给； - eval/runner.estimate：上一次的调用金额都估不出时照实写估不出（带次数和原因，金额上限只管得住估得出的调用）；估出了一部分 的标 at_least、带上另有几次估不出，说明写「实际至少这么多」；老总表里每题平均记成 0、却有估不出的调用的也按估不出算； - 按角色用量里裁判那一份（runner.judge_usage）补上估不出的次数：以前只有金额和次数，裁判模型不在价格目录里时写成 $0； - 评测页：开跑对话框估出一部分时写「至少约 …（每项至少约 …）」，总览的每题平均有估不出的写「每题至少约 …」，一分都没估出来 的不写（金额那一格已是「金额无法估算」）。 providers/usage 的汇总形状不变：cost_usd 是估得出的那部分、unpriced_calls 是估不出的次数，和运行的 usage 是全系统一个口径 （细案 01 做法 3 定的），前端的金额写法（runCostText）一直按这两项一起写「≥」或「金额无法估算」；漏掉的是只读 cost_usd 去算 平均、做估算的这几处。模块说明里把这条写明了。 测试：test_eval_stats.py::test_the_per_case_cost_is_not_zero_when_calls_could_not_be_priced、 test_eval_runner.py::test_the_estimate_says_it_cannot_price_instead_of_zero（全估不出、估出一部分、目录价是 0 的才是真 不花钱）、test_eval_runner.py::test_the_judge_role_keeps_its_unpriced_calls。去掉修复回跑三条都失败。	2026-10-17 11:40:27 +08:00
ThearchyHelios	3c4dbe0c02	没做完的模型调用也计一次：挑表超时被取消的那次不再漏掉 ... 真实模型验收里，挑表（look/pick 的 asyncio.wait_for）超时被取消的那次调用一点都不计：LangChain 的 ainvoke 被取消时 卡在 agenerate 的 gather 上，on_llm_error 根本走不到；astream 被取消时会回调，可一段都没收到的又被当成「请求刚发出去 就被拒了」不计。问数据一轮、评测按角色的调用次数因此少一次。 providers/usage.Meter 现在多记一项 unfinished（汇总里是 unfinished_calls）：被取消、超时（按异常类型认，含各家 SDK 的 …Timeout）、流读到一半被关掉的调用都记一次调用、标未完成，token 只计已经报了的（一段都没收到的记 0、算没报全， 金额也就估不出）；开始了、到汇总（和嵌套并入外层）时还没有结束回调的调用一并算未完成。请求一发出去就被拒的仍不计。 评测汇总相加（eval/answer._add_usage）带上这一项；评测页按角色的用量写「其中 N 次未完成」；问数据页的这一轮用量 相加时也留着它。 测试：test_usage_meter.py::test_a_call_cancelled_before_any_result_still_counts_as_an_unfinished_call（ainvoke 被 wait_for 取消、look/pick._ask 超时、astream 收到一段输入用量后被取消、被拒的不计）；by_model 的形状多了一项， test_metering_counts_by_model_and_prices_from_the_catalog 和评测同口径那条跟着改。去掉修复回跑失败。	2026-10-17 11:36:50 +08:00
ThearchyHelios	7db9760121	用量计量拿到调用时实际用的模型名：评测汇总里助手用量不再记成 unknown ... 验收：评测汇总里助手用量的模型是 "unknown"，写作用量的模型却是对的。写作用量来自运行的 llm.end（节点配置里 就有模型名）；助手用量来自 providers/usage.Meter，它只从回调的 invocation_params 取 model / model_name，而演示 模型 MockChatModel 没有 _identifying_params，调用参数里只有 _type 和 stop，于是落到 UNKNOWN_MODEL。 改法两处： - Meter：调用参数里取不到时，看 LangChain 照模型对象给回调的 metadata 里的 ls_model_name（调用时传的 model， 否则对象上的 model / model_name），再取不到才看回复、才记 unknown。不认得调用参数的模型类也记得对。 - MockChatModel 补上 _identifying_params（model_name），和 OpenAI 兼容、Anthropic 一样在调用参数里报模型名。 测试（test_usage_meter）：调用参数里不报模型名的模型、演示模型都按对象上的名字记；三种接入（OpenAI 兼容、 Anthropic、演示模型）由 factory 建出来，照 LangChain 回调时给的参数喂给计量，记的都是接入里配的模型 id， 调用参数里本身也带着；评测作答（eval/answer.Driver）走演示模型时助手用量记在 mock-fast 名下。两处修复都 去掉回跑挂 3 条，只留计量那处时挂「调用参数里本身带着」那一条。	2026-10-17 08:24:15 +08:00
ThearchyHelios	56ca53ad35	问数据建图用量不再是下限；评测通知链到评测详情；评测接口补界面要的几样 ... 用量（第 1 波遗留）：查清楚了，丢的不是浏览器那边——问数据页一直读到 SSE 结束、usage 那一条收得到——而是服务端生成过程 （api/copilot_gen._iter_ops）读到 done、look、ask 那一行就关掉模型的流，流末尾那一段才报的用量（Anthropic 的输出 token、 OpenAI 兼容系的 stream_usage）一次都拿不到，每次建图都记成「估不出」，这一轮的花费多半是下限。改成交出那一行之后先把流读完 再关（_drain，内容丢掉）：照约定那一行就是最后一行，读完只多收用量那一段；模型在那一行之后还往下写超过 DRAIN_CHARS 字闲话的 当场关流、照实记成没报全（不为闲话付钱，也不当成报全了）。评测的作答（app/eval/answer.Driver）走同一个 answer_ops， 用量跟着报全，和问数据页同一个口径。test_usage_meter：原先断言「输出 token 为 0、记成估不出」的那条改成报全；另加 look 后、 闲话超限、评测和问数据页收到同一份用量三条；去掉修复回跑，三条都抓得住。providers/usage.py 的说明跟着改。 通知：notify_eval 的链接从定时任务的触发历史改成这次评测的详情页 /evals/runs/{id}（评测页这一波上线）；测试设上对外访问地址、 断言链接（原来的断言在没设地址时对空列表恒真）。 评测接口（只加不改，app/api/evals.py）：题集列表和详情带 latest（最近一次评测）、trend（同一变体最近几次评完的准确率，旧的 在前，换了模型、目录的不连成一条线）、schedules（目标是它的定时任务）；评测详情带 actions（停止、只重试没做完的、重新评分、 钉住 / 取消基线能不能做，和接口拒收的条件同一份）和没做完的项数；POST /suites/{id}/cases/preview 写 SQL 定期望的预览 （同期望的 SQL 探针，交回列和前 50 行，遮罩列照保存时那一道拒收、没过守卫的指明是哪一格，都不回 422）；GET /signals 「口径命中与重复度」的判据和分档、窗口趋势（数只出自 ledger/stats.compute_stats）、成员不少于 3 的问题类（只出自 chat/questions，评测运行不进）。为什么放服务端：界面层不放逻辑，统计、能不能做都由服务端给。tests/test_evals_ui_api.py。	2026-10-16 19:41:57 +08:00
ThearchyHelios	ba28dee1f0	生成过程抽成 answer_ops、复核抽成 review_of_run，助手建图和复核的用量也记下（细案 01 做法 2、3）：评测和问数据页走同一条生成路径，这一轮的花费不再低报 ... - api/copilot.py：event_stream 原样搬成 async generator answer_ops(payload, *, catalog_view=None)，交出的 op dict 不变；开流前的准备（数据源、目录检查器、助手模型、历史、查看服务）用自己的短会话，在第一条操作之前做完。SSE 路由只包一层：先取第一条，开流前的拒绝（模型没配好、限定的数据源都不在）照旧是 HTTP 错误 - catalog_view 一路传给查看服务和自查的 SQL 检查器（目录视图接缝的「生成过程从参数读」） - providers/usage.py：Meter 是一个 LangChain 回调，和 get_usage_metadata_callback 同一个机制（登记过的上下文变量），按模型累计 tokens、次数，金额按价格目录；估不出的记 unpriced_calls。没直接用 get_usage_metadata_callback：with 块跨 yield 会把变量留在调用方上下文里，调用方随后发起的运行会继承它、被重复计一遍；metered 只在每一步 __anext__ 期间挂上，嵌套时并进外层 - 生成过程读到 done / look / ask 就关模型的流（后面的闲话不要），流末尾才报的用量拿不到：这一次照样计次数和已报的 token，记成估不出，不悄悄少算（遗留：真实接入上建图那几次多半是下限） - providers/budget.py：BudgetFallback.astream 用 aclosing 包住里面那条流——以前调用方关流时里面那条要等垃圾回收才关，模型那次调用的收尾（用量回调）落在算完账之后；测试去掉它回跑会少计一次 - answer_ops 末尾多一条 {op: usage, by_model, input_tokens, output_tokens, calls, cost_usd, unpriced_calls}；/copilot/review 拆出 review_of_run（问数据页、评测共用），结果带 usage（没调模型时全 0）和 retry_instruction（要不要带着原图重来、说什么，按 chat/turn.py 的决定算；ReviewIn 多一个 attempt） - 新增 app/chat/turn.py（问数据一轮的决定，复核这边先用上；final.next、对照测试、前端照做在下一个提交）；新增 tests/test_copilot_answer_ops.py（八种结局的 SSE 输出和抽出来之前录下的 fixtures/copilot_answer_ops_baseline.json 逐条相同，末尾多一条 usage；直接迭代和 SSE 同一串；开流前的拒绝仍是 HTTP 错误）、tests/test_usage_meter.py；读 SSE 的十一个测试文件的收流帮手跳过末尾那条 usage	2026-10-16 10:45:45 +08:00
ThearchyHelios	0f32b8335e	应用平台 BE-4 助手：按需查看（默认只给数据源概览、look 行停下执行接着写、一次拿齐、每轮 3+1 次、系统代为查看、查看记录进历史），生成过程可插拔（Applier / Checker 注入、ask 结束本轮），查看对象按类型标记并实现表 / 能力 / 工作流版本三种（表详情与 db_schema__、/schema 共用并按遮罩规矩），应用润色接口 /copilot/app-stream，从运行提取模板记来源，演示模型走一次查看（含统一复核后的修复）	2026-10-14 20:05:23 +08:00
ThearchyHelios	ec6838dc10	起草模型的 SDK 不再自己重试：ModelSpec 加 max_retries，build_chat_model 一直传到 SDK 客户端（Bearer 鉴权换上的 Anthropic 客户端也带上）；数据目录起草建的大、小两个模型都是 max_retries=0，429、5xx、网络错误、超时只由起草引擎按失败原因重试（最多 2 次）。以前 openai、anthropic 的 SDK 各自先重试 2 次，叠在引擎的重试上，一段最多发 9 次请求，报错却写「已重试 2 次」，网关限流时还放大流量。不写 max_retries 的调用照 SDK 默认，配方 AI 起草不动	2026-10-13 16:40:07 +08:00
ThearchyHelios	7255ae98a5	模型接入报错收尾（第 1 轮复核，后端）：交给设置的核查、裁判落到演示模型照实说；给不出修复时说卡在哪里；接入名恰好是模型名那句按这一处检查器里有哪几栏写；修复规划只重算被改的节点；助手栏那一格另给一份说法；几处措辞对齐 ... - 「不指定接入」交给设置（核查模型、裁判模型）时：启用的接入全是演示类，设置这一级不管写的是什么，执行时落到的都是 演示模型，说明照实带上「（演示用，不调用真实模型）」、候选带 demo 标记；一个启用的接入都没有时不算落得稳（同别处 「换成内置演示模型」不算）。以前 land() 在判演示之前就把交给设置的一处当成落稳返回了； - 检查器里没有下拉框、发布前检查又给不出修复时，提示末尾补「无法改用其他接入：」加第一处落不稳的地方（Landing.why， 比如「成员「研究员」指定的模型「小模型」所属的模型接入「旧接入」已停用」），不再只剩「核对名称」让人去设置里找一个 找不到的名字； - 点名的接入名恰好是某个启用接入的模型：画布、发布前检查按这一处在检查器里有哪几栏写（provider_refs._model_note）—— 模型调用一类在节点的「模型」中选择它，接入在发布前检查里改用这个接入或选择「不指定接入」（修复里有哪项说哪项）； 协作成员、全图默认只说可在发布前检查里改用；核查节点、报告自己的结论句裁判两栏都在，照设置页写这两栏的叫法。 不再叫人去一个没有的「接入」栏留空。运行时报错不分节点类型，「填写」改为「选择它」； - 修复候选修完以后落到演示类接入的带 demo 标记，发布弹窗据此在选项名旁加醒目的标签； - 性能：改一个节点的配置只影响它自己取模型的那几处，修复规划（autofix._ProviderPlan）每试一个候选只重算这个节点 （provider_refs.node_uses），不再深拷贝、重算整张图；问题提示只问给不给得出（provider_fixable，找到第一个落得稳的 就停）；接入问题的引用整张图只算一遍。60 个节点都点名同一个停用接入时，画布校验里这一部分约 0.35 秒降到约 0.002 秒， 发布前检查约 0.72 秒降到约 0.01 秒，一次应用 30 条修复约 2.7 秒降到约 0.09 秒； - 助手：GET /api/copilot/model 另给 panel_error（写在助手栏「助手使用的模型」那一格下面，去向写「上方」，不把人指回这个 下拉框本身）；接入名恰好是模型名时并成一句，不再两次提「助手使用的模型」；PUT /api/settings 里助手那一项的 422 用 助手报错那一句（那里只有一个选模型的下拉框，没有「换一个接入」的地方）； - 裁判设置的格式检查写「留空表示跟随助手的模型」，同设置页空选项（engine/judge.py 一行，同核查那条的改法）；「交给助手」 后只剩接入问题时写「助手无法处理」，有修复时另起半句「也可在各条问题下方选择改用的模型接入」。 测试：test_provider_ref_wording 加演示落在设置上、demo 标记、给不出修复时卡在哪里（含一个启用接入都没有）、各处的 接入名恰好是模型名、助手栏那一格的说法、助手那一项的 422、裁判格式检查、规划开销随节点数线性增长（数试算时算了多少处 取模型的地方）；其余几个文件跟上新说法。新加的核心用例都做过去掉实现、测试变红的验证。	2026-10-06 19:43:44 +08:00
ThearchyHelios	4673e51bb8	模型接入报错的说法与修复候选收尾（后端）：修复规划只否决这次改动造成的失败、问题只认自己那一处的修复、没有修复时提示不指到发布前检查、落到演示类接入照实说；各处说法对齐 ... 修复规划（autofix.provider_choice，原 _plan_provider 的主体，provider_refs 也用它判断给不给得出修复）： - 改动波及的一处，要是点名的接入没变、而那个接入本来就不存在或已停用，它落不稳不是这次改动造成的，不再拿它否决候选。 以前两处互相牵连（节点点名的接入写错、模型取全图默认里停用接入的模型）时两条问题都没有修复，规划器自己卡住； - 点名的模型接入一处一条修复，annotate 只认（编号、节点、字段）都对得上的那一条，认不出就是没有，不再退到同节点、 同编号别处的修复（以前全图默认那条的 fix 会指到某个节点的修复上）； - 一个候选都落不稳时，问题提示不再写「或在「发布前检查」中改用其他接入」，只说去设置里核对、启用； - 修完以后落到演示类接入（kind 为 mock）时，「不指定接入」的说明写明「演示用，不调用真实模型」，和「改用演示接入」 那一项一致——K1 要防的就是悄悄换成演示模型。 说法： - 双盲复算、反方审稿的问题写「……的「盲算模型 · 接入」指定的模型接入」，不说「盲算模型指定的接入」（修复标题仍按角色说）； - 点名的接入名恰好是某个启用接入的模型时，运行时报错、画布问题、保存设置的 422、助手的报错都补一句这是哪个接入的 模型、怎么用它（factory.model_note；设置页写那一组模型、接入两栏的叫法），免得照「启用它」去启用那条旧接入； - 保存设置 422：下拉框选的写「指定的」，不写「填写的」；去掉和设置页空选项对不上的留空半句；助手那一项叫「助手使用的 模型」；核查的格式检查写「留空表示跟随证据裁判模型」，同设置页； - 「交给助手」后只剩接入问题时的说明：一句一个意思、不再带冒号（界面上前面已有「助手：」），「核对名称」有宾语，不说 「节点」；有一条带修复时才指到各条问题的修复； - 助手的模型取不到时，提示指到真正能改的地方：「编排」页助手栏的「助手使用的模型」（设置页没有这一项）； - 节点点名了接入、没写模型时校验说「将使用接入「X」的默认模型」（编号 model.unset）；X 本身不存在或已停用时画布校验、 发布一类都去掉这一条，只留接入那条，不再一条说照常执行、一条说会失败。	2026-10-06 17:29:18 +08:00
ThearchyHelios	50f15b40c4	合入期 5 前置修复 K1：点名的模型接入不存在或已停用时照实报错，不再悄悄换成演示模型——各条用到模型的路径照实失败或记为核查不可用；保存设置时 422、画布校验给警告、发布与发布前检查挡住并给修复候选（不指定模型、改用启用的接入），只写模型而提供它的接入已停用也查得出	2026-10-06 16:55:27 +08:00
ThearchyHelios	0a690a599b	发布前修复点名的模型接入：按执行时的取法算修完落到哪里，只写了模型而接入已停用的也拦下 ... - 「不指定接入」以前只去掉接入、留下同一处写着的模型，复核又只查点名的接入：按模型名落回停用的接入，或者成员跟随节点、节点跟随全图默认，拿别家的接入去调这个模型。检查、发布都通过，正式运行在那一处照样失败 - 现在每个候选（不指定、改用某个启用的接入）先在副本上改，按执行器的取法（成员先看自己、再看节点、再看全图默认；节点看全图默认；都没写按模型名找；核查和裁判整组交给设置）算出改动波及的每一处用哪个接入、哪个模型。落到的接入不提供那一处的模型、按模型名落到停用接入或认不出的模型、落到内置演示模型的，连同一级写着的模型一并去掉再算，还落不稳的候选不给；候选说明写清执行时改用哪里、模型去没去掉、换上的接入实际用哪个模型 - 门禁把哪一级都没写接入、只写了模型而提供它的接入已停用的那一处也记成 provider.disabled（落在写模型的字段，原因和运行时同一句）：复核拒得掉这类修复，检查器里只能选模型的节点发布前也查得出来；这一处配「不指定模型」或改用一个启用接入的修复 - 按模型名找接入、没写时退回哪个接入抽成 factory.provider_for_model、fallback_provider，运行时和门禁共用一份 - 问题面板、修复预览写得出「模型」「成员「x」的模型」；check-publish 的伪造门禁跟上新的候选，补只写模型的一段 - 测试：复核发现的几种形状逐一钉住（含发布前检查修好、保存、发布后正式运行成功的端到端一条）；依赖旧做法的两条测试改成新的正确行为	2026-10-06 16:31:06 +08:00
ThearchyHelios	3c51c40e9d	点名的模型接入：发布前检查给每一处配修复，提示指到界面上真能改的地方，复核发现的几处漏查、误查补齐 ... 多数节点（模型调用、Agent、报告撰写、多 Agent 协作、条件分支、结构校验、知识检索）、协作成员和全图默认的接入在检查器里没有下拉框，以前点名的接入坏了只能去设置里建一个同名接入。现在门禁接受接入表（governance.lint_for_publish 的 providers，接口层读好传进来，同数据目录 SQL 检查器），点名接入的问题成了门禁的一部分，自动修复给每一处一条要人选的修复：改用一个启用的接入，或不指定接入；选的接入不提供这一处写着的模型时模型一并去掉。一处一条（修复 id 带字段，复核只认那个字段），协作节点自己的接入和成员的接入各修各的。校验和发布检查的提示按位置写：有下拉框的说「在节点中换一个接入」，别处说「在发布前检查中改用其他接入」；剩下的只有接入问题时交给助手的说明也改成指向这些修复。 复核发现一并修：核查节点自己的开关关着、结构校验不许重试时不再查（执行时根本不取模型，以前会挡住发布）；报告没写裁判配置时查全图默认里的那一份（以前放行，正式运行却全部未裁判）；接入名不是字符串时查助手模型的接口不再 500，设置接口对门控、助手两组的这类值回 422 带字段；助手、表格导入、数据目录起草用的模型点名的接入不存在或已停用时照实说是哪个接入、去哪里改（以前说「尚未配置完成」，停用接入的下一步丢了），删掉两处已走不到的分支。 测试补齐：结构校验让模型修复、知识检索让模型重排、按需裁判各路径的不存在与已停用，助手、定时正式运行、裁判的两种情况，反方审稿节点上点名的接入；修复的候选、应用、拒收和图级默认。	2026-10-06 15:14:26 +08:00
ThearchyHelios	5afa7a9a70	核查、证据裁判退回小额度时多认两种拒绝，被嫌大过的接入记在进程里 ... 复核第 1 轮的发现： - 自建服务（text-generation-inference 一类）嫌额度大时回 422，原话说的是 max_new_tokens，不含 max_tokens，认不出就不退回；核查、裁判的额度从 4096 提到 16384 之后才容易撞上。新增 WIDER_BUDGET_WORDS 和 budget_refused，只给核查、裁判用；助手改图仍按 budget_rejected 认，BUDGET_WORDS 不动（data/recipe_ai.py 的测试拿它比对） - Bearer 鉴权的 Anthropic 接入（factory 换上的 SDK 客户端没设超时）调 Opus 4、4.1 这一代的 id 时，16384 的非流式请求 anthropic SDK 在本地就抛 ValueError（Streaming is required…），请求根本没发出去。budget_refused 把它也认成额度被挡下，退回小额度；重来不会重复输出，也没花钱 - 退回的开关原来只在一组调用里共用：双盲复算的几路盲算、反方审稿的每一句、每次质询、每次点击裁判各自先按 16384 撞一次。BudgetFallback 加 key：被嫌大一次就记进进程里的 _REJECTED，之后同一个 key 新建的一开始就用小的（同 factory 的 _NO_STREAM_USAGE，重启就忘）；不给 key 的（助手改图）不记也不查，行为不变	2026-10-06 14:29:48 +08:00
ThearchyHelios	4dd40ed201	输出额度的通用逻辑挪到 providers/budget.py：认截断（finish_reason=length、stop_reason=max_tokens、openai 的 LengthFinishReasonError）、认服务方嫌额度太大（400/422 且报错提到 max_tokens 一类）、截断那次的用量、给人看的「某某模型的输出达到上限（N token）被截断」，以及退回小额度的 BudgetFallback ... BudgetFallback 在助手原来的做法上补齐核查和裁判要用的：非流式 ainvoke 也认；bind_tools、with_structured_output 包出来的和原来的共用同一个开关，另一份配置建的模型（核查收尾时关掉思考的那个）经 shared_with 也共用，工具循环里退回过，收尾那次直接用小的；小额度的模型可以要退回时才建，平常一个都不多建。只在还没吐出任何东西时重来，和原来一样。 助手改为引用它，_cut_off、_BudgetFallback、_BUDGET_WORDS 留着老名字，行为不变，助手和配方助手的测试照样通过。	2026-10-06 12:51:36 +08:00
ThearchyHelios	f7d945f94b	点名的模型接入不存在或已停用时照实报错，不再悄悄换成演示模型 ... resolve_provider 以前在显式点名的接入找不到时返回 None，get_chat_model 把它当成「一个接入都没配」， 返回演示模型（mock-fast）：节点上、设置里把接入名写错一个字，或者接入改了名、删了，报告就由演示模型 写成假文本，核查也由它来核，正式运行照样出具。点名一个已停用的接入又照常返回、照常调用，和按模型名 找到停用接入就报错的规则不一致。 现在点名的接入不存在抛 ProviderNotConfigured（code=missing，「模型接入「X」不存在」，提示去设置里核对 名称或换一个接入），已停用抛 code=disabled（说法和按模型名找到停用接入时一致）。判断收在 named_provider 一处，设置校验和画布校验也按它认。没点名时的回退照旧：一个启用的接入都没有才用演示 模型，模型名认不出来退回第一个启用的真实接入。只有空白的接入名算没点名。	2026-10-06 12:45:08 +08:00
ThearchyHelios	46330dfd96	模型不在价格目录里时运行金额写「金额无法估算」，不写 $0：真实运行里 token 记到了上百万，金额却是 $0，看着像没花钱。llm.end 发出时，用了 token、模型却不在价格目录里的标 unpriced（目录里标 0 价的本地模型不算）；运行用量按 llm.end 数出 unpriced_calls，成功的运行也补上（状态里的用量分不出 0 是免费还是没价）。运行详情、画布运行面板、航迹的金额：一分都没估出来写「金额无法估算」，估出一部分写「≥ $x」，悬停说几次调用不在价格目录中。check-trace 补断言；流式用量测试和注释里的真实调用次数换成概括说法	2026-10-04 12:27:38 +08:00
ThearchyHelios	b45a4966c5	OpenAI 兼容接入开启流式用量回传：ChatOpenAI 只在没填 base_url 时默认请求流尾的用量，兼容接口都填了 base_url，一次运行 上百次模型调用记成 0 token、0 美元。构造时传 stream_usage=True；服务方不认 stream_options（点名它，或只回 400 / 422）时同一次调用去掉它重发、照常流式输出，并记下这个接口之后不再带它；重发也失败就报重发的错、不记。测试用假的 SSE 服务核对请求体、合并后的用量、退回和运行用量里的 token 与金额	2026-10-04 11:05:33 +08:00
ThearchyHelios	03c18c4d78	界面文案整改：口语改书面、术语统一、不再露出实现细节；修掉几处说错的提示；新增文案检查防回潮 ... 一、文案（前端约 1600 处，后端传到界面的约 880 处） - 术语统一：工作流层面用「运行」（继续运行、重新运行、试运行），节点和工具层面用「执行」，不再用「跑」； 总时长 / 执行时长 / 等待审批；服务端；助手；Agent；token；工作流；固定版本；模型接入；系统提示；批准 / 驳回；受管级别 - 口语改书面：取不到、没取回来、读不懂、连不上、多半、照样、兜底、揉成这类说法改成「无法 / 未能 / 失败 / 请」；去掉拟人写法 - 不再露出实现细节：界面上不写 checkpoint、同一拍、哈希（凭证处除外），不写改版历史（「以前…」「老数据」）； 报错、校验、门禁、自动修复里裸写的配置键名和枚举值换成界面上的中文标签，由新的 backend/app/engine/labels.py 统一提供； 发布弹窗里结论句的选项不再是 off / require_citation - 同一件事只留一种说法：生成阶段文案、出具档位说明、画布锁定提示各合成一份 - 去掉界面上的工业场景示例（MES、ERP、「张工」「王工」）和真实产品名，换成通用示例 二、说错的提示（都有测试证明） - 数据库测连接失败时的专用提示以前从不出现（按报错文字全等比较，永远比不上）：改为按错误类型判断，不再拼出重复的前缀 - 「设置 → 供应商」改指「设置 → 模型接入」；「在设置里建数据源」改指「数据」页 - 缺少 API Key、模型接入已停用的报错不再夹英文，写明去哪里填 - 两处原因说错（「这种引用在后续版本支持」「这一版还不支持」）改成真实原因 - 节点说明里不准确的说法改正：代码节点在 microVM 或系统沙箱中执行；报告撰写、口径卡的说明不再说过头 - 导出的证据 CSV 里两列同名，第三列改为「片段编号」 三、前后端对齐 - 前端按后端原文识别日志、报错的地方，新旧两种写法都认得（历史运行里存的是旧文字），逐条补了新旧原文的核对 - 后端交回模型的原指令放进单独的 for_model 字段，前端在解析响应时去掉，不会显示到界面上 四、检查 - 检查脚本里按原文匹配的断言改成新文案；改完会变成永远成立的反向断言逐条修正，并做了变异验证 - 新增 check-copy（静态扫描前端界面字符串和后端上界面的文案）：再出现「跑」「后端」「多半」「令牌」、 界面上的 Copilot、裸写的配置键名、半角标点等就报错；确需保留的写进 scripts/copy-allow.json 并注明理由	2026-09-30 08:05:15 +08:00
ThearchyHelios	62aac187d8	工具审批三档、智能体护栏取代固定 12 步、检查脚本分道并行 ... MCP / 自定义工具的审批三档（tools/trust.py） - 平台看不出这两类工具做什么，以前审批关卡一律当它们安全、照跑不误。现在默认每次调用都等审批； 工具页可以逐个改成「始终允许 · 门控把关」或「始终允许」，审批卡上的「始终允许」等于前者 - 门控把关：每次调用先由门控模型审一遍工具说明、参数和节点任务；判可疑、出错、超时、答不成格式， 一律交还给人，不会变成放行。判定包进 checkpoint，审批恢复重放时不再问一遍 - agent 节点、工具节点、协作团队三处关卡都接上；团队成员停不下来等人，门控没放行的调用不执行 - 每次运行在发起时快照档位（runs.tool_trust），恢复和接着跑沿用同一份；正式运行不看档位，一律等审批； 升级前发起的运行照旧不问——它们可能正停在某个审批上，多问一次答复就会对错号 - 接口：GET /api/tools 带 trust / trust_key，PUT /api/tools/trust；设置新增门控模型；新事件 tool.gated - 界面：工具页三选一、审批卡「始终允许」、设置页门控模型、运行记录解码 tool.gated； 顺手修了 MCP 工具详情 404、工具审批被驳回却显示成放行 智能体护栏（engine/guards.py），取代固定的「最多 12 步」 - 步数只留兜底：默认 100，设置里可改；以前画布自动写进节点的 12 按「没填」处理 - 同一个工具、同样的参数第二次不再执行，把上次的结果交还给它；连续 3 步拿不到新信息就收尾 - 每个节点的令牌预算（默认 200 万）和金额预算（默认不限），都可以在设置里改成不限 - 上下文用到窗口的 60% 先压缩早期的工具结果，到 85% 就收尾；临近任何一个上限先提醒模型一次 - 下游结构化校验失败时写明是上游哪个 agent 提前收了尾；复核信号带上收尾原因， 问数据页只在真是步数用满时才给「放宽步数重跑」 - 上限在发起时快照（runs.agent_limits）；升级前发起的运行一字不改走旧逻辑 检查脚本 - check-all 默认 4 道并行：量时间最多的两项互不重叠；并行时没过的最后单独重跑一遍，重跑才过的 单列成「偶发」。16 项全量从约 21 分钟降到约 7 分钟（加上一次重跑约 10 分钟）；--lanes 1 回到串行 顺带修的 - 设置接口里的 limits 改为只读：库里存着旧版设置页写进去的一份（max_agent_steps: 25），从不生效， 却盖住了真实上限，问数据页照着错的数许诺 - test_kb 里嵌入模型那条测试不再真连 api.openai.com（代理慢时一条要等近 4 分钟） - check-stream 读滚动容器前先等它挂上，并行跑时不再偶发 验证（沙箱）：tsc 干净，生产构建通过，pytest 1655 passed（两遍），check-all 16 项检查、3562 项全过； 新增后端测试 53 条，关键逻辑做了 22 处变异验证、全部抓到。	2026-09-28 11:47:45 +08:00
ThearchyHelios	5928cc052e	三道只配不管的护栏开始干活：运行时限、模型超时、清单核对 ... 显示成生效却没生效，比明说没有更危险——它让人以为有东西在兜底。 1. max_run_seconds 只存在于配置和设置接口里，没有任何代码执行它：一个挂住的 模型或工具能把运行和它占着的并发名额一直拖着。现在 runner 用 asyncio.timeout 强制执行，按"一段执行"计（等人工审批时 _drive 已结束，不算）；超时判 failed、 说清是哪道上限，可以接着跑。别处抛的 TimeoutError 不冒充这道上限（看 Timeout.expired()）。 2. 模型调用从来没设过超时：ModelSpec.timeout 从没被赋值，那条传参分支一次都没 执行过，所有调用走 SDK 默认的 10 分钟外加重试。新增 model_timeout_seconds （默认 300 秒）作为缺省，节点显式配的仍优先；已确认 ChatAnthropic / ChatOpenAI 都接这个参数。 3. manifest 哈希只写不验，而且是在 run.finished 落库之前算的——清单里恰恰少了 宣布"跑完了、成果是什么"的那条，改成果清单照样对得上。现在终态事件落库之后 再封存，并记下封到哪一条（manifest_seq，新列）；新增 verify_manifest 与 GET /api/runs/{id}/verify，运行详情页加了核对按钮。封存之后追加的事件不算篡改。 老运行没有 manifest_seq，按当时的口径还原范围——开发库里 300 条带哈希的历史 运行全部核对通过（成功 / 失败 / 取消各类都有），没有一条误报。 设置页「运行环境」补上单次执行时限和模型调用超时两项，README 加了对应的常见问题。 顺带修了一个被 _seal 放大的老问题：_drive 的收尾被打断时（关停取消、库连接出错） 漏掉 _tasks.pop，留下的任务让下一次 shutdown 的 gather 在别的事件循环里抛 "future belongs to a different loop"——测试里表现为每八九轮一次、一出就是几十个 teardown error。pop 移进内层 finally，shutdown 只等未结束的任务并清空。修后全量 连跑 12 轮 12 轮全绿。 test_guardrails.py 8 例：超时中止（挂住的节点 1 秒后被停下）、缺省模型超时、封存覆盖 run.finished、改成果被戳穿、事后追加不误报、老运行按旧口径核、中断态未封存、接口 404。414 → 422 passed。	2026-09-25 15:59:32 +08:00
ThearchyHelios	c02ef189bb	工具调用失败能自救；agent 改成一步一个工具 ... 起因是一条没人看得懂的报错： 工具 db_query__shop 执行失败： _make_query_tool.<locals>._run() got an unexpected keyword argument 'query' 参数名写成了 query（它叫 sql），而 call_tool 对动态工具是裸 **args 展开的， 跳过了 args_schema —— pydantic 那句"缺少 sql 字段"漏成了只剩内部闭包名的 TypeError，既指不到是哪个工具，也说不出该填什么。同一个函数里内置工具那条 分支本来是校验的，两条路径不一致。 registry 里补上 prepare_args / describe_args，两条路径共用： - 候选唯一时（多一个不认识的、少一个必填的）改名重试，并发一条 warn 说破 —— 配置里那个错名还在，替它跑通一次却不吭声，下次照样踩 - 有歧义就不猜，报错改成"参数不对：query 不是它的参数；缺少必填参数 sql。 它接受：sql（必填，字符串）— 要执行的 SQL…"，模型照着这句就能改对。 这才是失败之后真正能自愈的重试 - 顺带堵了一类静默失败：pydantic 默认把认不出的键悄悄丢掉，全可选 schema 上 {"tabel": "orders"} 会"成功"执行一次什么都没查的调用 agent 循环默认改成串行：一轮只调一个工具，看到结果再想下一步。并行更快，但 一批调用中间没有任何新的思考——第二个是照着"还没看到第一个结果"时的判断发出 去的。节点上留了「并行执行工具」开关。两个必须守住的点：没执行的调用绝不发 tool.start（前端靠 call_id 配对，发了没结尾的 start 会永远转圈），但必须各有 一条配对的 tool_result（少一条下次调用直接 400）。 交错思考跟着补上。4.6 起 adaptive thinking 自带交错，不需要也不该挂 beta header（Opus 4.6 上手动模式压根没有交错）；4/4.5 那一代要手动开 thinking + interleaved-thinking beta，光挂 header 是一条什么都不做的空设置。开了 thinking 就不能再传 temperature，这一代本来是收的，漏了就是 400。 还有两处是串行带出来的，一并治了： - 步数用完时收尾取的是 messages[-1]，而那往往是给模型看的 ToolMessage。 真漏到用户面前当过答案（run dd9927e6）：一句"本轮只执行了第一个工具"冒充 结论。改成只取模型自己说过的话，并把"步数用完了、去调大最大步数"附在后面 - db_schema 一次能问多张表。一次调用就是一步，逐张问 6 张表就是 6 步—— 实测 8 步的运行里 7 步花在这上面，最后只剩一步真查数据	2026-09-18 17:57:20 +08:00
ThearchyHelios	f43f56abb7	把 Copilot 的思考显示出来：模型一直在想，只是被丢掉了 ... 用户问能不能看到"正在理解需求、规划步骤"里面发生了什么。查下来是这样： 模型确实在想，reasoning 花了实打实的 token，但一路上被丢了三次。 1. langchain 的 ChatOpenAI **故意**不保留第三方的 reasoning_content——它的 文档原话是 "Non-standard response fields added by third-party providers are not extracted or preserved"，建议换 ChatDeepSeek 之类的专用包。可 "用哪个供应商"在这个产品里是用户在设置页配的（DeepSeek / Qianfan / vLLM / OpenRouter 都可能），为每种装一个专用包不现实。在 factory 里 子类化捞回 additional_kwargs，只加字段，不动 langchain 对正文的处理。 2. thinking_text 只认 Anthropic 的 thinking 块。补上兼容端点那一种。 3. 前端把一段思考的标题固定成开头 60 个字。思考是流式的，开头往往是 "用户想要一个……"这类复述，之后几十秒里它一直在推进——固定显示开头 等于把一段活的叙述冻在起点上，看着就像卡住了。改成：还在想的时候显示 最新一句，想完了换回开头那句（那时它是一条历史记录）。 实测一次真实生成，60 秒里侧栏逐句变化： 3s 可用数据源 bi 9s 人工节点 approve 模式，审核 18s 我们可以用 db_query__sales 执行 SELECT COUNT(*) FROM orders 等 36s 更合理：rejected -> query_agent（重新 45s 对于 bi 有 53 个对象，靠 57s （plan 到达，思考收尾，换回开头那句） 顺带运行期的 LLM 节点也跟着有了思考——走的是同一个 thinking_text，之前 同样只有 Anthropic 系才有。已验证流式合并后思考连成完整一段，不是只剩 最后一片。 tests/test_thinking.py 守两种形态、合并、以及"不产思考的模型不硬凑"。 check-decode 补 5 条守"还在想显示最新一句、想完了换开头"。	2026-09-18 09:55:42 +08:00
ThearchyHelios	dd57c12016	沙箱改用系统自带的隔离原语，移除 Docker 依赖 ... 跑一段不可信代码不需要一整套容器运行时。macOS 用 Seatbelt （sandbox-exec，系统自带），Linux 用 bubblewrap；冷启动从 ~250ms 降到 ~25ms，且不再需要装任何东西。 守住三件事：默认断网、家目录不可读、只有工作区可写。策略由内核 强制且对子进程继承——沙箱内 subprocess 出来的 cat 读家目录同样是 Operation not permitted。解释器改用 sys.base_prefix 下那个干净的 Python，沙箱代码因此 import 不到后端的 FastAPI、SQLAlchemy 和凭据 处理代码。 如实标注能力边界，不给虚假的安全感： - macOS 不强制 RLIMIT_AS，内存限不住（实测设 256MB 仍可分配 900MB）， health 接口申报 enforced 字段，界面把限不住的项划掉 - Seatbelt 是访问控制而非虚拟化：进程表共享，以当前用户身份运行 - bubblewrap 侧多隔离 PID/IPC/挂载视图，内存限额真实生效 顺带修两个 bug： - LocalSandbox 设 RLIMIT_NPROC=64 会误伤——macOS 上它按 uid 全局 计数，用户已有上千进程时沙箱内任何 fork 都失败，连 bash 都起不来 - 模型所属 provider 被停用时，原先静默换一家继续用原模型名，必然 404 且报错指不到原因；改为直接说清是哪个 provider 被停用了 写 SBPL 的坑记在注释里：(deny default) 会让 Python 直接 SIGABRT， 改用「默认允许 + 精确拒绝」。 7 个模板全部回归通过。	2026-09-13 18:04:36 +08:00
ThearchyHelios	964eeaa829	AgentLab：可视化 Agent 编排实验台 ... 在画布上拖拽编排 agent 工作流，并实时看着它执行。 后端 FastAPI + LangGraph：把画布 JSON 编译成 StateGraph，15 种节点 （模型/Agent/多Agent、工具/沙箱、分支/循环/子图、记忆/检索/整形、 人工介入/结构校验）。选 LangGraph 是因为可视化编排真正难的是暂停、 恢复和回放，而 checkpointer + interrupt() 正好把这几件事做在了底层。 前端 React + React Flow：节点元数据驱动属性面板与连接桩，运行时 节点高亮、边流动画、卡片内流式 token 全部由同一份事件流驱动。 关键实现： - Agent 内工具审批用 @task 缓存模型调用，interrupt 重放时不重复计费 - 沙箱保持只读根文件系统，代码经 exec+base64 写入（put_archive 会被 只读容器拒绝），断网、非 root、内存/CPU/超时限额 - 检索为向量与 BM25 混合，本地哈希 embedding 零配置可用 - 分支条件走 AST 白名单求值器；HTTP 工具逐 IP 拦截内网与元数据地址 - Mock provider 让无 API Key 也能跑通完整链路 7 个内置模板全部冒烟通过，含真实模型端到端验证。	2026-09-13 17:27:00 +08:00