mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-18 10:21:57 +00:00
735dc32052
- 交结果的提示(VERIFY_FINAL_PROMPT,双盲复算、反方审稿、审批质询共用)以前写「提到某次查询时写 [[see:Q1]]」,模型就 把它写进括号、句中;反方审稿的系统提示自己也把它写在括号里(「([[v:Qn.rX.列名]] 或 [[see:Qn]])」)。改成和写作者 一致:依据挂在句末(「……结果一致。[[see:Q3]]」),说明它渲染后不显示,不要放进括号、句中或「依据」「见」「取自」 后面。已经写进括号的由上一个提交的渲染收拾干净 - 模型自己停了查询、收尾那次调用超过时长上限时,limit 以前是 None:质询的报错写着「回答超过时长上限(180 秒)」, answer.limit 却是 null,界面少了「已达时长上限」;双盲复算、反方审稿把它当成别的原因,审批卡上照出内部原话。 现在记 timeout_s;循环里先撞上的上限照旧优先(同金额被拒的收尾),结构化输出、退回普通调用两条路都一样 - 交回的理由是空的、只有标点,或者只是一个占位词(验收里盲算交了字面的「placeholder」,审批卡照着显示):当没给 理由,不组装理由文档。反方审稿的记录里理由为空,审批卡照旧写「反方没有给出理由」;质询照「模型没有给出回答内容」 报错;双盲复算的对照工件里说明为空 测试:交给模型的提示(含三处调用方的系统提示、任务)里不再示范括号里的依据;写进括号的依据在理由文档里渲染干净、 仍挂在句子上;审批质询的回答、反方审稿的理由、双盲复算的说明端到端都没有空括号;收尾超时 limit 为 timeout_s(核查 agent 和质询接口、事件里都是);占位词的理由三处都不当理由。
43 lines
1.8 KiB
Python
43 lines
1.8 KiB
Python
"""双盲复算的说明:依据写进括号不再断句,占位词不当说明(期 5 真实模型验收 M1)。
|
||
|
||
盲算 agent 和反方审稿、审批质询共用核查 agent 交结果的提示,同样会把 [[see:Q1]] 写进括号;真实模型验收里还见过盲算交回
|
||
字面的「placeholder」当说明,审批卡上照着显示。
|
||
|
||
模型一律是 MockChatModel 剧本,订单库是虚构的(tests/fixtures/dual_check_shop.py)。
|
||
"""
|
||
from __future__ import annotations
|
||
|
||
from app.core import artifact_store
|
||
from tests.fixtures.dual_check_shop import BY_ORDER_DATE, RIGHT, Blind
|
||
from tests.test_dual_check_node import ( # noqa: F401 - 夹具按名字引入
|
||
clean_settings,
|
||
engine_up,
|
||
graph,
|
||
pending,
|
||
shop,
|
||
start,
|
||
)
|
||
|
||
|
||
async def _blind_input(monkeypatch, shop, rationale: str) -> dict:
|
||
name, _ = shop
|
||
Blind(monkeypatch, name, {"销售额": (RIGHT, "gmv")}, rationale=rationale)
|
||
run = await start(graph(name, BY_ORDER_DATE))
|
||
assert run.status == "interrupted", run.error
|
||
card = artifact_store.load((await pending(run.id)).payload["card_artifact"])
|
||
[mine] = card["metrics"][0]["blind"]["inputs"]
|
||
return mine
|
||
|
||
|
||
async def test_see_in_brackets_does_not_break_the_blind_rationale(monkeypatch, shop):
|
||
mine = await _blind_input(monkeypatch, shop, "按口径说明统计([[see:Q1]],已排除退款),结果是 {ref}([[see:Q1]])。")
|
||
assert mine["rationale"] == "按口径说明统计(已排除退款),结果是 330。"
|
||
doc = mine["rationale_doc"]
|
||
assert doc["markdown"] == mine["rationale"] and doc["violations"] == []
|
||
|
||
|
||
async def test_a_placeholder_rationale_is_not_shown_as_the_explanation(monkeypatch, shop):
|
||
mine = await _blind_input(monkeypatch, shop, "placeholder")
|
||
assert mine["value"] == 330.0, "数照样采用"
|
||
assert (mine["rationale"], mine["rationale_doc"]) == ("", None)
|