核查 agent 的依据照写作者的规矩挂在句末;收尾超时照实记时长上限;占位词不当理由

- 交结果的提示(VERIFY_FINAL_PROMPT,双盲复算、反方审稿、审批质询共用)以前写「提到某次查询时写 [[see:Q1]]」,模型就
  把它写进括号、句中;反方审稿的系统提示自己也把它写在括号里(「([[v:Qn.rX.列名]] 或 [[see:Qn]])」)。改成和写作者
  一致:依据挂在句末(「……结果一致。[[see:Q3]]」),说明它渲染后不显示,不要放进括号、句中或「依据」「见」「取自」
  后面。已经写进括号的由上一个提交的渲染收拾干净
- 模型自己停了查询、收尾那次调用超过时长上限时,limit 以前是 None:质询的报错写着「回答超过时长上限(180 秒)」,
  answer.limit 却是 null,界面少了「已达时长上限」;双盲复算、反方审稿把它当成别的原因,审批卡上照出内部原话。
  现在记 timeout_s;循环里先撞上的上限照旧优先(同金额被拒的收尾),结构化输出、退回普通调用两条路都一样
- 交回的理由是空的、只有标点,或者只是一个占位词(验收里盲算交了字面的「placeholder」,审批卡照着显示):当没给
  理由,不组装理由文档。反方审稿的记录里理由为空,审批卡照旧写「反方没有给出理由」;质询照「模型没有给出回答内容」
  报错;双盲复算的对照工件里说明为空

测试:交给模型的提示(含三处调用方的系统提示、任务)里不再示范括号里的依据;写进括号的依据在理由文档里渲染干净、
仍挂在句子上;审批质询的回答、反方审稿的理由、双盲复算的说明端到端都没有空括号;收尾超时 limit 为 timeout_s(核查
agent 和质询接口、事件里都是);占位词的理由三处都不当理由。
This commit is contained in:
ThearchyHelios
2026-10-07 00:05:17 +08:00
parent d0e9c6d1e7
commit 735dc32052
6 changed files with 351 additions and 5 deletions
+1 -1
View File
@@ -117,7 +117,7 @@ CHALLENGE_SYSTEM = (
"原因说过了头;refuted 查到的数据和这句结论相矛盾;inconclusive 查不到判断所需的数据\n"
"- 没有找到反例不等于结论被推翻:只有数据和结论冲突时才判 refuted\n"
"- 结论要有出处:一条查询都没执行成功时,判什么都不会被采信;判 refuted 时,理由里至少要引用一处你自己查询的"
"结果([[v:Qn.rX.列名]] 或 [[see:Qn]]),否则同样不会被采信"
"结果:写 [[v:Qn.rX.列名]] 引用一格,或者在那句的句末写 [[see:Qn]],否则同样不会被采信"
)
CHALLENGE_TASK_PROMPT = (
"要审的结论(报告「{report}」中的一句{section}):\n「{claim}」\n\n"
+24 -4
View File
@@ -124,7 +124,10 @@ VERIFY_FINAL_PROMPT = (
"row 是行号(从 0 数),column 是列名。系统按引用从查询结果里取值,你自己写的数字不会被采用;查不到就写 null,"
"不要估算\n"
"- rationale 写理由,简短说清依据。理由里出现的每个数字都写成 [[v:Q1.r0.列名]] 这样的引用,系统会换成查询结果"
"里的值;不要直接写数字,提到某次查询时写 [[see:Q1]]\n"
"里的值;不要直接写数字\n"
"- 要指明一句话依据的是哪次查询,在这句的句末写 [[see:Q1]],比如「……结果一致。[[see:Q3]]」。[[see:…]] 渲染后"
"不显示,只能挂在句末:不要放进括号,也不要写进句子中间、写在「依据」「见」「取自」这类字后面,否则会留下「()」"
"「(,」「依据。」这样的断句\n"
"- 其余字段按各自的说明填写"
)
_CELL_REF: dict[str, Any] = {
@@ -662,6 +665,20 @@ def _parsed(value: Any) -> dict[str, Any] | None:
return value if isinstance(value, dict) else None
#: 只是占位词的理由(只留字母、数字和汉字,不分大小写):模型照着结构填了个字面的 placeholder、N/A,等于没给理由
_PLACEHOLDERS = frozenset({"placeholder", "todo", "tbd", "na", "none", "null", "nil", "rationale", "reason",
"无", "暂无", "略", "理由"})
def _no_rationale(value: Any) -> bool:
"""交回的理由等于没给:不是文字、空的、只有标点,或者只是一个占位词。当没给理由处理(理由为空、没有理由文档),
审批卡照「没有给出理由」说,不把占位词当理由展示。"""
if not isinstance(value, str):
return True
word = "".join(ch for ch in value if ch.isalnum()).casefold()
return not word or word in _PLACEHOLDERS
@dataclass
class _State:
"""一次核查过程中攒下的东西:出意外时也照这些交回,用了多少、查了什么不丢。"""
@@ -1007,10 +1024,13 @@ async def _verify(state: _State, *, spec: ModelSpec, system: str, task: str, sou
if parsed is None:
if settle_cut:
return await report_cut("verify_result", settler.max_tokens)
why = "收尾时超过时长上限,没能交结果" if isinstance(failure, asyncio.TimeoutError) else \
timed_out = isinstance(failure, asyncio.TimeoutError)
why = "收尾时超过时长上限,没能交结果" if timed_out else \
f"核查模型没有按结构交结果({explain_model_error(failure, model_id)})" if failure is not None else \
"核查模型没有按结构交结果"
return outcome(limit=stopped, answered=answered, error=why)
# 收尾超时也是触了时长上限:模型自己停了查询(stopped 为 None)时照实记 timeout_s,和原因对得上(质询的报错说
# 时长上限,界面按 limit 标「已达时长上限」)。循环里先撞上的上限照旧优先,同上面金额被拒的收尾
return outcome(limit=stopped or ("timeout_s" if timed_out else None), answered=answered, error=why)
declared = list((resolved.get("properties") or {}) if _is_object(resolved) else {})
if declared and not any(k in parsed for k in declared):
# 一个要求的字段都没交:不是「查不到」,是没按结构交。不这么分,字段名对不上的回复会被当成什么都没查到
@@ -1023,7 +1043,7 @@ async def _verify(state: _State, *, spec: ModelSpec, system: str, task: str, sou
result = cells.walk(resolved, parsed) if _is_object(resolved) else {}
rationale = parsed.get(RATIONALE)
doc = None
if isinstance(rationale, str) and rationale.strip():
if not _no_rationale(rationale):
doc = compose_doc(rationale, build_catalog(nodes={}, ledger=ledger), node_id=owner, run_id=run_id or None)
result[RATIONALE] = doc["markdown"] if doc else ""
return outcome(result=result, cells=cells.cells, rationale=doc, limit=stopped, answered=answered)