Files
AgentLab/backend/tests/test_copilot_evidence_guide.py
T
ThearchyHelios e4f2693918 可点击证据第一期:报告里的每个数字都点得开出处
「引用即渲染」:写报告的模型只写引用标记([[m:指标id]]、[[i:输入字段]]、[[see:…]]),数值由系统按口径卡
填进去,每个数字都挂着一条能复算的证据链。本期是数字层闭环;实体、结论句的概率性证据放在后续几期。

内核(engine/evidence.py,口径卡、出具契约、表达式等)
- 口径卡记录每个指标的来源:原式、代入式(每个输入写成「值 ← 路径」)、复算结果、口径与版本
- 出具契约的数值匹配改为按位置标注;同一个值有几个出处时记为「出处不唯一」并列出候选,不再随便挑一个
- 证据 id 由内容派生,事后对不上就是被改过;零值、结构性数字(列表序号、代码块标签)单独处理
- 口径卡新增 on_missing:缺输入时默认仍是整个节点失败,可以改成记为空值、交给契约判档

报告撰写节点(report)与引用模式的出具契约
- 流式生成时 token 里就是真实数字,不会漏出原始标记;裸数字、不存在的引用当场判违规,交回去重写
  (max_repairs,默认 1 次);仍不过时按 on_violation 失败(正式运行默认)或把违规标在报告里(探索运行默认)
- report.checked 事件记下核对结果,落在封存范围内;fail 模式下仍不过时带 failed,运行记录里画成失败
- 出具契约写了 report_from 就按引用核对:取回文档时复验哈希,独立重算一遍,全部带引用才判完整出具
- 成果字段逐字等于报告正文时标注 _evidence;复核只能加说明,不能改写带证据的答案(前后端各拦一道)

证据接口
- GET /api/runs/{id}/evidence 返回证据图;GET …/evidence/segments/{id} 返回一个片段的证据链
- 只认封存范围内的事件能追到的工件,不读 artifacts 表;封存被改过时不把任何一项标成已封存
- 没有报告的旧运行降级为 none 或 legacy_contract

界面
- EvidenceDoc 按块、句、片段渲染报告,片段是和正文一样的按钮;整份报告只占一个 Tab 位,
  ←/→ 在片段间移动、↑/↓ 按句、n/N 跳到下一处「无证据」、Enter 打开面板、Esc 关闭并把焦点还回去
- EvidencePanel:宽屏侧边、窄屏底部抽屉、360px 画布右栏里栏内展开;显示指标步骤、代入式、复算结果、
  封存状态。正文不是封存的那份报告时明确说出来,不拿别的报告的封存画绿
- 出具横幅多一行「N/N 数字有出处 · 无证据 M」和「定位下一处」;没有 _evidence 的旧回答渲染一字不差
- 画布认得报告撰写节点;Copilot 手册补上口径卡、报告节点、出具契约的写法;新增模板「⑨ 可追溯周报」

验证(沙箱):tsc 干净,生产构建通过,pytest 1601 passed,check-all 16 项检查全绿(新增 check-evidence)。
2026-09-28 11:47:23 +08:00

41 lines
2.2 KiB
Python

"""Copilot 的节点手册里要有口径卡、报告撰写和出具契约的写法,以及搭图规则。
手册里没有的节点,Copilot 就不会用:以前手册里连口径卡都没有,只在数据源那一节
提了一句「取数结果要进口径卡」,于是它搭出来的图全是 agent → llm → output,叙述里
的数字没有一个能回指。
"""
from __future__ import annotations
from app.api.copilot import NODE_REFERENCE, GenerateIn, _user_message
from app.engine.evidence import render_number
def test_node_reference_covers_calibers_reports_and_contracts():
ref = NODE_REFERENCE
for words in (
["- metrics:口径卡", "expression", "decimals", "format", "on_missing"],
["- report:报告撰写", "[[m:指标id]]", "[[i:", "metrics_from", "on_violation", "不要用 llm"],
["report_from", "required", "strict"],
["搭图规则", "口径卡 → report → output", "SUM / COUNT", "code 只做格式转换"],
):
assert all(w in ref for w in words), [w for w in words if w not in ref]
# percent_of_ratio 的小数位按比率算:照「两位小数」写 2 的话 0.0235 显示成 2%,0.004 直接显示不出来
assert "percent_of_ratio 的 decimals 按比率算:要显示两位百分比(2.35%)写 4" in ref
assert render_number(0.0235, decimals=4, fmt="percent_of_ratio") == "2.35%"
assert render_number(0.0235, decimals=2, fmt="percent_of_ratio") == "2%"
# 成果字段要原样引用报告:前后拼了字就没法逐段对应证据
assert "{{ nodes.报告节点id.text }}" in ref
# 老规矩还在
assert "不要写 max_steps" in ref
def test_report_model_follows_the_same_model_rule():
assert "llm / agent / supervisor / report 的 config.model" in NODE_REFERENCE
def test_answer_branch_mentions_traceable_reports():
text = _user_message(GenerateIn(instruction="上周销售额多少", intent="answer"), patch=False)
assert "report" in text and "口径卡" in text and "report_from" in text
# 普通问数不强加报告:本期 agent 的结论还进不了口径卡,强加只会让答案里的数全判成无出处
assert "普通的问数照旧" in text