Files
AgentLab/backend/tests/test_copilot_entity_guide.py
T
ThearchyHelios d071bf119f 可点击证据第三期:表名字段名和引文也点得开、可疑实体与结论句、受管门禁 G1–G5、证据审计导出
一、表结构、实体与引文

- 数据源工具查库时顺带存一份表结构快照(schema_snapshot),和查询快照一起进台账、进封存;
  台账里的查询记下 SQL 用到的表
- 报告里的表名、字段名可以点:反引号里的名字一律核对,正文里的裸名字只在明显是标识符时才自动链接,
  常见英文单词不链接;点开看到它出现在哪次查询、类型、所属的表,快照被截断时写明
- 找不到的名字标成可疑实体:在快照、SQL、结果列里都没有的记「可能是编造的名字」并给出最接近的 3 个;
  快照被截断、核对不了的记「核对不了」,不冤枉成编造
- 检索引文 [[q:K1|原文]]:原文在检索快照的命中片段里逐字出现(空白归一化后)才算有出处,点开高亮原文位置
- 自动链接的名字不算句子的引用,只有写作者写的引用才算

二、结论句与出具

- 报告节点新增 claims:off(默认,保持原样)或 require_citation(没有引用的结论句计入缺口)
- 受管级别的正式运行里,可疑实体和没有引用的结论句按「有缺口」降档,不拦截;探索运行和已发布级别只标注
- 契约的 claims 和报告节点的设置取更严的那个;受管正式运行里写 ignore 也按降档处理,并给出警告
- 出具横幅除了数字,也写出可疑实体和没有引用的结论句

三、受管门禁 G1–G5(只看图和配置)

- G1 带契约的出口,成果字段的文字只能来自报告撰写节点
- G2 模型写的文字不绕过报告撰写节点直接流进出口
- G3 报告撰写节点写明 numbers: strict、on_violation: fail、claims: require_citation
- G4 口径卡的输入不来自计算角色的沙箱代码
- G5 给口径卡供数的 agent 配 output_schema 并开 cite_fields
- 受管级别是错误、挡住发布;已发布级别只给警告;已经发布的版本照常运行,下次发布时按新规则检查
- 每条规则都接进发布前自动修复(一键修复 / 给选项 / 交给 Copilot);禁止的改动补上关 cite_fields、
  删 output_schema、放宽契约 claims;Copilot 兜底不许自己把代码节点标成 source、不许放宽报告节点
- 发布弹窗里选「交给 Copilot」时明确写「正在交给 Copilot」

四、旧运行与审计

- 没有契约的旧答案:数字和已封存的查询单元格、口径卡值按数值比对,每个数最多 3 个候选,
  默认折叠,写明「猜测的来源,不能当证据」
- 有契约的旧运行:候选只从已封存的口径卡里找,人为插进工件表的行不当证据
- 证据审计:GET /api/runs/{id}/evidence/audit 按「无证据 / 可疑实体 / 有出处 / 旧运行猜测」分组,
  可导出 JSON 和 CSV(带封存状态);记录页和画布上的报告节点显示「有出处 N · 无证据 M」

五、SQL 守卫修正(安全)

- 去注释改成单遍扫描,认得字符串和各方言的引号(单引号转义、MySQL 反斜杠与 #、PostgreSQL 的 $$ 与嵌套注释、
  Oracle 的 q'[…]'、SQLite 的方括号);以前字符串里的 -- 会被当成注释,SELECT '--'; DROP … 这类写法能骗过多语句拦截
- 看不到服务器设置时每种读法都扫一遍,读法之间切分不一致就拒绝,任何一种读法是写操作就按写操作处理
- 执行查询和工具危险判定都按数据源的方言检查

六、其他

- 修掉检查脚本里画布检查的一处竞态,并行估时按实测更新
2026-09-29 05:26:34 +08:00

55 lines
2.6 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""Copilot 的节点手册要教三期的写法:表名字段名、知识库原话、结论句策略,以及受管模板的报告节点怎么配。
手册里没写的配置,Copilot 就不会用;写错的写法,报告节点会一直被打回。所以这里不只查关键词,
还把手册里举的标记例子交给真正的解析器,确认写法和系统认的是同一套。
"""
from __future__ import annotations
import re
from app.api.copilot import NODE_REFERENCE, GenerateIn, _user_message
from app.engine.evidence import QUOTE_MIN, SUPPORTED_KINDS, parse_markers
from app.engine.schema import REPORT_CLAIMS
def _report_section() -> str:
start = NODE_REFERENCE.index("- report:")
return NODE_REFERENCE[start:NODE_REFERENCE.index("\n- output", start)]
def test_the_report_entry_teaches_entities_quotes_and_claims():
report = _report_section()
for words in (
["[[t:", "[[c:", "反引号", "可能是编造的名字"], # 表名、字段名
["[[q:K1|", "逐字", f"至少 {QUOTE_MIN} 个字", "[[see:K1]]"], # 知识库原话
["claims", "require_citation", "off", "judge", "后续版本"], # 结论句策略
["entities", "link"], # 实体层开关
):
assert all(w in report for w in words), [w for w in words if w not in report]
# 结论句策略的取值和校验认的是同一份
assert all(value in report for value in REPORT_CLAIMS)
def test_the_markers_in_the_guide_parse_as_the_system_reads_them():
kinds = {m["kind"] for m in parse_markers(_report_section())}
assert {"t", "c", "q", "m", "v", "table", "i", "see"} <= kinds
assert kinds <= SUPPORTED_KINDS
[quote] = [m for m in parse_markers(_report_section()) if m["kind"] == "q"]
assert quote["ref"] == "K1" and quote["quote"]
def test_governed_templates_spell_out_the_report_settings():
ref = NODE_REFERENCE
governed = ref[ref.index("受管"):]
for words in (['numbers: "strict"', 'on_violation: "fail"', 'claims: "require_citation"'],
["report_from", "narrative"], ["cite_fields: true"], ["evidence_role", "source"]):
assert all(w in governed for w in words), [w for w in words if w not in governed]
def test_the_answer_branch_mentions_names_and_quotes():
text = _user_message(GenerateIn(instruction="上周哪张表的退款最多", intent="answer"), patch=False)
assert "[[t:" in text and "反引号" in text and "编造" in text
assert "[[q:K1|" in text and "逐字" in text
# 问数是探索运行:不要替人打开结论句策略
assert not re.search(r"claims\s*[:=]\s*['\"]?require_citation", text)