mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-18 16:21:57 +00:00
d071bf119f
一、表结构、实体与引文
- 数据源工具查库时顺带存一份表结构快照(schema_snapshot),和查询快照一起进台账、进封存;
台账里的查询记下 SQL 用到的表
- 报告里的表名、字段名可以点:反引号里的名字一律核对,正文里的裸名字只在明显是标识符时才自动链接,
常见英文单词不链接;点开看到它出现在哪次查询、类型、所属的表,快照被截断时写明
- 找不到的名字标成可疑实体:在快照、SQL、结果列里都没有的记「可能是编造的名字」并给出最接近的 3 个;
快照被截断、核对不了的记「核对不了」,不冤枉成编造
- 检索引文 [[q:K1|原文]]:原文在检索快照的命中片段里逐字出现(空白归一化后)才算有出处,点开高亮原文位置
- 自动链接的名字不算句子的引用,只有写作者写的引用才算
二、结论句与出具
- 报告节点新增 claims:off(默认,保持原样)或 require_citation(没有引用的结论句计入缺口)
- 受管级别的正式运行里,可疑实体和没有引用的结论句按「有缺口」降档,不拦截;探索运行和已发布级别只标注
- 契约的 claims 和报告节点的设置取更严的那个;受管正式运行里写 ignore 也按降档处理,并给出警告
- 出具横幅除了数字,也写出可疑实体和没有引用的结论句
三、受管门禁 G1–G5(只看图和配置)
- G1 带契约的出口,成果字段的文字只能来自报告撰写节点
- G2 模型写的文字不绕过报告撰写节点直接流进出口
- G3 报告撰写节点写明 numbers: strict、on_violation: fail、claims: require_citation
- G4 口径卡的输入不来自计算角色的沙箱代码
- G5 给口径卡供数的 agent 配 output_schema 并开 cite_fields
- 受管级别是错误、挡住发布;已发布级别只给警告;已经发布的版本照常运行,下次发布时按新规则检查
- 每条规则都接进发布前自动修复(一键修复 / 给选项 / 交给 Copilot);禁止的改动补上关 cite_fields、
删 output_schema、放宽契约 claims;Copilot 兜底不许自己把代码节点标成 source、不许放宽报告节点
- 发布弹窗里选「交给 Copilot」时明确写「正在交给 Copilot」
四、旧运行与审计
- 没有契约的旧答案:数字和已封存的查询单元格、口径卡值按数值比对,每个数最多 3 个候选,
默认折叠,写明「猜测的来源,不能当证据」
- 有契约的旧运行:候选只从已封存的口径卡里找,人为插进工件表的行不当证据
- 证据审计:GET /api/runs/{id}/evidence/audit 按「无证据 / 可疑实体 / 有出处 / 旧运行猜测」分组,
可导出 JSON 和 CSV(带封存状态);记录页和画布上的报告节点显示「有出处 N · 无证据 M」
五、SQL 守卫修正(安全)
- 去注释改成单遍扫描,认得字符串和各方言的引号(单引号转义、MySQL 反斜杠与 #、PostgreSQL 的 $$ 与嵌套注释、
Oracle 的 q'[…]'、SQLite 的方括号);以前字符串里的 -- 会被当成注释,SELECT '--'; DROP … 这类写法能骗过多语句拦截
- 看不到服务器设置时每种读法都扫一遍,读法之间切分不一致就拒绝,任何一种读法是写操作就按写操作处理
- 执行查询和工具危险判定都按数据源的方言检查
六、其他
- 修掉检查脚本里画布检查的一处竞态,并行估时按实测更新
55 lines
2.6 KiB
Python
55 lines
2.6 KiB
Python
"""Copilot 的节点手册要教三期的写法:表名字段名、知识库原话、结论句策略,以及受管模板的报告节点怎么配。
|
||
|
||
手册里没写的配置,Copilot 就不会用;写错的写法,报告节点会一直被打回。所以这里不只查关键词,
|
||
还把手册里举的标记例子交给真正的解析器,确认写法和系统认的是同一套。
|
||
"""
|
||
from __future__ import annotations
|
||
|
||
import re
|
||
|
||
from app.api.copilot import NODE_REFERENCE, GenerateIn, _user_message
|
||
from app.engine.evidence import QUOTE_MIN, SUPPORTED_KINDS, parse_markers
|
||
from app.engine.schema import REPORT_CLAIMS
|
||
|
||
|
||
def _report_section() -> str:
|
||
start = NODE_REFERENCE.index("- report:")
|
||
return NODE_REFERENCE[start:NODE_REFERENCE.index("\n- output", start)]
|
||
|
||
|
||
def test_the_report_entry_teaches_entities_quotes_and_claims():
|
||
report = _report_section()
|
||
for words in (
|
||
["[[t:", "[[c:", "反引号", "可能是编造的名字"], # 表名、字段名
|
||
["[[q:K1|", "逐字", f"至少 {QUOTE_MIN} 个字", "[[see:K1]]"], # 知识库原话
|
||
["claims", "require_citation", "off", "judge", "后续版本"], # 结论句策略
|
||
["entities", "link"], # 实体层开关
|
||
):
|
||
assert all(w in report for w in words), [w for w in words if w not in report]
|
||
# 结论句策略的取值和校验认的是同一份
|
||
assert all(value in report for value in REPORT_CLAIMS)
|
||
|
||
|
||
def test_the_markers_in_the_guide_parse_as_the_system_reads_them():
|
||
kinds = {m["kind"] for m in parse_markers(_report_section())}
|
||
assert {"t", "c", "q", "m", "v", "table", "i", "see"} <= kinds
|
||
assert kinds <= SUPPORTED_KINDS
|
||
[quote] = [m for m in parse_markers(_report_section()) if m["kind"] == "q"]
|
||
assert quote["ref"] == "K1" and quote["quote"]
|
||
|
||
|
||
def test_governed_templates_spell_out_the_report_settings():
|
||
ref = NODE_REFERENCE
|
||
governed = ref[ref.index("受管"):]
|
||
for words in (['numbers: "strict"', 'on_violation: "fail"', 'claims: "require_citation"'],
|
||
["report_from", "narrative"], ["cite_fields: true"], ["evidence_role", "source"]):
|
||
assert all(w in governed for w in words), [w for w in words if w not in governed]
|
||
|
||
|
||
def test_the_answer_branch_mentions_names_and_quotes():
|
||
text = _user_message(GenerateIn(instruction="上周哪张表的退款最多", intent="answer"), patch=False)
|
||
assert "[[t:" in text and "反引号" in text and "编造" in text
|
||
assert "[[q:K1|" in text and "逐字" in text
|
||
# 问数是探索运行:不要替人打开结论句策略
|
||
assert not re.search(r"claims\s*[:=]\s*['\"]?require_citation", text)
|