可点击证据第四期:结论句由模型裁判;只引单元格的问数据图能发成受管

一、结论句裁判

- 报告节点新增 claims: judge:写完、核对完之后,把结论句和它引用的证据摘录交给裁判模型,
  判为支持 / 部分支持 / 不支持 / 不是结论,附一句理由;判定只标注,不改写正文
- 送裁判的句子按固定规则预筛:带引用的、含方向词或因果词的送去判,短句、过渡句不送
- 证据摘录:指标写名称、值和原式;查询给 SQL 前 300 字和被引用的行,被引用的列一定给到;遮罩列一律不给;
  规则里写明「数字已经由系统核对过,不要复算」
- 一份报告合并成一次调用,超出句数就分批;结构化输出失败时退回 JSON 解析,再失败记为未裁判
- 裁判模型的优先级:节点上写的 > 设置里的「证据裁判模型」> Copilot 的模型;思考关闭;
  和写作模型相同时给警告(等于自己审自己)
- rewrite_once(默认关):把不支持的句子和理由交回写作者只改这几句,再裁一次;
  改写稿冒出原稿没有的问题就不采用,保留原稿和原来的判定

二、成本上限

- 每份报告的句数、金额、时长,探索运行每次点击的金额,全局每日金额,每一项都可以自定义,也都可以设成不限;
  默认 40 句、$0.05、30 秒,每次点击 $0.01,每天 $2
- 调用前先估算,超出上限按优先级截断:先判带引用的,再判含方向词、因果词的,其余记为未裁判并写明「已到上限」;
  不报错,也不让报告失败
- 每日花费按本地日期计数,持久化在设置表里;重跑同一次运行不重复计费;价格目录里没有的模型只计次数,并写明估不出金额

三、正式运行与探索运行

- 正式运行在报告节点内裁判,判定写进报告文档、随文档封存;不支持的按 on_unsupported(degrade / withhold)降档或不予出具,
  裁判没跑成记缺口,不能判完整出具
- 探索运行按需裁判:POST /api/runs/{id}/evidence/judge,点开哪句判哪句;判定作为 evidence.judged 事件追加在封存之后,
  标「封存后追加」,封存核对仍然一致;只读封存范围内的工件;同一句不重复判;运行在裁判期间被接着跑时不记录
- 正式运行调这个接口返回 409,写明「正式运行的裁判在节点内完成」

四、治理与自动修复

- G3 放开 judge:受管级别写 judge 必须写预算(judge.max_cost_usd,或显式写 null 表示不限)
- 发布前自动修复:缺预算时给选项(默认金额 / 不限),不替人选;
  从 require_citation 改成 judge 不算降低要求,judge 改回 off、withhold 放宽成 degrade 算降低要求
- Copilot 手册:受管模板可以写 judge 并带预算;问数据按需裁判,不替人打开结论句策略

五、界面

- 结论句句末放徽标:支持 ◆、部分支持 ◇、不支持 ! 整句浅底、未裁判 ?;不用表示「已核对」的绿色;n / N 也跳到不支持的句子
- 证据面板里「模型的解释」:带「模型判断 · 模型名 · 非确定」,封存后追加的另外标出;
  「请模型判断这句」只在探索运行、还没判过时出现,触顶时写明已到上限和怎么调
- 出具横幅多一段结论句计数;设置页新增「证据裁判」一组(裁判模型、各项上限、今日花费),设成不限时写明费用受什么约束;
  报告节点可以配 judge;运行轨迹里裁判相关的事件都有中文标题

六、门禁修正

- 引用模式下,图里没有口径卡(只引查询单元格)的,出具契约不再要求 metrics_from,受管门禁也不再要求 required:
  strict 加 cells 已经保证每个数都点得开、对不上就不予出具;有口径卡的照旧要求。
  以前问数据的图怎么都发不成受管,Copilot 补上契约也会被判「冒出新的问题」作废
This commit is contained in:
ThearchyHelios
2026-09-29 11:10:53 +08:00
parent d071bf119f
commit 9727c21d8d
47 changed files with 12367 additions and 263 deletions
+100 -5
View File
@@ -1,7 +1,7 @@
import type { RunEvent, TeamMember, TeamRound, TeamRun, ToolChange } from '../types'
import type { NodeState, RunPhase } from './trace'
import { formatDuration, formatNumber } from '../lib/format'
import { TYPE_LABEL, evidenceTally, issuanceLabel, nodeTypeLabel } from '../lib/terms'
import { TYPE_LABEL, claimTally, evidenceTally, issuanceLabel, nodeTypeLabel } from '../lib/terms'
import { statsTally } from '../lib/evidence'
// 泳道数据画布也要用(supervisor 节点要展开成协作矩阵),所以类型放在
@@ -646,6 +646,23 @@ function queryTitle(sql: string, source: string): string {
/** agent 开了 cite_fields 时循环结束后那次结构化抽取 */
const EXTRACT_TITLE = '按出处抽取字段'
/**
* report.checked 带的裁判摘要 → 「结论 4 句(支持 1 · 不支持 1 · 未裁判 2)」,和出具横幅同一种说法。
* 「不是结论句」不算;没有摘要(没开裁判、老后端)返回空串
*/
function judgeTally(judge: unknown): string {
const c = judge && typeof judge === 'object' ? (judge as { counts?: Record<string, unknown> }).counts : undefined
if (!c || typeof c !== 'object') return ''
const n = (k: string) => (typeof c[k] === 'number' && Number.isFinite(c[k] as number) ? c[k] as number : 0)
const counts = { supported: n('supported'), partial: n('partial'), unsupported: n('unsupported'), unjudged: n('unjudged'),
uncited: 0 }
return claimTally({ ...counts, total: counts.supported + counts.partial + counts.unsupported + counts.unjudged })
}
/** 报告撰写节点请裁判模型判断结论句(四期,claims: judge):units 是这一批几句 */
const judgeTitle = (units: unknown) =>
`请裁判模型判断${typeof units === 'number' && units > 0 ? ` ${formatNumber(units)} 句` : ''}结论`
const JUDGE_FAILED_TITLE = '结论句裁判没跑成'
/** 审批行末尾:批的时候点了「始终允许」,这个工具之后不再问人 */
const ALWAYS_NOTE = ',并设为「始终允许 · 门控把关」'
@@ -731,6 +748,59 @@ function explainLog(code: string | undefined, message: string): Pick<Step, 'titl
next: '模型说的出处在查询结果里找不到。让它先查到这些字段再交,查不到的就是空',
}
}
case 'judge_limit': {
// 「结论句裁判已到上限(这份报告的裁判金额上限 $0.05):3 句没判,记为未裁判;已判的保留」(judge.py run_request)
const n = message.match(/[::]\s*(\d+)\s*句没判/)?.[1]
return {
title: `结论句裁判已到上限${n ? `,${n} 句没判` : ''}(记为未裁判,已判的保留)`,
sub: message.match(/已到上限((.+?))/)?.[1],
next: '没判的结论句不能算完整出具。到报告撰写节点的「结论句裁判」调高上限(也可以设成不限),或到设置 → 证据裁判改默认值',
fix: 'canvas',
}
}
case 'judge_failed': {
// 「结论句裁判没跑完:有 2 句结论没裁判:裁判调用失败(…)」
return {
title: '结论句裁判没跑完,没判的记为未裁判',
sub: message.replace(/^结论句裁判没跑完[::]\s*/, '') || undefined,
next: '没判的结论句记一条缺口,出具不能算完整。先看裁判模型的接入(设置 → 证据裁判)能不能用,再重跑',
}
}
case 'judge_unpriced': {
// 「模型「x」不在价格目录里,按令牌估不出金额:金额上限(每份报告、每次点击、每日)对它不起作用,…」
const model = message.match(/模型「(.+?)」/)?.[1]
return {
title: `裁判模型${model ? `「${model}」` : ''}估不出金额,金额上限对它不起作用`,
sub: message.split(/[::]/).slice(1).join(':').trim() || undefined,
next: '费用只受句数、时长上限约束。要按金额控住,换一个价格目录里有的裁判模型',
}
}
case 'judge_same_model': {
// 「裁判模型和写作模型都是「x」:等于自己审自己,…。到设置里选一个不同的「证据裁判模型」…」
const model = message.match(/都是「(.+?)」/)?.[1]
return {
title: `裁判模型和写作模型都是${model ? `「${model}」` : '同一个'}:等于自己审自己`,
next: '到设置 → 证据裁判选一个不同的模型,或者在报告撰写节点的「结论句裁判」里指定裁判模型',
fix: 'canvas',
}
}
case 'report_rewrite': {
// 「裁判认为 2 句结论证据不支持(「…」「…」),已交回写作者只改这几句」
const n = message.match(/裁判认为\s*(\d+)\s*句/)?.[1]
return {
title: `裁判认为${n ? ` ${n} 句` : ''}结论证据不支持,已交回写作者只改这几句`,
sub: message.match(/证据不支持((.+))/)?.[1],
}
}
case 'report_rewrite_rejected': {
// 「改写稿冒出 1 处原稿没有的问题(「…」),没有采用,保留原稿和原来的判定」
const n = message.match(/冒出\s*(\d+)\s*处/)?.[1]
return {
title: `改写稿冒出${n ? ` ${n} 处` : ''}原稿没有的问题,没有采用`,
sub: message.match(/问题((.+))/)?.[1],
next: '保留的是原稿和原来的判定',
}
}
case 'repair_invented': {
// 「第 1 次修复作废:修复时出现了原文没有的值:total_count=0」
const values = message.match(/原文没有的值[::]\s*(.+)$/)?.[1]?.trim()
@@ -1387,12 +1457,15 @@ export function decodeRun(events: RunEvent[], final?: RunFinal, opts?: DecodeOpt
// 一出现就成行:模型想的那几十秒里得有一行在走,而不是等 end 才冒出来。
// 团队成员和调度者的调用没有 start(它们的 end 只用来记账),不会走到这
closeLlm(nodeId, 'done', at)
// agent 开了 cite_fields:循环结束后多一次结构化抽取,按出处把字段交出来。它不是在「作答」
// agent 开了 cite_fields:循环结束后多一次结构化抽取,按出处把字段交出来。它不是在「作答」。
// 报告撰写节点请裁判模型判断结论句(purpose judge)同理,另起名字
const extract = d.purpose === 'cite_fields'
const judging = d.purpose === 'judge'
const step: Step = {
id: `llm-${seq}`, seq, kind: 'llm', title: extract ? EXTRACT_TITLE : '思考并作答',
id: `llm-${seq}`, seq, kind: 'llm',
title: extract ? EXTRACT_TITLE : judging ? judgeTitle(d.units) : '思考并作答',
status: 'running', nodeId, startedAt: at,
...(extract ? { code: 'cite_fields' } : {}),
...(extract ? { code: 'cite_fields' } : judging ? { code: 'judge' } : {}),
...(d.model ? { detail: `模型:${d.model}` } : {}),
}
pendingLlm.set(nodeId ?? '_', step)
@@ -1429,6 +1502,12 @@ export function decodeRun(events: RunEvent[], final?: RunFinal, opts?: DecodeOpt
step.title = `${EXTRACT_TITLE}没跑成`
step.detail = [String(d.error), step.detail].filter(Boolean).join('\n')
}
if (d.purpose === 'judge' && d.error) {
// 裁判没跑成(超时、调用失败):这一批记为未裁判、报告照常交——同样是提醒,不是失败
step.level = 'warn'
step.title = JUDGE_FAILED_TITLE
step.detail = [String(d.error), step.detail].filter(Boolean).join('\n')
}
pendingLlm.delete(nodeId ?? '_')
break
}
@@ -1684,7 +1763,8 @@ export function decodeRun(events: RunEvent[], final?: RunFinal, opts?: DecodeOpt
const none = counts ? counts.none + counts.other : 0
const violations: any[] = Array.isArray(d.violations) ? d.violations : []
const repairs = num(d.repairs) ?? 0
const tally = counts ? evidenceTally(counts.cited, counts.total, counts.other) : ''
const tally = [counts ? evidenceTally(counts.cited, counts.total, counts.other) : '', judgeTally(d.judge)]
.filter(Boolean).join(' · ')
const listed = violations.slice(0, 8)
.map((v) => `· ${String(v?.message ?? v?.text ?? v?.code ?? '')}`).filter((x) => x.length > 2)
const more = violations.length > listed.length ? [`…另有 ${violations.length - listed.length} 处`] : []
@@ -1701,6 +1781,21 @@ export function decodeRun(events: RunEvent[], final?: RunFinal, opts?: DecodeOpt
break
}
case 'evidence.judged': {
// 探索运行跑完、封存之后,有人点开结论句请模型判断:判定追加在封存之后,不改封存的报告
const verdicts = d.verdicts && typeof d.verdicts === 'object' ? Object.values(d.verdicts as Record<string, any>) : []
const judged = verdicts.filter((v) => ['supported', 'partial', 'unsupported', 'not_a_claim'].includes(v?.status)).length
const hit: string[] = Array.isArray(d.limits_hit) ? d.limits_hit : []
push({
id: `ej-${seq}`, seq, kind: 'note', nodeId, status: 'done', code: 'evidence_judged',
level: hit.length || (Array.isArray(d.gaps) && d.gaps.length) ? 'warn' : 'info',
title: `封存后按需裁判了 ${formatNumber(judged)} 句结论${hit.length ? ',有的到了上限没判' : ''}`,
sub: '封存后追加 · 模型判断,非确定',
...(d.model ? { detail: [`模型:${d.model}`, ...(Array.isArray(d.gaps) ? d.gaps.map(String) : [])].join('\n') } : {}),
}, nodeId)
break
}
case 'caliber.upgrade':
out.push({
id: `cu-${seq}`, seq, kind: 'note', level: 'warn', status: 'done',