mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-19 05:12:00 +00:00
可点击证据第四期:结论句由模型裁判;只引单元格的问数据图能发成受管
一、结论句裁判
- 报告节点新增 claims: judge:写完、核对完之后,把结论句和它引用的证据摘录交给裁判模型,
判为支持 / 部分支持 / 不支持 / 不是结论,附一句理由;判定只标注,不改写正文
- 送裁判的句子按固定规则预筛:带引用的、含方向词或因果词的送去判,短句、过渡句不送
- 证据摘录:指标写名称、值和原式;查询给 SQL 前 300 字和被引用的行,被引用的列一定给到;遮罩列一律不给;
规则里写明「数字已经由系统核对过,不要复算」
- 一份报告合并成一次调用,超出句数就分批;结构化输出失败时退回 JSON 解析,再失败记为未裁判
- 裁判模型的优先级:节点上写的 > 设置里的「证据裁判模型」> Copilot 的模型;思考关闭;
和写作模型相同时给警告(等于自己审自己)
- rewrite_once(默认关):把不支持的句子和理由交回写作者只改这几句,再裁一次;
改写稿冒出原稿没有的问题就不采用,保留原稿和原来的判定
二、成本上限
- 每份报告的句数、金额、时长,探索运行每次点击的金额,全局每日金额,每一项都可以自定义,也都可以设成不限;
默认 40 句、$0.05、30 秒,每次点击 $0.01,每天 $2
- 调用前先估算,超出上限按优先级截断:先判带引用的,再判含方向词、因果词的,其余记为未裁判并写明「已到上限」;
不报错,也不让报告失败
- 每日花费按本地日期计数,持久化在设置表里;重跑同一次运行不重复计费;价格目录里没有的模型只计次数,并写明估不出金额
三、正式运行与探索运行
- 正式运行在报告节点内裁判,判定写进报告文档、随文档封存;不支持的按 on_unsupported(degrade / withhold)降档或不予出具,
裁判没跑成记缺口,不能判完整出具
- 探索运行按需裁判:POST /api/runs/{id}/evidence/judge,点开哪句判哪句;判定作为 evidence.judged 事件追加在封存之后,
标「封存后追加」,封存核对仍然一致;只读封存范围内的工件;同一句不重复判;运行在裁判期间被接着跑时不记录
- 正式运行调这个接口返回 409,写明「正式运行的裁判在节点内完成」
四、治理与自动修复
- G3 放开 judge:受管级别写 judge 必须写预算(judge.max_cost_usd,或显式写 null 表示不限)
- 发布前自动修复:缺预算时给选项(默认金额 / 不限),不替人选;
从 require_citation 改成 judge 不算降低要求,judge 改回 off、withhold 放宽成 degrade 算降低要求
- Copilot 手册:受管模板可以写 judge 并带预算;问数据按需裁判,不替人打开结论句策略
五、界面
- 结论句句末放徽标:支持 ◆、部分支持 ◇、不支持 ! 整句浅底、未裁判 ?;不用表示「已核对」的绿色;n / N 也跳到不支持的句子
- 证据面板里「模型的解释」:带「模型判断 · 模型名 · 非确定」,封存后追加的另外标出;
「请模型判断这句」只在探索运行、还没判过时出现,触顶时写明已到上限和怎么调
- 出具横幅多一段结论句计数;设置页新增「证据裁判」一组(裁判模型、各项上限、今日花费),设成不限时写明费用受什么约束;
报告节点可以配 judge;运行轨迹里裁判相关的事件都有中文标题
六、门禁修正
- 引用模式下,图里没有口径卡(只引查询单元格)的,出具契约不再要求 metrics_from,受管门禁也不再要求 required:
strict 加 cells 已经保证每个数都点得开、对不上就不予出具;有口径卡的照旧要求。
以前问数据的图怎么都发不成受管,Copilot 补上契约也会被判「冒出新的问题」作废
This commit is contained in:
@@ -11,17 +11,22 @@
|
||||
* 三期多了表名字段名、逐字引文:有出处的实体、引文和数字同一套「有出处」线型(状态就是
|
||||
* 确定性,另有 EVIDENCE_KIND_STYLE 给它们各自的字形和说法);可疑实体(可能是编造的
|
||||
* 名字)和核对不了的名字是无证据的两个变体,线型同无证据、字形和文字各不相同;旧运行
|
||||
* 按数值猜的候选用最淡的点状线。概率性的几种先把外观定下,四期接上时不用再各处补。
|
||||
* 按数值猜的候选用最淡的点状线。
|
||||
*
|
||||
* 四期接上了概率性的几种:结论句的判定是模型给的,只在句末挂一枚小徽标(◆ 有依据、◇ 部分有依据、
|
||||
* ! 证据不支持且整句浅底、? 未裁判),整句的字不画线。判定有两个来源:封存的文档里节点当场判的,
|
||||
* 和探索运行里点开再判、封存之后追加的(后者盖过前者,另写「封存后追加」)。
|
||||
*/
|
||||
|
||||
import {
|
||||
EVIDENCE_AUDIT_TEXT, EVIDENCE_KIND_LABEL, EVIDENCE_STATE_LABEL, EVIDENCE_TEXT, UPGRADE_POLICY_LABEL, evidenceTally,
|
||||
EVIDENCE_AUDIT_TEXT, EVIDENCE_KIND_LABEL, EVIDENCE_STATE_LABEL, EVIDENCE_TEXT, JUDGE_TEXT, UPGRADE_POLICY_LABEL,
|
||||
claimTally, evidenceTally, type ClaimTallyCounts,
|
||||
} from './terms'
|
||||
import { NONE, formatNumber, shortId } from './format'
|
||||
import type {
|
||||
EvidenceBlock, EvidenceCaliberSource, EvidenceCaliberUpgrade, EvidenceCandidate, EvidenceDocData, EvidenceFieldRef,
|
||||
EvidenceGraph, EvidenceGuess, EvidenceInput, EvidenceLocator, EvidenceSeal, EvidenceSegment, EvidenceSegmentDetail,
|
||||
EvidenceStats, EvidenceStep, EvidenceUnit, EvidenceViolation, ReviewResult,
|
||||
EvidenceStats, EvidenceStep, EvidenceUnit, EvidenceVerdict, EvidenceViolation, ReviewResult,
|
||||
} from '../types'
|
||||
import type { MarkSpec } from '../run/Markdown'
|
||||
|
||||
@@ -85,7 +90,7 @@ export const EVIDENCE_STATE: Record<EvidenceStateCode, EvidenceStateMeta> = {
|
||||
code: 'unjudged', label: EVIDENCE_STATE_LABEL.unjudged, line: 'badge', glyph: '?',
|
||||
color: 'var(--st-cancelled)', decoration: 'transparent', soft: 'var(--st-cancelled-soft)',
|
||||
alert: false, phase: 4,
|
||||
hint: '这句话带了引用,还没请模型判断引用支不支持它',
|
||||
hint: '还没请模型判断证据支不支持这句话:探索运行点开再判,或者到了上限没判',
|
||||
},
|
||||
none: {
|
||||
code: 'none', label: EVIDENCE_STATE_LABEL.none, line: 'dotted', glyph: '?',
|
||||
@@ -452,6 +457,8 @@ export function locatable(doc: EvidenceDocData, v: EvidenceViolation): EvidenceS
|
||||
export interface EvidenceTally {
|
||||
/** 数字总数:带引用的数字片段 + 裸数字(含列表序号、代码块标签里的) */
|
||||
total: number
|
||||
/** 四期:结论句按判定分的句数。文档没开裁判、也没有按需判过的句子时是 null(横幅不多说这一段) */
|
||||
claims?: ClaimTallyCounts | null
|
||||
/** 可疑实体(可能是编造的名字)、核对不了的名字:数字那半句之外另说 */
|
||||
suspect?: number
|
||||
unverified?: number
|
||||
@@ -504,7 +511,7 @@ export function docTally(doc: EvidenceDocData): EvidenceTally {
|
||||
const suspect = num(st.unknown_entities) ?? all.filter((v) => v.code === 'unknown_entity').length
|
||||
const unverified = num(st.unverified_entities) ?? all.filter((v) => v.code === 'unverified_entity').length
|
||||
return { total, cited, none, other, hidden: hidden.length, structural, noSegment: hidden.length - structural,
|
||||
suspect, unverified }
|
||||
suspect, unverified, claims: claimCounts(doc) }
|
||||
}
|
||||
|
||||
/**
|
||||
@@ -522,15 +529,16 @@ export function statsTally(stats: EvidenceDocData['stats'] | null | undefined):
|
||||
return { total, cited, none, other }
|
||||
}
|
||||
|
||||
/** 读屏摘要:计数、画不了线的两种各在哪、按键说明 */
|
||||
/** 读屏摘要:计数、结论句的判定、画不了线的两种各在哪、按键说明 */
|
||||
export function tallySummary(t: EvidenceTally, keys: boolean): string {
|
||||
return [
|
||||
evidenceTally(t.cited, t.total, t.other),
|
||||
t.claims?.total ? `${claimTally(t.claims)}(模型判断,非确定)` : '',
|
||||
t.suspect ? `${formatNumber(t.suspect)} 个${EVIDENCE_STATE.suspect.label}` : '',
|
||||
t.unverified ? `${formatNumber(t.unverified)} 个名字${EVIDENCE_STATE.unverified.label}` : '',
|
||||
t.structural ? EVIDENCE_TEXT.structuralCount(t.structural) : '',
|
||||
t.noSegment ? EVIDENCE_TEXT.noSegmentCount(t.noSegment) : '',
|
||||
keys ? EVIDENCE_TEXT.keysHint : '',
|
||||
keys ? (t.claims?.unsupported || t.claims?.partial ? JUDGE_TEXT.keysHint : EVIDENCE_TEXT.keysHint) : '',
|
||||
].filter(Boolean).join('。')
|
||||
}
|
||||
|
||||
@@ -812,7 +820,8 @@ export function evidenceTrace(
|
||||
|
||||
/**
|
||||
* 章上的两个数:「引用 N」是有出处的片段(数字、值、表名字段名、引文),「无证据 M」是没出处的
|
||||
* 数字、解析不了的引用、可疑实体,结论句策略为 require_citation 时再加上没挂依据的结论句。
|
||||
* 数字、解析不了的引用、可疑实体,结论句策略为 require_citation 或 judge 时再加上没挂依据的结论句
|
||||
* (judge 在挂依据这件事上和 require_citation 一样严,出口同样计入缺口)。
|
||||
* 统计缺了数字那两项(别的版本的后端)返回 null,不画章
|
||||
*/
|
||||
export function stampCounts(stats: EvidenceStats | null | undefined, claims?: string | null):
|
||||
@@ -821,10 +830,178 @@ export function stampCounts(stats: EvidenceStats | null | undefined, claims?: st
|
||||
if (!t) return null
|
||||
const cited = t.cited + (num(stats?.values) ?? 0) + (num(stats?.entities) ?? 0) + (num(stats?.quotes) ?? 0)
|
||||
const none = t.none + t.other + (num(stats?.unknown_entities) ?? 0)
|
||||
+ (claims === 'require_citation' ? num(stats?.uncited_claims) ?? 0 : 0)
|
||||
+ (claims === 'require_citation' || claims === 'judge' ? num(stats?.uncited_claims) ?? 0 : 0)
|
||||
return { cited, none }
|
||||
}
|
||||
|
||||
// -------------------------------------------------------------------------
|
||||
// 四期:结论句裁判
|
||||
// -------------------------------------------------------------------------
|
||||
|
||||
/** 判过了的四种(不含未裁判):同后端 judge.JUDGED。判过的不再给「请模型判断这句」 */
|
||||
const JUDGED = new Set(['supported', 'partial', 'unsupported', 'not_a_claim'])
|
||||
/** 触顶的四个上限:同后端 judge.LIMITS,这几种没判的写「已到上限」和怎么调 */
|
||||
export const JUDGE_LIMITS: readonly string[] = ['max_claims', 'max_cost_usd', 'daily_max_usd', 'timeout_s']
|
||||
|
||||
export const isJudged = (v: Pick<EvidenceVerdict, 'status'> | null | undefined): boolean => !!v && JUDGED.has(v.status)
|
||||
|
||||
/** 没判的原因是不是上限,是的话返回是哪个 */
|
||||
export const limitOf = (v: Pick<EvidenceVerdict, 'status' | 'reason'> | null | undefined): string | null =>
|
||||
v?.status === 'unjudged' && v.reason && JUDGE_LIMITS.includes(v.reason) ? v.reason : null
|
||||
|
||||
/**
|
||||
* 判定在句末画成哪种徽标。「不是结论句」不挂:它不需要证据,挂个记号只添噪音(面板里照样写明模型的判断);
|
||||
* 认不出的判定也不挂——宁可不画,不能把不知道的东西画成某种结论
|
||||
*/
|
||||
export function verdictState(v: Pick<EvidenceVerdict, 'status'> | null | undefined): EvidenceStateCode | null {
|
||||
switch (v?.status) {
|
||||
case 'supported': return 'supported'
|
||||
case 'partial': return 'partial'
|
||||
case 'unsupported': return 'unsupported'
|
||||
case 'unjudged': return 'unjudged'
|
||||
default: return null
|
||||
}
|
||||
}
|
||||
|
||||
/** 一句的判定:封存之后按需追加的盖过文档里的(探索运行里文档记的是「未裁判 · 按需」) */
|
||||
export function unitVerdict(
|
||||
unit: Pick<EvidenceUnit, 'id' | 'verdict'>, overlay?: Record<string, EvidenceVerdict> | null,
|
||||
): EvidenceVerdict | undefined {
|
||||
return overlay?.[unit.id] ?? unit.verdict ?? undefined
|
||||
}
|
||||
|
||||
/** 这一句能不能请模型判断:结论句、不在表格和代码块里(同后端 candidates(units=…) 的条件) */
|
||||
export const judgeable = (unit: Pick<EvidenceUnit, 'kind'>, block?: Pick<EvidenceBlock, 'type'>): boolean =>
|
||||
unit.kind === 'claim' && !['table', 'code', 'heading'].includes(block?.type ?? '')
|
||||
|
||||
/**
|
||||
* 结论句的计数(出具横幅、证据条)。文档开了裁判(有 judge 摘要)时按候选句的判定数,预筛放掉的、
|
||||
* 表格里的不算;没开裁判的文档只在有按需判过的句子时才数,没判的按有没有挂依据分成「未裁判」「无证据」。
|
||||
* 模型判为「不是结论句」的不算进总数。什么判定都没有返回 null:升级前的文档、没开裁判也没点过的,横幅照旧。
|
||||
*
|
||||
* 「判过」认的是句子身上带着的判定,不只认 overlay:横幅拿到的是 withVerdicts 叠好的文档(判定已经写进
|
||||
* unit.verdict,没再单独给 overlay)。没开裁判的封存文档本身从不带判定,带着的只能是封存后追加的
|
||||
*/
|
||||
export function claimCounts(
|
||||
doc: Pick<EvidenceDocData, 'blocks' | 'judge'>, overlay?: Record<string, EvidenceVerdict> | null,
|
||||
): ClaimTallyCounts | null {
|
||||
const judged = !!doc.judge && typeof doc.judge === 'object'
|
||||
const c: ClaimTallyCounts = { total: 0, supported: 0, partial: 0, unsupported: 0, unjudged: 0, uncited: 0 }
|
||||
let seen = judged
|
||||
for (const block of doc.blocks ?? []) {
|
||||
for (const unit of block.units ?? []) {
|
||||
const v = unitVerdict(unit, overlay)
|
||||
if (v) seen = true
|
||||
if (v) {
|
||||
if (v.status === 'supported' || v.status === 'partial' || v.status === 'unsupported' || v.status === 'unjudged') {
|
||||
c[v.status] += 1
|
||||
c.total += 1
|
||||
}
|
||||
continue
|
||||
}
|
||||
if (judged || !judgeable(unit, block)) continue
|
||||
if (unit.cites?.length) c.unjudged += 1
|
||||
else c.uncited += 1
|
||||
c.total += 1
|
||||
}
|
||||
}
|
||||
return seen ? c : null
|
||||
}
|
||||
|
||||
/** 把封存之后追加的判定叠到文档上(只换有判定的那几句,别的块原样共用)。给横幅计数用,不写回封存的文档 */
|
||||
export function withVerdicts<T extends Pick<EvidenceDocData, 'blocks'>>(
|
||||
doc: T, overlay: Record<string, EvidenceVerdict> | null | undefined,
|
||||
): T {
|
||||
if (!overlay || !Object.keys(overlay).length) return doc
|
||||
let touched = false
|
||||
const blocks = (doc.blocks ?? []).map((b) => {
|
||||
if (!(b.units ?? []).some((u) => overlay[u.id])) return b
|
||||
touched = true
|
||||
return { ...b, units: b.units.map((u) => (overlay[u.id] ? { ...u, verdict: overlay[u.id] } : u)) }
|
||||
})
|
||||
return touched ? { ...doc, blocks } : doc
|
||||
}
|
||||
|
||||
/** 句子太长时截一截,给 aria-label 和面板标题用 */
|
||||
const clip = (text: string, n = 40) => (text.length > n ? `${text.slice(0, n - 1)}…` : text)
|
||||
|
||||
/**
|
||||
* 句末徽标的 aria-label:句子、判定都写全,封存后追加的另说。「结论句「增长主要来自新客首单…」,
|
||||
* 模型判断:证据不支持」;到上限没判的说「未裁判:已到上限」
|
||||
*/
|
||||
export function claimLabel(unit: Pick<EvidenceUnit, 'segments'>, v: EvidenceVerdict): string {
|
||||
const state = verdictState(v)
|
||||
const said = state ? EVIDENCE_STATE[state].label : JUDGE_TEXT.notClaim
|
||||
const why = limitOf(v) ? `${said}:${JUDGE_TEXT.limit}` : said
|
||||
return JUDGE_TEXT.badgeLabel(clip(unitText(unit).trim()), why, !!v.post_seal)
|
||||
}
|
||||
|
||||
/** 一条判定认成前端的形状:status 缺了(或者写在 verdict 里)的认 verdict,缺 judge 的补上答复里的模型 */
|
||||
function asVerdict(v: unknown, fallback: { model?: unknown; postSeal: boolean }): EvidenceVerdict | null {
|
||||
if (!v || typeof v !== 'object') return null
|
||||
const o = v as Record<string, unknown>
|
||||
const status = typeof o.status === 'string' ? o.status : typeof o.verdict === 'string' ? o.verdict : null
|
||||
if (!status) return null
|
||||
return {
|
||||
...(o as object), status,
|
||||
rationale: typeof o.rationale === 'string' ? o.rationale : undefined,
|
||||
judge: typeof o.judge === 'string' ? o.judge : typeof fallback.model === 'string' ? fallback.model : null,
|
||||
post_seal: typeof o.post_seal === 'boolean' ? o.post_seal : fallback.postSeal,
|
||||
used: Array.isArray(o.used) ? o.used.map(String) : undefined,
|
||||
reason: typeof o.reason === 'string' ? o.reason : undefined,
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* 按需裁判接口的答复 → {unit: 判定}。认 {verdicts: {u4: …}}(evidence.judged 的载荷)和
|
||||
* {verdicts: [{unit: 'u4', …}]};外层没有 verdicts 时认 units。按需判的都是封存后追加的:缺 post_seal 的记 true
|
||||
*/
|
||||
export function judgedVerdicts(body: unknown): Record<string, EvidenceVerdict> {
|
||||
if (!body || typeof body !== 'object') return {}
|
||||
const b = body as Record<string, unknown>
|
||||
const raw = b.verdicts ?? b.units
|
||||
const fallback = { model: b.model, postSeal: typeof b.post_seal === 'boolean' ? b.post_seal : true }
|
||||
const out: Record<string, EvidenceVerdict> = {}
|
||||
if (Array.isArray(raw)) {
|
||||
for (const item of raw) {
|
||||
const id = item && typeof item === 'object' ? (item as any).unit ?? (item as any).id : null
|
||||
const v = asVerdict(item, fallback)
|
||||
if (typeof id === 'string' && id && v) out[id] = v
|
||||
}
|
||||
} else if (raw && typeof raw === 'object') {
|
||||
for (const [id, item] of Object.entries(raw)) {
|
||||
const v = asVerdict(item, fallback)
|
||||
if (v) out[id] = v
|
||||
}
|
||||
}
|
||||
return out
|
||||
}
|
||||
|
||||
/** 证据图里某份报告封存之后追加的判定(reports[].post_seal_verdicts);后端没给时是空的 */
|
||||
export function graphVerdicts(graph: EvidenceGraph | null | undefined, report: string | undefined): Record<string, EvidenceVerdict> {
|
||||
const hit = (graph?.reports ?? []).find((r) => !report || !r?.node_id || r.node_id === report)
|
||||
return hit?.post_seal_verdicts && typeof hit.post_seal_verdicts === 'object'
|
||||
? judgedVerdicts({ verdicts: hit.post_seal_verdicts, post_seal: true }) : {}
|
||||
}
|
||||
|
||||
/**
|
||||
* 这一句和「改写一次」(rewrite_once)的关系:改写稿采用了、这句是新写的(changed 里有它),给出交回
|
||||
* 改写的原句(units 里对应是 null 的那几句);改写稿没采用、这句是交回过的,给出没采用的原因。其余 null。
|
||||
* 只按 changed / units 认编号——没按这两项映射过的编号在封存文档里指的是别的句子
|
||||
*/
|
||||
export function rewriteOf(doc: Pick<EvidenceDocData, 'judge'>, uid: string):
|
||||
{ kind: 'changed'; sentences: string[] } | { kind: 'rejected'; reason: string } | null {
|
||||
const r = doc.judge?.rewrite
|
||||
if (!r || typeof r !== 'object') return null
|
||||
const units = Array.isArray(r.units) ? r.units : []
|
||||
const sentences = Array.isArray(r.sentences) ? r.sentences.map(String) : []
|
||||
if (r.applied && Array.isArray(r.changed) && r.changed.includes(uid)) {
|
||||
return { kind: 'changed', sentences: sentences.filter((_, i) => units[i] == null) }
|
||||
}
|
||||
if (!r.applied && typeof r.reason === 'string' && r.reason && units.includes(uid)) return { kind: 'rejected', reason: r.reason }
|
||||
return null
|
||||
}
|
||||
|
||||
// -------------------------------------------------------------------------
|
||||
// 旧运行的猜测
|
||||
// -------------------------------------------------------------------------
|
||||
|
||||
+185
-3
@@ -132,15 +132,15 @@ export const APPROVAL_POLICY_LABEL: Record<'dangerous' | 'always' | 'never', str
|
||||
* 可点击证据:片段状态的叫法。正文里片段的 aria-label、面板标题、图例都用这一份。
|
||||
* 外观(线型、字形、颜色)在 lib/evidence.ts,和这里一一对应。
|
||||
*
|
||||
* 本期(数字层)实际只会出现「有出处」和「无证据」;其余几种是后续期的,先把叫法定下,
|
||||
* 免得到时候各处各起一个名字。
|
||||
* 概率性的四种(四期的结论句裁判)挂在句末的徽标上:有依据、部分有依据、证据不支持都是模型的判断,
|
||||
* 叫法里写明「模型判断」;未裁判不带「有引用」——没挂依据、只有方向词的结论句也会送裁判、也会没判。
|
||||
*/
|
||||
export const EVIDENCE_STATE_LABEL = {
|
||||
deterministic: '有出处',
|
||||
supported: '模型判断:有依据',
|
||||
partial: '模型判断:部分有依据',
|
||||
unsupported: '模型判断:证据不支持',
|
||||
unjudged: '有引用,未裁判',
|
||||
unjudged: '未裁判',
|
||||
none: '无证据',
|
||||
connective: '连接性文字',
|
||||
candidate: '猜测的来源',
|
||||
@@ -313,6 +313,188 @@ export const EVIDENCE_TEXT = {
|
||||
guessCandidates: '可能来自',
|
||||
} as const
|
||||
|
||||
/** 结论句按裁判结论分成的几堆(lib/evidence 的 claimCounts 数出来的) */
|
||||
export interface ClaimTallyCounts {
|
||||
/** 结论句总数:模型判为「不是结论句」的不算 */
|
||||
total: number
|
||||
supported: number
|
||||
partial: number
|
||||
unsupported: number
|
||||
/** 送了裁判、没判成(到上限、调用失败)或还没请模型判断的 */
|
||||
unjudged: number
|
||||
/** 没有判定、也没挂依据的结论句 */
|
||||
uncited: number
|
||||
}
|
||||
|
||||
/**
|
||||
* 「结论 4 句(支持 3 · 无证据 1)」:出具横幅、证据条、报告核对那一行共用,和数字那一段同一种说法——
|
||||
* 先说总数,括号里按状态分,为 0 的不写。没有结论句时返回空串
|
||||
*/
|
||||
export function claimTally(c: ClaimTallyCounts): string {
|
||||
if (!c.total) return ''
|
||||
const parts = [
|
||||
['支持', c.supported], ['部分支持', c.partial], ['不支持', c.unsupported], ['未裁判', c.unjudged], ['无证据', c.uncited],
|
||||
].filter(([, n]) => (n as number) > 0).map(([k, n]) => `${k} ${formatNumber(n as number)}`)
|
||||
return `结论 ${formatNumber(c.total)} 句${parts.length ? `(${parts.join(' · ')})` : ''}`
|
||||
}
|
||||
|
||||
/**
|
||||
* 结论句裁判(四期)在证据面板、句末徽标里的说法。判断是模型给的:一律写明「模型判断」「非确定」,
|
||||
* 封存之后按需追加的另写「封存后追加」
|
||||
*/
|
||||
export const JUDGE_TEXT = {
|
||||
section: '模型的解释',
|
||||
claim: '结论句',
|
||||
/** 读屏摘要末尾的操作说明:有证据不支持、部分支持的结论句时 n 也跳到它们的句末徽标 */
|
||||
keysHint: '用左右方向键逐个查看,上下键按句子走,n 跳到下一处无证据或证据不支持的句子,回车打开证据,Esc 关闭',
|
||||
/** 面板里判断的徽标:谁判的、而且不是确定的 */
|
||||
badge: (model: string | null | undefined) => `模型判断 · ${model || '裁判模型'} · 非确定`,
|
||||
postSeal: '封存后追加',
|
||||
/** 判定里没记模型名时的叫法 */
|
||||
judgeModel: '裁判模型',
|
||||
/** 句末徽标的悬停说明:到上限没判的 */
|
||||
limitNotJudged: '已到上限,这句没判(模型没有看过这句)',
|
||||
/** 没判的句子(到上限、没跑成)记着的裁判模型:中性地说,不挂「模型判断」的徽标 */
|
||||
notJudgedBy: (model: string) => `裁判模型 ${model} 没有判这句`,
|
||||
sealedDoc: '报告文档已封存 · 核对一致',
|
||||
sealedWithDoc: '报告文档已封存 · 核对一致,这条判断随报告一起封存',
|
||||
postSealHint: '运行封存之后按需追加的判断:不在封存范围内,封存核对照样一致。它是模型的解释,不是证据',
|
||||
sealedHint: '正式运行里报告撰写节点当场判的,和报告一起封存。它是模型的解释,不是证据',
|
||||
used: (aliases: string[]) => `裁判看过的证据:${aliases.join('、')}`,
|
||||
cites: '挂的依据',
|
||||
noCites: '这句没挂依据(只有方向词、因果词):裁判看不到任何证据摘录',
|
||||
notClaim: '模型判断:不是结论句',
|
||||
ask: '请模型判断这句',
|
||||
askAgain: '再请模型判断一次',
|
||||
asking: '正在请模型判断…',
|
||||
askHint: '探索运行按需裁判:点一次判这一句,花费计入每次点击和每日的上限',
|
||||
notAsked: '还没请模型判断这句',
|
||||
screened: '预筛认为这句不陈述数据事实(短句、只有过渡的话),没有送裁判',
|
||||
noPrice: '裁判模型不在价格目录里,按令牌估不出金额:金额上限对它不起作用',
|
||||
limit: '已到上限',
|
||||
/** 触顶之后怎么调。按需裁判(每次点击)和正式运行(每份报告)调的地方不一样 */
|
||||
limitHow: {
|
||||
click: {
|
||||
max_cost_usd: '到「设置 → 偏好设置 → 证据裁判」调高「每次点击的金额上限」,或者设成不限,再点一次',
|
||||
daily_max_usd: '到「设置 → 偏好设置 → 证据裁判」调高「每日金额上限」或设成不限;也可以等到明天(按本地日期重新计)',
|
||||
max_claims: '到「设置 → 偏好设置 → 证据裁判」调高「每份报告最多判几句」(报告撰写节点里写了的以节点为准)',
|
||||
timeout_s: '到「设置 → 偏好设置 → 证据裁判」调高「每份报告的时长上限」或设成不限,再点一次',
|
||||
} as Record<string, string>,
|
||||
report: {
|
||||
max_cost_usd: '到报告撰写节点的「结论句裁判」调高金额上限(没写就是设置里「证据裁判」的默认值),也可以设成不限,再发起一次运行',
|
||||
daily_max_usd: '到「设置 → 偏好设置 → 证据裁判」调高「每日金额上限」或设成不限,再发起一次运行',
|
||||
max_claims: '到报告撰写节点的「结论句裁判」调高最多判几句(或设置里的默认值),也可以设成不限,再发起一次运行',
|
||||
timeout_s: '到报告撰写节点的「结论句裁判」调高时长上限(或设置里的默认值),也可以设成不限,再发起一次运行',
|
||||
} as Record<string, string>,
|
||||
},
|
||||
failed: (why: string) => `没判成:${why}`,
|
||||
oldBackend: '这个后端还不支持按需裁判',
|
||||
notFound: '报告里没有这一句',
|
||||
formalOnly: '正式运行的裁判在报告撰写节点里当场完成,不能按需追加',
|
||||
rewritten: '这句是按裁判的意见改写过的(改写一次)',
|
||||
rewriteFrom: '交回改写的原句',
|
||||
rewriteRejected: (reason: string) => `这句交回写作者改写过一次,改写稿没有采用:${reason}`,
|
||||
/**
|
||||
* 横幅上结论句那一段之外另起的「没挂依据的结论句 N」:开了裁判的文档里,没挂依据的句子按判定数(或预筛
|
||||
* 放掉了不数),出具却照样按没挂依据计缺口——悬停时说清这两件事不冲突
|
||||
*/
|
||||
uncitedBesides: '没写依据([[see:]])的结论句:出具照样计入缺口。模型判过的也算在里面——判定是模型的解释,代替不了依据',
|
||||
/** 句末徽标的 aria-label:「结论句「增长主要来自新客首单」,模型判断:证据不支持,封存后追加」 */
|
||||
badgeLabel: (sentence: string, state: string, postSeal: boolean) =>
|
||||
`结论句「${sentence}」,${state}${postSeal ? ',封存后追加' : ''}`,
|
||||
} as const
|
||||
|
||||
/**
|
||||
* 报告撰写节点的 judge 子配置(claims 为 judge 时生效):检查器、发布前修复的预览(「结论句裁判 · 金额上限」)
|
||||
* 共用这份叫法。键同后端 schema.JUDGE_KEYS
|
||||
*/
|
||||
export const JUDGE_FIELD_LABEL: Record<string, string> = {
|
||||
provider: '裁判模型 · 接入',
|
||||
model: '裁判模型',
|
||||
max_claims: '最多判几句',
|
||||
max_cost_usd: '金额上限(美元)',
|
||||
timeout_s: '时长上限(秒)',
|
||||
rewrite_once: '证据不支持的句子交回改写一次',
|
||||
on_unsupported: '证据不支持时',
|
||||
}
|
||||
/** judge.on_unsupported:正式运行里证据不支持的结论句怎么判档(探索运行只标注) */
|
||||
export const JUDGE_ON_UNSUPPORTED_LABEL: Record<string, string> = {
|
||||
degrade: '出具降档',
|
||||
withhold: '不予出具',
|
||||
}
|
||||
|
||||
/** 设置页「证据裁判」一组(后端 engine/judge.py 的 JUDGE_DEFAULTS) */
|
||||
export const JUDGE_SETTING_TEXT = {
|
||||
label: '证据裁判',
|
||||
hint: '报告里的结论句(「增长主要来自新客首单」这类)由另一个模型按证据逐句判断:正式运行在报告撰写节点里当场判,探索运行点开哪句才判哪句。判断是模型给的,不是系统核对,界面上一律标「非确定」。',
|
||||
provider: '裁判模型 · 接入',
|
||||
model: '裁判模型 · 模型',
|
||||
/** 接入留空、模型也留空:后端依次用 Copilot 的模型、默认接入(judge_model_spec)。只有这时才叫「跟随 Copilot」 */
|
||||
providerDefault: '跟随 Copilot 的模型',
|
||||
/** 接入留空、模型填了:这一级写了就整组用这一级,后端按模型名找接入——不再跟随 Copilot */
|
||||
providerFromModel: '按模型名找接入',
|
||||
modelDefault: '留空:用接入的默认模型',
|
||||
modelFollow: '留空:跟随 Copilot 的模型',
|
||||
differ: '建议和写报告的模型不同:同一个模型审自己写的,写错的地方它多半也看不出来',
|
||||
limits: '上限(每一项都可以设成不限)',
|
||||
reportClaims: '每份报告最多判几句',
|
||||
reportCost: '每份报告的金额上限(美元)',
|
||||
reportTimeout: '每份报告的时长上限(秒)',
|
||||
clickCost: '每次点击的金额上限(美元)',
|
||||
daily: '每日金额上限(美元)',
|
||||
unlimited: '不限',
|
||||
nodeWins: '报告撰写节点的「结论句裁判」里写了的上限以节点为准',
|
||||
spend: (usd: string, calls: number) => `今天已花 $${usd}(${formatNumber(calls)} 次调用)`,
|
||||
unpriced: (n: number) => `另有 ${formatNumber(n)} 次调用估不出金额(模型不在价格目录里),没算进去`,
|
||||
spendNone: '今天还没有裁判调用',
|
||||
} as const
|
||||
|
||||
/**
|
||||
* 只填了裁判模型、接入留空时实际用哪个接入(后端 judge_model_spec:哪一级写了就整组用哪一级,不跨级拼;
|
||||
* 再由 resolve_provider 按模型名找接入)。scope:设置页(上一级是 Copilot 的模型)还是报告撰写节点(上一级是设置)。
|
||||
* found:按模型名找到的接入;fallback:认不出时后端去调的默认接入
|
||||
*/
|
||||
export function judgeByModelText(
|
||||
scope: 'settings' | 'node', model: string, found: { name: string; enabled: boolean } | null | undefined,
|
||||
fallback: string | null | undefined,
|
||||
): string {
|
||||
const follow = scope === 'settings' ? '「跟随 Copilot」只在接入和模型都留空时生效'
|
||||
: '接入和模型都没写时才跟随设置里的「证据裁判模型」'
|
||||
if (found && !found.enabled) {
|
||||
return `只填了模型:「${model}」属于已停用的接入「${found.name}」,裁判调用会失败、结论句都记为未裁判;启用它或选别的接入`
|
||||
}
|
||||
if (found) return `只填了模型:按模型名用接入「${found.name}」。${follow}`
|
||||
return `只填了模型:没有哪个接入的模型清单里有「${model}」,会拿它去调默认接入${fallback ? `「${fallback}」` : ''},`
|
||||
+ `调不通时结论句都记为未裁判;不是这家的模型请选上接入。${follow}`
|
||||
}
|
||||
|
||||
/**
|
||||
* 某项上限设成不限时写明它还受什么约束——不要悄悄生效。别的上限也不限时照实少说几样,全不限时
|
||||
* 说到底只受调用次数(结论句的多少)约束。set:各项眼下是不是有上限
|
||||
*/
|
||||
export function judgeUnlimitedText(
|
||||
key: 'claims' | 'cost' | 'timeout' | 'click' | 'daily',
|
||||
set: { claims: boolean; cost: boolean; timeout: boolean; click: boolean; daily: boolean },
|
||||
): string {
|
||||
const list = (items: [boolean, string][]) => items.filter(([on]) => on).map(([, t]) => t)
|
||||
switch (key) {
|
||||
case 'claims': return '不设上限,句数只受报告里结论句多少约束'
|
||||
case 'timeout': return '不设上限,时长只受模型接口自身的超时约束'
|
||||
case 'cost': {
|
||||
const by = list([[set.claims, '句数上限'], [set.timeout, '时长上限'], [set.daily, '每日上限']])
|
||||
return by.length ? `不设上限,费用只受${by.join('、')}约束` : '不设上限,费用只受报告里结论句的多少约束(句数、时长、每日也都不限)'
|
||||
}
|
||||
case 'click': {
|
||||
const by = list([[set.claims, '句数上限'], [set.timeout, '时长上限'], [set.daily, '每日上限']])
|
||||
return by.length ? `不设上限,每次点击只受${by.join('、')}约束` : '不设上限,每次点击只受点开的句数约束(句数、时长、每日也都不限)'
|
||||
}
|
||||
case 'daily': {
|
||||
const by = list([[set.cost, '每份报告的金额上限'], [set.click, '每次点击的金额上限']])
|
||||
return by.length ? `不设上限,每日费用只受${by.join('和')}约束` : '不设上限,每日费用只受模型调用次数约束(每份报告、每次点击也都不限)'
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* 记录页「证据」页签:报告、常驻面板、审计表。审计表按状态分组,四组的说法和片段状态同一套
|
||||
*/
|
||||
|
||||
Reference in New Issue
Block a user