From 6e30e2fcd6839757aa713a8975541c0079048d90 Mon Sep 17 00:00:00 2001 From: ThearchyHelios Date: Tue, 6 Oct 2026 09:20:29 +0800 Subject: [PATCH] =?UTF-8?q?=E8=AF=81=E6=8D=AE=E9=9D=A2=E6=9D=BF=E5=A4=8D?= =?UTF-8?q?=E6=A0=B8=E6=95=B4=E6=94=B9=EF=BC=9A=E5=8F=8D=E6=96=B9=E5=AE=A1?= =?UTF-8?q?=E7=A8=BF=E7=9A=84=E6=A6=82=E5=86=B5=E7=85=A7=E5=AE=9E=E3=80=81?= =?UTF-8?q?=E4=B8=8D=E9=A2=84=E5=91=8A=E5=87=BA=E5=85=B7=EF=BC=8C=E7=82=B9?= =?UTF-8?q?=E5=8F=A5=E4=B8=AD=E7=9A=84=E6=95=B0=E5=AD=97=E4=B9=9F=E7=9C=8B?= =?UTF-8?q?=E5=BE=97=E5=88=B0=EF=BC=9B=E5=8F=8C=E7=9B=B2=E5=A4=8D=E7=AE=97?= =?UTF-8?q?=E5=86=99=E6=98=8E=E6=8A=A5=E5=91=8A=E9=87=8C=E7=9A=84=E6=95=B0?= =?UTF-8?q?=E6=B2=A1=E6=8D=A2=E3=80=81=E5=B7=B2=E8=AE=B0=E4=B8=BA=E7=BC=BA?= =?UTF-8?q?=E5=8F=A3?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 反方审稿:那一块复用审批卡的展示(只读 ChallengeSummary 的导出),概况改用服务端给的整份报告的计数,不再凭这一句拼出「被推翻 1 句、其余 0 句」;不给它运行 id,就不再写「出具会降档」「本次正式运行将降档出具」这类审批时的将来时预告——运行已经结束,降没 降档看报告的出具横幅(驳回、不予出具、反方审稿不在成果节点上游时那句预告都是错的)。没给计数的判断不画。片段面板(点句中的 数字)同样画这一块:没开结论句裁判的报告没有句末徽标,以前被审过的句子在正文里无处可看。 双盲复算一行:状态词换成时间线上的说法(与盲算结果一致 / 不一致、未能完成),和同一节里按代入式重算的「复算一致 / 无法复算」 分开;标签悬停、读屏说明是什么(另起一路独立计算)。审核人的选择照审批卡的选项原名写(审核人选择「采用盲算的结果」),选了 盲算、两边都不对、没选的写明「报告中的数仍取自原流程,这个指标已记为出具缺口」(探索运行写缺口),未能完成的同样写已记为缺口; 跳过的原因按指标说(节点或设置中已关闭 / 这个指标没有来自查询的输入 / 不在复算范围内),认不出的原因代码不写进句子,标签不再 说两遍「双盲复算」。 遮没遮核对不了的输入(快照读不出来)和遮罩列一样写「已遮罩」,悬停、输入来源里写明原因,不算进底下的遮罩列。 check-evidence:六种状态的文字和颜色、标签说明、和「复算」分得开、第二轮的几种跳过原因和「两边都不对」;正式运行写出具缺口; 整句面板的计数等于服务端给的、没有出具预告的几行、被削弱的那一句不出现「被推翻 0 句」;片段面板、没开裁判的报告点数字看得到 判断;没给计数的不画;核对不了的输入。把计数改回拼的、给回运行 id、片段面板不画、去掉后果那句,对应各项变红。 --- frontend/src/lib/terms.ts | 22 ++++- frontend/src/run/EvidencePanel.tsx | 137 +++++++++++++++++--------- scripts/check-evidence.mjs | 150 +++++++++++++++++++++++++---- 3 files changed, 238 insertions(+), 71 deletions(-) diff --git a/frontend/src/lib/terms.ts b/frontend/src/lib/terms.ts index d5ff857c..acaf0b62 100644 --- a/frontend/src/lib/terms.ts +++ b/frontend/src/lib/terms.ts @@ -475,24 +475,36 @@ export const EVIDENCE_TEXT = { }, // ---- 期 4:核查状态。指标步骤上的双盲复算、取自遮罩列的输入(反方审稿的判断复用审批卡的 CHALLENGE_TEXT)---- + /** + * 指标步骤上的一行:「双盲复算:状态(盲算 值),审核人的选择。后果」。状态词和同一节里按代入式重算的「复算一致 / + * 无法复算」分开说(两件事),用时间线上的说法(与盲算结果一致 / 不一致);选项名照审批卡的 choices 原样加引号。 + * 运行已经结束:后果只说节点已经做了什么(记为缺口),降没降档看报告的出具横幅,这里不预告 + */ dualCheck: { label: '双盲复算', - status: { agreed: '一致', disagreed: '不一致', unchecked: '无法复算', skipped: '已跳过' } as Record, + status: { agreed: '与盲算结果一致', disagreed: '与盲算结果不一致', unchecked: '未能完成', skipped: '已跳过' } as Record, /** 服务端给了一个界面不认识的状态:照写原值,不归到哪一类 */ unknown: (status: string) => `未知状态「${status}」`, /** 盲算的值,服务端按口径卡的格式渲染好的 */ blind: (value: string) => `盲算 ${value}`, - choice: { a: '审核人采用原流程的结果', b: '审核人采用盲算结果', neither: '审核人判断两边都不对' } as Record, + /** choice 是审批卡上那个选项的原名(DUAL_CHECK_TEXT.approval.choices) */ + choice: (choice: string) => `审核人选择「${choice}」`, noChoice: '审核人没有作出选择', - /** 跳过的原因:节点直通(设置或节点里关了、口径卡上没有来自查询的输入),或者这个指标不在复算范围里 */ + /** 采用盲算、两边都不对、没选:报告里的数没换,节点把它记成了缺口。正式运行叫出具缺口,探索运行不出具 */ + kept: (formal: boolean) => `报告中的数仍取自原流程,这个指标已记为${formal ? '出具缺口' : '缺口'}`, + /** 未能完成:同样记了缺口 */ + gap: (formal: boolean) => `这个指标已记为${formal ? '出具缺口' : '缺口'}`, + /** 跳过的原因,按这个指标说;认不出的原因代码不写 */ skip: { - disabled: '双盲复算已关闭', - no_inputs: '口径卡上没有来自查询的输入', + disabled: '节点或设置中已关闭', + no_inputs: '这个指标没有来自查询的输入', not_targeted: '这个指标不在复算范围内', } as Record, }, /** 指标的输入取自数据源设置了遮罩的列:标签和代入式里不显示值 */ maskedInput: '取自设置了遮罩的列,不显示值', + /** 遮没遮核对不了(快照、取值链上的产出读不出来):原因是服务端写好的一句 */ + unverifiedInput: (why: string) => `${why},不显示值`, maskedMismatch: '与快照不一致;取自设置了遮罩的列,不显示值', } as const diff --git a/frontend/src/run/EvidencePanel.tsx b/frontend/src/run/EvidencePanel.tsx index 93fc94f6..2bc5574a 100644 --- a/frontend/src/run/EvidencePanel.tsx +++ b/frontend/src/run/EvidencePanel.tsx @@ -18,7 +18,10 @@ import { } from '../lib/evidence' import { humanizeError } from '../lib/errors' import { formatDateTime, formatNumber, NONE, shortId } from '../lib/format' -import { ABSENCE_CLAIM_TEXT, EVIDENCE_TEXT, JUDGE_TEXT, MERGE_TEXT, NODE_TYPE_LABEL, RUN_SQL_CHECK_TEXT, SQL_CHECK_TEXT, nodeTypeLabel } from '../lib/terms' +import { + ABSENCE_CLAIM_TEXT, DUAL_CHECK_TEXT, EVIDENCE_TEXT, JUDGE_TEXT, MERGE_TEXT, NODE_TYPE_LABEL, RUN_SQL_CHECK_TEXT, SQL_CHECK_TEXT, + nodeTypeLabel, +} from '../lib/terms' import { useCatalog } from '../store/catalog' import { askKey, segmentKey, useEvidence, useExplore, useVerdicts } from '../store/evidence' import type { @@ -72,9 +75,11 @@ import { * 多少。推演不是出具,不写运行记录、不改报告。勾选框只在推演时出现在查询步骤的结果窗口里,只有这个指标用到的行能勾, * 表格底下带着推演结果。 * - * 核查状态(期 4):指标步骤多一行双盲复算的结果(一致、不一致和审核人选了什么、无法复算、已跳过);点开一整句时 - * 多一块反方审稿的判断,复用审批卡上的展示(run/ChallengeSummary),能点开看反方的理由和查询。取自遮罩列的输入, - * 服务端已把值换成「已遮罩」,标签照样写「已遮罩」,输入来源里只说核对结果、不写值。 + * 核查状态(期 4):指标步骤多一行双盲复算的结果(一致、不一致和审核人选了什么、未能完成、已跳过),选了盲算、两边都 + * 不对、没选、未能完成的写明报告里的数没换、已记为缺口;句子被反方审过的(点开整句、点开句中的数字都一样)多一块反方 + * 审稿,复用审批卡上的展示(run/ChallengeSummary),概况是整份报告真实的计数,点开这一句看反方的理由和查询,不说出具会 + * 不会降档(运行已经结束,看报告的出具横幅)。取自遮罩列的输入,服务端已把值换成「已遮罩」,标签照样写「已遮罩」,输入 + * 来源里只说核对结果、不写值;遮没遮核对不了的(快照读不出来)同样不显示值,写明原因。 * * 四种摆法:side 从右侧弹出(宽屏),drawer 从底部抽出(窄屏),inline 在 360px 的 * 画布右栏里直接栏内展开,dock 放进页面给的一块常驻位置(记录页的「证据」页签)。 @@ -92,7 +97,7 @@ interface DualCheckState { choice?: string /** 一致、不一致时的盲算值,服务端按口径卡的格式渲染好的 */ blind_rendered?: string - /** 无法复算:原因(人话);已跳过:disabled / no_inputs / not_targeted */ + /** 未能完成(unchecked):原因(人话);已跳过:disabled / no_inputs / not_targeted(按这个指标说),认不出的代码不显示 */ reason?: string } @@ -102,10 +107,14 @@ interface UnitChallenge { node_id?: string /** 审稿记录(challenge_artifact)。服务端保存失败时为 null:判断照样有,理由和查询看不了 */ artifact?: string | null - /** 实际生效的处置:degrade 被推翻的计入出具缺口;flag 只标注 */ + /** 实际生效的处置:degrade 被推翻的计入出具缺口;flag 只标注;fail 节点报错、运行停了 */ on_refuted?: string /** 报告撰写节点的名字 */ report_label?: string + /** 整份报告的审稿计数(节点产出里的那一份),不是这一句的 */ + counts: ChallengeCounts + /** 没能反查的句数(期 4 起的产出才有) */ + unreviewed?: number } function dualCheckOf(step?: EvidenceStep): DualCheckState | null { @@ -113,10 +122,20 @@ function dualCheckOf(step?: EvidenceStep): DualCheckState | null { return raw && typeof raw === 'object' && typeof (raw as DualCheckState).status === 'string' ? raw as DualCheckState : null } +const CHALLENGE_VERDICTS = ['stands', 'weakened', 'refuted', 'inconclusive'] as const + +/** + * 句子上的反方审稿判断认不认得:判断是一个词,计数四项都是数。没有计数的不画——审批卡的展示缺了计数会按列出的这一句 + * 拼一个「被推翻 1 句、其余 0 句」,读着像整份报告的结果 + */ function challengeOf(unit: unknown): UnitChallenge | null { const raw = unit && typeof unit === 'object' ? (unit as { challenge?: unknown }).challenge : undefined - return raw && typeof raw === 'object' && typeof (raw as UnitChallenge).verdict === 'string' && (raw as UnitChallenge).verdict - ? raw as UnitChallenge : null + if (!raw || typeof raw !== 'object') return null + const c = raw as UnitChallenge + const counts = c.counts && typeof c.counts === 'object' ? c.counts : null + if (typeof c.verdict !== 'string' || !c.verdict || !counts + || !CHALLENGE_VERDICTS.every((v) => typeof counts[v] === 'number' && Number.isFinite(counts[v]))) return null + return c } /** 取自遮罩列的输入:服务端把值换成「已遮罩」,masked 写明是哪几列 */ @@ -125,6 +144,12 @@ function maskedOf(input: EvidenceInput): string[] { return Array.isArray(raw) ? raw.filter((c): c is string => typeof c === 'string' && !!c) : [] } +/** 遮没遮核对不了的输入(快照、取值链上的产出读不出来):值同样换成「已遮罩」,mask_unverified 是原因 */ +function unverifiedOf(input: EvidenceInput): string { + const raw = (input as EvidenceInput & { mask_unverified?: unknown }).mask_unverified + return typeof raw === 'string' ? raw : '' +} + export type PanelMode = 'side' | 'drawer' | 'inline' | 'dock' export type PanelView = { kind: 'seg'; id: string } | { kind: 'unit'; id: string } | { kind: 'violations' } @@ -392,6 +417,7 @@ function SegmentBody({ panelId, doc, artifact, runId, runClass, seg, unit, block const chainFailed = !runId ? EVIDENCE_TEXT.noRun : docIssue ? EVIDENCE_TEXT.chainForeign : slot?.status === 'error' ? EVIDENCE_TEXT.chainMissing : '' + const segChallenge = docIssue ? null : challengeOf(detail?.unit) return ( <> @@ -448,7 +474,7 @@ function SegmentBody({ panelId, doc, artifact, runId, runClass, seg, unit, block )} {isMetric && ( - + {/* 反方审稿对这一句的判断:点句中的数字也看得到(没开结论句裁判的报告没有句末徽标,这里常是唯一的入口)。 + 正文不是封存的那一份时不用:服务端认的是封存的那份文档 */} + {segChallenge && } + {host.onNode && (trace.producers.length > 0 || trace.consumers.length > 0) && ( // 画布右栏:这段证据经过的节点,点一下在画布上选中并对准 @@ -601,7 +631,7 @@ function ClaimBody({ doc, artifact, runId, runClass, unit, block }: { onDemand={foreign ? undefined : answered?.unit?.on_demand} answered={foreign ? undefined : answered?.unit?.verdict} pending={!!runId && !!first && (!slot || slot.status === 'loading')} /> - {challenge && } + {challenge && } {cites.length ? (
    @@ -629,30 +659,28 @@ function ClaimBody({ doc, artifact, runId, runClass, unit, block }: { ) } -const CHALLENGE_VERDICTS = ['stands', 'weakened', 'refuted', 'inconclusive'] as const - /** - * 反方审稿对这一句的判断(期 4)。复用审批卡上的展示(run/ChallengeSummary):只列这一句,点开看反方的理由和它执行的 - * 查询。判断是反方模型给的、不是系统核对,那一块自己写明;正式运行里被推翻、按降档处理的,同样写出具降档 + * 反方审稿对这一句的判断(期 4),整句面板、片段面板共用。复用审批卡上的展示(run/ChallengeSummary,只读它的导出): + * 那一块是报告级的——标题写报告名,概况是整份报告四种判断各几句(服务端给的真实计数,不凭这一句拼),条目只列这一句, + * 点开看反方的理由和它执行的查询,「显示全部」补出这份报告别的句子。判断是反方模型给的,那一块自己写明。 + * + * 不给运行 id:ChallengeSummary 只拿它查运行类别,好在审批卡上预告「出具会降档」。证据面板看的是已经结束的运行,降没 + * 降档、出没出具以报告的出具横幅(封存的出具判定)为准,这里再说一遍将来时的预告只会和横幅对不上(驳回了、不予出具、 + * 反方审稿不在成果节点上游……)。ChallengeSummary 取不到运行类别时一句和出具有关的话都不说。等它有了单句的展示 + * (只画这一句的判断和理由,不画报告级的标题、计数),换用那个 */ -function ChallengePart({ challenge, unit, report, runId }: { - challenge: UnitChallenge; unit: EvidenceUnit; report?: string; runId?: string -}) { - const reports = useMemo(() => { - const counts: ChallengeCounts = { stands: 0, weakened: 0, refuted: 0, inconclusive: 0 } - const known = CHALLENGE_VERDICTS.find((v) => v === challenge.verdict) - if (known) counts[known] = 1 - return [{ - node_id: report ?? '', label: challenge.report_label || report || '', - challenge: { - counts, items: [{ unit: unit.id, text: unitText(unit).trim(), verdict: challenge.verdict }], - artifact: challenge.artifact ?? null, on_refuted: challenge.on_refuted, - }, - }] - }, [challenge, unit, report]) +function ChallengePart({ challenge, unit, report }: { challenge: UnitChallenge; unit: EvidenceUnit; report?: string }) { + const reports = useMemo(() => [{ + node_id: report ?? '', label: challenge.report_label || report || '', + challenge: { + counts: challenge.counts, items: [{ unit: unit.id, text: unitText(unit).trim(), verdict: challenge.verdict }], + artifact: challenge.artifact ?? null, on_refuted: challenge.on_refuted, + ...(typeof challenge.unreviewed === 'number' ? { unreviewed: challenge.unreviewed } : {}), + } as ApprovalReport['challenge'], + }], [challenge, unit, report]) return (
    - +
    ) } @@ -1205,11 +1233,13 @@ function Sentence({ unit, active }: { unit: EvidenceUnit; active: string }) { } /** 指标步骤:名称、值、口径与版本(来源、升版处置)、原式、代入式(输入标签)、复算;可以展开数字推演 */ -function MetricPart({ step, entry, inputs, runId, seal, pending, failed, resolved, linkOf, workflowName, whatif, children }: { +function MetricPart({ step, entry, inputs, runId, runClass, seal, pending, failed, resolved, linkOf, workflowName, whatif, children }: { step?: EvidenceStep entry?: Record inputs: EvidenceInput[] runId?: string + /** 运行类别:双盲复算记的缺口,正式运行叫出具缺口 */ + runClass?: string /** 封存状态:逐项复核里「在不在封存范围内」只在封存完好时单独报 */ seal?: EvidenceSeal pending: boolean @@ -1282,7 +1312,7 @@ function MetricPart({ step, entry, inputs, runId, seal, pending, failed, resolve {upgrade && (

    {upgrade}

    )} - {dualCheck && } + {dualCheck && } {missing &&

    {EVIDENCE_TEXT.missingValue}

    } {incomplete && ( @@ -1339,29 +1369,41 @@ function MetricPart({ step, entry, inputs, runId, seal, pending, failed, resolve } /** - * 这个指标的双盲复算结果(期 4),一行:一致(带盲算值)、不一致(带盲算值和审核人选了什么)、无法复算(带原因)、 - * 已跳过(带原因)。结果都写成字,颜色只表达要不要多看一眼:一致用确定的绿(盲值是代码按原式代回算的、和原值比对的, - * 不是模型的判断);不一致而审核人采用了原流程用提醒色,采用盲算、两边都不对、没有选的用失败色(出具计入缺口); - * 无法复算用提醒色(同样计入缺口);跳过的中性色 + * 这个指标的双盲复算结果(期 4),一行:与盲算结果一致(带盲算值)、不一致(带盲算值和审核人选了什么)、未能完成(带原因)、 + * 已跳过(带原因)。状态词和同一节里按代入式重算的「复算」分开说:那是同一组输入再算一遍,这是另起一路独立取数, + * 标签上悬停、读屏都说得出是什么。 + * + * 选了盲算、两边都不对、没选、未能完成的,写明后果:报告里的数没换(仍取自原流程),节点把它记成了缺口——只看上面 + * 那个数,会以为已经换成了盲算值。运行已经结束,只说节点做了什么,降没降档看报告的出具横幅。 + * + * 结果都写成字,颜色只表达要不要多看一眼:一致用确定的绿(盲值是代码按原式代回算的、和原值比对的,不是模型的判断); + * 不一致而审核人采用了原流程用提醒色,采用盲算、两边都不对、没有选的用失败色(记了缺口);未能完成用提醒色(同样记了 + * 缺口);跳过的中性色。认不出的跳过原因不写原因代码 */ -function DualCheckLine({ check }: { check: DualCheckState }) { +function DualCheckLine({ check, formal }: { check: DualCheckState; formal: boolean }) { const T = EVIDENCE_TEXT.dualCheck const host = useEvidenceHost() const { status } = check const blind = (status === 'agreed' || status === 'disagreed') && check.blind_rendered ? T.blind(check.blind_rendered) : '' - const detail = status === 'disagreed' ? (check.choice ? T.choice[check.choice] ?? check.choice : T.noChoice) - : status === 'skipped' ? (check.reason ? T.skip[check.reason] ?? check.reason : '') + const picked = check.choice ? DUAL_CHECK_TEXT.approval.choices[check.choice as 'a' | 'b' | 'neither'] : undefined + const detail = status === 'disagreed' ? (picked ? T.choice(picked) : T.noChoice) + : status === 'skipped' ? (check.reason ? T.skip[check.reason] ?? '' : '') : status === 'unchecked' ? check.reason ?? '' : '' + const kept = status === 'disagreed' && check.choice !== 'a' + const after = kept ? T.kept(formal) : status === 'unchecked' ? T.gap(formal) : '' const color = status === 'agreed' ? 'var(--st-done)' : status === 'disagreed' ? (check.choice === 'a' ? 'var(--st-waiting)' : 'var(--st-failed)') : status === 'unchecked' ? 'var(--st-waiting)' : 'var(--text-dim)' return (

    - {T.label}: + + {T.label}({DUAL_CHECK_TEXT.description}): + {T.status[status] ?? T.unknown(String(status))} {blind && ({blind})} {detail && ,{detail}} + {after && 。{after}} {host.onNode && check.node_id && <> }

    ) @@ -1395,14 +1437,17 @@ function IntegrityList({ code, items }: { code: string; items: string[] }) { function InputChip({ input, link }: { input: EvidenceInput; link?: InputLink }) { const host = useEvidenceHost() const missing = input.status === 'missing' || input.value == null - // 取自遮罩列(期 4):服务端已把值换成「已遮罩」,这里照查询表格里遮罩格的样子写,读着不像一个真值 - const masked = !missing && maskedOf(input).length > 0 + // 取自遮罩列(期 4):服务端已把值换成「已遮罩」,这里照查询表格里遮罩格的样子写,读着不像一个真值。遮没遮核对不了的 + // (快照读不出来)一样不显示值,悬停说明原因 + const unverified = unverifiedOf(input) + const masked = !missing && (maskedOf(input).length > 0 || !!unverified) // Agent 交来、被截断切开的数组字段:对它计数、求和只算到了取回的那部分 const cut = !missing && input.truncated === true const node = input.node_id ? host.nodeLabel?.(input.node_id) || input.node_id : '' const via = input.via ? VIA_TEXT[input.via] ?? nodeTypeLabel(input.via) : '' const from = [node && `来自节点「${node}」`, via && `(${via})`, input.role && ` · ${ROLE_TEXT[input.role] ?? input.role}`, - cut && ` · ${EVIDENCE_TEXT.inputTruncated}`, masked && ` · ${EVIDENCE_TEXT.maskedInput}`].filter(Boolean).join('') + cut && ` · ${EVIDENCE_TEXT.inputTruncated}`, + masked && ` · ${unverified ? EVIDENCE_TEXT.unverifiedInput(unverified) : EVIDENCE_TEXT.maskedInput}`].filter(Boolean).join('') const style = missing || cut ? { color: 'var(--st-waiting)', borderColor: 'var(--st-waiting)' } : { color: 'var(--text)' } const shown = masked ? EVIDENCE_TEXT.masked : valueText(input.value) const body = ( @@ -1453,7 +1498,7 @@ function SourcesPart({ inputs, linkOf }: { inputs: EvidenceInput[]; linkOf: (inp
      {inputs.map((inp, i) => { - const said = maskedOf(inp).length ? maskedSource(inp) : inputSource(inp) + const said = maskedOf(inp).length || unverifiedOf(inp) ? maskedSource(inp) : inputSource(inp) const tone = TONE[said.tone] const link = linkOf(inp) // 查询编号写报告目录里的全局编号(接口补的 query、对上的查询步骤);agent 字段自己的 ref 是 @@ -1494,9 +1539,11 @@ function SourcesPart({ inputs, linkOf }: { inputs: EvidenceInput[]; linkOf: (inp /** * 取自遮罩列的输入在「输入来源」里怎么说(期 4):核对结果照说,只是不写值——核对不一致时 inputSource 会把两边的值都写 - * 出来。另附一句为什么不显示值 + * 出来。另附一句为什么不显示值。遮没遮核对不了的(快照读不出来)直接说原因:卡上记的核对结果对着的那份快照已经读不出来了 */ function maskedSource(inp: EvidenceInput): { tone: SourceTone; text: string; reason?: string } { + const unverified = unverifiedOf(inp) + if (unverified) return { tone: 'warn', text: EVIDENCE_TEXT.unverifiedInput(unverified) } if (inp.status === 'mismatch') return { tone: 'warn', text: EVIDENCE_TEXT.maskedMismatch } const said = inputSource(inp) return { ...said, reason: said.reason ? `${said.reason};${EVIDENCE_TEXT.maskedInput}` : EVIDENCE_TEXT.maskedInput } diff --git a/scripts/check-evidence.mjs b/scripts/check-evidence.mjs index 698b3b92..f38bee61 100644 --- a/scripts/check-evidence.mjs +++ b/scripts/check-evidence.mjs @@ -3293,7 +3293,8 @@ await section('copy-r2','按后端原文匹配的地方:后端现在的原文 /** * 双盲复算的几种状态,按片段挂到一期夹具的指标步骤上。形状照服务端(api/evidence.py 的 _dual_check_of):一致、不一致 - * (审核人采用原流程 / 采用盲算 / 没选)、无法复算(带原因)、已跳过(带原因代码) + * (审核人采用原流程 / 采用盲算 / 没选)、未能完成(带原因)、已跳过(带原因代码)。DUAL_MORE 是第二轮:跳过的另几种原因 + * (关闭了、没有来自查询的输入、认不出的代码)和「两边都不对」 */ const DUAL = { s6: { status: 'agreed', node_id: 'dual', blind_rendered: '45,678.5元' }, @@ -3303,9 +3304,22 @@ const DUAL = { s12: { status: 'unchecked', node_id: 'dual', reason: '盲算没有交出可用的数:查询全部失败' }, s23: { status: 'skipped', node_id: 'dual', reason: 'not_targeted' }, } +const DUAL_MORE = { + s23: { status: 'skipped', node_id: 'dual', reason: 'disabled' }, + s49: { status: 'skipped', node_id: 'dual', reason: 'no_inputs' }, + s45: { status: 'skipped', node_id: 'dual', reason: 'no_such_reason' }, + s10: { status: 'disagreed', node_id: 'dual', choice: 'neither', blind_rendered: '1,301单' }, +} +/** 双盲复算那一行标签上的说明(DUAL_CHECK_TEXT.description):悬停、读屏都说得出是什么 */ +const DUAL_ABOUT = '另起一路独立计算,与原结果逐项比对' /** 虚构的反方审稿记录(challenge_artifact):整句面板里点开那一句,按它取理由 */ const CH_ART = 'c4'.repeat(32) const CH_RATIONALE = '扣除退款后新客首单只占增长的一小部分,老客复购反而下降。' +/** 整份报告的审稿计数(服务端从节点产出里取):审了 6 句,经受住 3、被削弱 1、被推翻 2 */ +const CH_COUNTS = { stands: 3, weakened: 1, refuted: 2, inconclusive: 0 } +/** 出具预告的几行(审批卡上说「出具会降档」那一套):证据面板看的是已经结束的运行,一行都不该有 */ +const ISSUANCE_LINES = '[data-challenge-degrade], [data-challenge-degrade-note], [data-challenge-degrade-off], ' + + '[data-challenge-flag], [data-challenge-runclass]' /** WCAG 对比度:rgb()/rgba()/color(srgb …) 都认 */ function contrastOf(fg, bg) { @@ -3325,7 +3339,7 @@ function contrastOf(fg, bg) { return (a + 0.05) / (b + 0.05) } -await section('verify', '期 4:指标步骤的双盲复算、取自遮罩列的输入、整句的反方审稿判断', async () => { +await section('verify', '期 4:指标步骤的双盲复算、取自遮罩列的输入、反方审稿的判断', async () => { // ---- 指标步骤多一行双盲复算的结果;没复核过的不画 const r = await probe((id, body) => { const metric = body.chain?.find((st) => st.step === 'metric') @@ -3338,29 +3352,48 @@ await section('verify', '期 4:指标步骤的双盲复算、取自遮罩列 } body.redacted = { columns: ['order_cnt'], note: '这些列在数据源中设置了遮罩' } } + if (id === 's23' && metric) { + // 遮没遮核对不了(快照读不出来):同样不显示值,原因是服务端写好的一句,不进遮罩列 + for (const st of body.chain) { + if (st.step === 'input' && st.path === 'vars.kpi.refund_cnt') { + Object.assign(st, { value: '已遮罩', mask_unverified: '查询快照无法读取,核对不了这一格是否取自设置了遮罩的列' }) + } + } + } return body }) const pg = r.page const p = panel(pg) const line = p.locator('[data-ev-dual-check]') - for (const [id, status, words, token] of [ - ['s6', 'agreed', ['双盲复算:', '一致', '盲算 45,678.5元'], '--st-done'], - ['s8', 'disagreed', ['不一致', '盲算 9.1%', '审核人采用原流程的结果'], '--st-waiting'], - ['s10', 'disagreed', ['不一致', '盲算 1,301单', '审核人采用盲算结果'], '--st-failed'], - ['s45', 'disagreed', ['不一致', '盲算 45,900.0元', '审核人没有作出选择'], '--st-failed'], - ['s12', 'unchecked', ['无法复算', '查询全部失败'], '--st-waiting'], - ['s23', 'skipped', ['已跳过', '这个指标不在复算范围内'], '--text-dim'], + const lineText = async () => (await line.innerText().catch(() => '')).replace(/\s+/g, ' ') + for (const [id, status, words, token, none = []] of [ + ['s6', 'agreed', ['双盲复算', '与盲算结果一致', '盲算 45,678.5元'], '--st-done', ['缺口']], + ['s8', 'disagreed', ['与盲算结果不一致', '盲算 9.1%', '审核人选择「采用原流程的结果」'], '--st-waiting', ['缺口']], + ['s10', 'disagreed', ['与盲算结果不一致', '盲算 1,301单', '审核人选择「采用盲算的结果」', + '报告中的数仍取自原流程,这个指标已记为缺口'], '--st-failed', ['审核人采用盲算结果', '出具缺口', '降档']], + ['s45', 'disagreed', ['与盲算结果不一致', '盲算 45,900.0元', '审核人没有作出选择', '报告中的数仍取自原流程'], '--st-failed'], + ['s12', 'unchecked', ['未能完成', '查询全部失败', '这个指标已记为缺口'], '--st-waiting', ['无法复算']], + ['s23', 'skipped', ['已跳过', '这个指标不在复算范围内'], '--text-dim', ['缺口']], ]) { await openSeg(pg, id, '[data-ev-dual-check]') - const text = (await line.innerText().catch(() => '')).replace(/\s+/g, ' ') + const text = await lineText() const got = await line.getAttribute('data-ev-dual-check').catch(() => null) const color = await line.locator('span.font-medium').evaluate((el) => getComputedStyle(el).color).catch(() => '') check(`双盲复算 ${status}(${words.slice(1).join('、') || words[0]}):指标步骤写成一行,颜色按要不要多看一眼`, - got === status && words.every((w) => text.includes(w)) && color === await tokenColor(pg, 'color', `var(${token})`), - `${got}:${text}(${color})`) + got === status && words.every((w) => text.includes(w)) && !none.some((w) => text.includes(w)) + && color === await tokenColor(pg, 'color', `var(${token})`), `${got}:${text}(${color})`) await pg.keyboard.press('Escape') await pg.waitForTimeout(80) } + // 「双盲复算」和同一节里按代入式重算的「复算」是两件事:标签悬停、读屏都说明是什么,状态词也不同 + await openSeg(pg, 's12', '[data-ev-dual-check]') + const label = p.locator('[data-ev-dual-check-label]') + const recompute = await p.locator('[data-ev-recompute]').innerText().catch(() => '') + check('双盲复算的标签悬停写明是什么(另起一路独立计算),读屏同样读得到', await label.getAttribute('title') === DUAL_ABOUT + && (await label.locator('.sr-only').innerText().catch(() => '')).includes(DUAL_ABOUT)) + check('双盲复算的状态词和「复算」那一行分得开:未能完成 ≠ 无法复算', (await lineText()).includes('未能完成') + && !(await lineText()).includes('无法复算') && !!recompute, `${await lineText()} | ${recompute}`) + await pg.keyboard.press('Escape') for (const theme of ['light', 'dark']) { await pg.evaluate((t) => document.documentElement.setAttribute('data-theme', t), theme) let worst = Infinity @@ -3374,7 +3407,8 @@ await section('verify', '期 4:指标步骤的双盲复算、取自遮罩列 } return getComputedStyle(document.body).backgroundColor } - return [...el.querySelectorAll('span')].map((sp) => [getComputedStyle(sp).color, back(sp)]) + return [...el.querySelectorAll('span')].filter((sp) => !sp.classList.contains('sr-only')) + .map((sp) => [getComputedStyle(sp).color, back(sp)]) }).catch(() => []) for (const [fg, bg] of pair) worst = Math.min(worst, contrastOf(fg, bg)) await pg.keyboard.press('Escape') @@ -3401,9 +3435,41 @@ await section('verify', '期 4:指标步骤的双盲复算、取自遮罩列 && await p.locator('[data-ev-input="vars.kpi.gmv"]').getAttribute('data-ev-input-masked') === null) check('面板底下写明遮罩的列和遮罩不是安全边界', (await p.locator('[data-ev-mask-note]').innerText().catch(() => '')).includes('order_cnt')) await pg.keyboard.press('Escape') + // 遮没遮核对不了:同样写「已遮罩」,悬停说明原因(快照读不出来),不算进遮罩列 + await openSeg(pg, 's23', '[data-ev-substituted]') + const unsure = p.locator('[data-ev-input="vars.kpi.refund_cnt"]') + const unsureTitle = await unsure.getAttribute('title').catch(() => '') + check('遮没遮核对不了的输入:标签写「已遮罩」,悬停写明快照读不出来、不显示值', + await unsure.getAttribute('data-ev-input-masked') === '' && (await unsure.innerText()).includes('已遮罩') + && (unsureTitle ?? '').includes('查询快照无法读取,核对不了这一格是否取自设置了遮罩的列,不显示值'), unsureTitle ?? '') + check('……面板底下的遮罩说明不把它算进遮罩列', await p.locator('[data-ev-mask-note]').count() === 0) + await pg.keyboard.press('Escape') check('核查状态那几页没有运行时报错', r.errors.length === 0, r.errors.join(' | ')) await r.ctx.close() + // ---- 第二轮:跳过的另几种原因、「两边都不对」。原因代码认不出来的不写进句子;关闭了的不说两遍「双盲复算」 + const r2 = await probe((id, body) => { + const metric = body.chain?.find((st) => st.step === 'metric') + if (metric && DUAL_MORE[id]) metric.dual_check = DUAL_MORE[id] + return body + }) + const line2 = panel(r2.page).locator('[data-ev-dual-check]') + for (const [id, words, none] of [ + ['s23', ['已跳过', '节点或设置中已关闭'], ['双盲复算已关闭']], + ['s49', ['已跳过', '这个指标没有来自查询的输入'], ['口径卡上没有']], + ['s45', ['已跳过'], ['no_such_reason', ',']], + ['s10', ['审核人选择「两边都不对」', '报告中的数仍取自原流程,这个指标已记为缺口'], ['审核人判断']], + ]) { + await openSeg(r2.page, id, '[data-ev-dual-check]') + const text = (await line2.innerText().catch(() => '')).replace(/\s+/g, ' ').replace(`(${DUAL_ABOUT})`, '') + check(`双盲复算 ${id}:${words.join('、')}${none.length ? `,不写「${none.join('」「')}」` : ''}`, + words.every((w) => text.includes(w)) && !none.some((w) => text.includes(w)), text) + await r2.page.keyboard.press('Escape') + await r2.page.waitForTimeout(80) + } + check('第二轮没有运行时报错', r2.errors.length === 0, r2.errors.join(' | ')) + await r2.ctx.close() + // ---- 输入来源:遮罩列的 Agent 字段核对不一致时只说不一致,不写两边的值 const q = await probeQ((id, body) => { if (body.segment?.text !== '37.0元') return body @@ -3423,11 +3489,25 @@ await section('verify', '期 4:指标步骤的双盲复算、取自遮罩列 check('输入来源:没遮罩的字段照旧', verified.includes('与快照一致') && !verified.includes('遮罩'), verified.replace(/\s+/g, ' ')) await q.ctx.close() - // ---- 整句面板:反方审稿的判断,复用审批卡的展示,点开看理由;没审到的句子不画 + // ---- 反方审稿:整句面板、片段面板都看得到这一句的判断。复用审批卡的展示,概况是整份报告的真实计数,不预告出具 const u = fxj.formal.units - const challenge = { verdict: 'refuted', node_id: 'chal', artifact: CH_ART, on_refuted: 'degrade', report_label: '写周报' } + const challenge = (verdict) => ({ verdict, node_id: 'chal', artifact: CH_ART, on_refuted: 'degrade', report_label: '写周报', + counts: CH_COUNTS }) const segPatch = (jset, body) => { - if (jset === fxj.formal && body.unit?.id === u.bad) body.unit.challenge = challenge + if (jset === fxj.formal && body.unit?.id === u.bad) body.unit.challenge = challenge('refuted') + if (jset === fxj.formal && body.unit?.id === u.ok) { + body.unit.challenge = challenge('weakened') + // 正式运行里的一个指标:双盲复算不一致、审核人采用盲算。记的是出具缺口 + if (body.segment?.id === 's6') { + body.chain = [{ step: 'metric', metric: 'gmv', name: '销售额', value: 45678.5, rendered: '45,678.5', unit: '元', + expression: 'vars.kpi.gmv', substituted: '45678.5', recompute_ok: true, + dual_check: { status: 'disagreed', node_id: 'dual', choice: 'b', blind_rendered: '45,900.0元' } }] + } + } + // 计数缺了(格式不对):不画,免得审批卡的展示按这一句拼一个「被推翻 1 句、其余 0 句」 + if (jset === fxj.formal && body.unit?.id === u.limit) body.unit.challenge = { verdict: 'refuted', node_id: 'chal' } + // 没开结论句裁判的报告:没有句末徽标,点句中的数字也要看得到 + if (jset === fxj.plain && body.unit?.id === 'u3') body.unit.challenge = challenge('refuted') return body } for (const [w, h] of [[1280, 1000], [390, 844]]) { @@ -3443,23 +3523,51 @@ await section('verify', '期 4:指标步骤的双盲复算、取自遮罩列 }) const cp = panel(c.page) const block = cp.locator('[data-ev-challenge]') + const blockText = async () => (await block.innerText().catch(() => '')).replace(/\s+/g, ' ') await badge(c.page, J, u.bad).click() await c.page.waitForSelector('[data-evidence-panel] [data-ev-challenge] [data-challenge-item]', { timeout: 4000 }).catch(() => {}) - const text = (await block.innerText().catch(() => '')).replace(/\s+/g, ' ') + const text = await blockText() if (w === 1280) { - check('整句面板:反方审稿的判断(被推翻)挂在这一句下,写明是哪份报告的反方审稿', await block.getAttribute('data-ev-challenge') === 'refuted' + check('整句面板:反方审稿的判断(被推翻)挂在这一句下,写明是哪份报告的审稿', await block.getAttribute('data-ev-challenge', { timeout: 3000 }).catch(() => null) === 'refuted' && text.includes('报告「写周报」的反方审稿') && text.includes('被推翻') && text.includes('新客首单'), text) + check('……概况是整份报告的真实计数(服务端给的),不凭这一句拼', text.includes('经受住 3 句') && text.includes('被削弱 1 句') + && text.includes('被推翻 2 句') && text.includes('无法判断 0 句') && await block.locator('[data-challenge-more="5"]').count() === 1, text) + check('……运行已经结束:不预告「出具会降档」,降没降档看报告的出具横幅', await block.locator(ISSUANCE_LINES).count() === 0 + && !text.includes('降档'), text) check('……判断由反方模型给出,并非系统核对', text.includes('并非系统核对'), text) - check('……正式运行、按降档处理:写明出具会降档', await block.locator('[data-challenge-degrade]').first() - .waitFor({ timeout: 3000 }).then(() => true, () => false)) await block.locator('[data-challenge-toggle]').click() await c.page.waitForSelector('[data-evidence-panel] [data-challenge-detail-state="ok"]', { timeout: 4000 }).catch(() => {}) const why = await block.locator('[data-challenge-rationale]').innerText().catch(() => '') check('……点开看得到反方的理由(按审稿记录取)', why.includes(CH_RATIONALE) && artifactHits.length === 1, why) + // 被削弱的那一句:概况照样是整份报告的数,不出现凭这一句拼的「被推翻 0 句」 await badge(c.page, J, u.ok).click() - await c.page.waitForSelector('[data-evidence-panel] [data-ev-judge="supported"]', { timeout: 4000 }).catch(() => {}) + await c.page.waitForSelector('[data-evidence-panel] [data-ev-challenge="weakened"]', { timeout: 4000 }).catch(() => {}) + const weak = await blockText() + check('被削弱的那一句:概况写整份报告的计数(被推翻 2 句),不写凭这一句拼的「被推翻 0 句」', weak.includes('被推翻 2 句') + && !weak.includes('被推翻 0 句') && !weak.includes('被削弱 1 句 · 被推翻 0 句'), weak) + // 片段面板:点这一句里的数字,同样看得到判断;正式运行里双盲复算记的是出具缺口 + await c.page.locator(`${J} [data-seg="s6"]`).click() + await c.page.waitForSelector('[data-evidence-panel] [data-ev-challenge="weakened"]', { timeout: 4000 }).catch(() => {}) + check('片段面板:点句中的数字,看得到这一句的反方审稿判断', await block.getAttribute('data-ev-challenge', { timeout: 3000 }).catch(() => null) === 'weakened' + && (await blockText()).includes('被削弱'), await blockText()) + const dual = (await cp.locator('[data-ev-dual-check]').innerText().catch(() => '')).replace(/\s+/g, ' ') + check('……正式运行:审核人采用盲算的,写明报告中的数仍取自原流程、已记为出具缺口', + dual.includes('审核人选择「采用盲算的结果」') && dual.includes('报告中的数仍取自原流程,这个指标已记为出具缺口'), dual) + // 计数格式不对的:不画 + await badge(c.page, J, u.limit).click() + await c.page.waitForSelector('[data-evidence-panel] [data-ev-judge]', { timeout: 4000 }).catch(() => {}) + await c.page.waitForTimeout(200) + check('服务端没给计数的判断:不画(不拼一个只数这一句的概况)', await block.count() === 0) + await badge(c.page, J, u.partial).click() + await c.page.waitForSelector('[data-evidence-panel] [data-ev-judge="partial"]', { timeout: 4000 }).catch(() => {}) await c.page.waitForTimeout(200) check('没审到的句子:不画反方审稿', await block.count() === 0) + // 没开结论句裁判的报告:没有句末徽标,点句中的数字照样看得到判断 + await c.page.keyboard.press('Escape') + await c.page.locator(`${JP} [data-seg="s14"]`).click() + await c.page.waitForSelector('[data-evidence-panel] [data-ev-challenge]', { timeout: 4000 }).catch(() => {}) + check('没开结论句裁判的报告:点句中的数字看得到反方审稿判断', await block.getAttribute('data-ev-challenge', { timeout: 3000 }).catch(() => null) === 'refuted' + && (await blockText()).includes('退款 29 单'), await blockText()) } else { const wide = await c.page.evaluate(() => { const el = document.querySelector('[data-evidence-panel]')