mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-16 04:11:58 +00:00
M2 复核第 2 轮:报告自查按值认出正文里写着的遮罩值,只数个数的列不再判违规;遮没遮核对不了的输入写「无法核对」;整句面板挂的依据按证据图的标签写
- 自查按值认(engine/evidence.py 的 masked_values,report.py 的 _MaskedCells):写作目录里确定取自遮罩列的值出现在正文里——照抄成文字(姓名这类文字列数字核对管不到)、写成数字(换了写法的长号码组装时被拆成几个数字片段,按整句认)、经指标带出来([[m:phone_raw]] 的值就是号码)——记一条 masked_cell(by_value),不带值,交回写作者时附上值换成「已遮罩」的那一句。只收确定取自遮罩列的列、不收分档标签;运行输入里写着的值是发起运行的人自己填的,不算。只读数据源现在设了遮罩的快照,认引用时读过的不再读,没设遮罩的运行一份都不读 - 时间线:日志 report_masked_cell 多带 written(其中按值认出的几处),标题分「引用了…格子」「写进了…值」「引用、写进了…」;缺口、日志按两种分别说;违规清单、CSV 的叫法改成「写进了遮罩列的值」 - 只数个数的列(COUNT(*) FILTER (WHERE phone IS NULL)、SUM(phone IS NULL)、AVG(phone IS NOT NULL)、SUM(amount) FILTER (WHERE phone IS NOT NULL)):认遮罩列的那一套把 FILTER 条件、汇总里的真假条件当成值的来历,数据质量报告引用「手机号缺失的人数」在正式运行里判失败。自查认之前先改写(_counted:FILTER 同 WHERE 去掉,汇总里的真假条件改成 CASE WHEN … THEN 1 ELSE 0 END),不判违规;证据面板、推演照可验证报告的认法多遮(只影响展示),根上的改法在 masking 里 - 证据面板:遮没遮核对不了的输入(快照、取值链上的产出读不出来),值和代入式里写「无法核对」,不写「已遮罩」,数据源可能根本没设遮罩 - 整句面板「挂的依据」不再直接读文档目录里的「名称 = 渲染值」:按证据图的标签写(服务端已把用到遮罩列的指标值换成「已遮罩」),证据图没回来时指标只写名字 - on_demand:当场裁判过、文档里却压根没有这句的判定时,不说「原因见判定」 - 测试:合并查询自查的用例补上拼接、upper、WITH;推演对整行、下标不是字面量的一格说「用到了遮罩列」(顺着取值链认出来的,不是按值猜的);计数指标 cnt 的原值照给;SQL 认不准、只数个数的反例
This commit is contained in:
@@ -1377,12 +1377,14 @@ await section('报告核对 report.checked、口径卡的台账(可点击证
|
||||
&& !!rcAbsent?.detail?.includes('缺失断言') && !!rcAbsent?.detail?.includes('依据不足'), `${rcAbsent?.status} ${rcAbsent?.detail}`)
|
||||
})
|
||||
|
||||
await section('报告引用了取自遮罩列的格子(report_masked_cell):标题说几处、已标注,副标题点名引用,不写那几格的值', async () => {
|
||||
// 契约:data = {level: warn, code: report_masked_cell, message, count, refs, columns},重写后仍在、「违规处置」为标注时才发
|
||||
await section('报告写进了取自遮罩列的值(report_masked_cell):标题说几处、已标注,副标题点名引用,不写那几格的值', async () => {
|
||||
// 契约:data = {level: warn, code: report_masked_cell, message, count, refs, written, columns},重写后仍在、「违规处置」
|
||||
// 为标注时才发。written 是其中按值认出来的几处(正文里直接写着的、经指标带出来的,违规带 by_value)
|
||||
const E = (seq, type, node_id, data = {}) => ({ seq, type, node_id, ts: 1790000000 + seq, data })
|
||||
const reportPy = readFileSync(`${root}backend/app/engine/nodes/report.py`, 'utf8')
|
||||
check('后端发引用了遮罩列的警告,带着 count、refs、columns', reportPy.includes('code="report_masked_cell"')
|
||||
&& reportPy.includes('count=len(hits), refs=refs') && reportPy.includes('columns=list(dict.fromkeys('),
|
||||
check('后端发写进了遮罩列的值的警告,带着 count、refs、written、columns', reportPy.includes('code="report_masked_cell"')
|
||||
&& reportPy.includes('count=len(hits), refs=refs') && reportPy.includes('written=sum(')
|
||||
&& reportPy.includes('columns=list(dict.fromkeys('),
|
||||
'改了 report.py 的字段就同步改 decode.ts 的 explainLog 和这里的夹具')
|
||||
const MASKED = '报告引用了 2 处取自遮罩列的格子(「v:Q2.r0.tel」、「v:Q2.r1.tel」),已要求模型重写 1 次仍未改掉:'
|
||||
+ '数据源设置了遮罩的列不应写进报告。报告照常产出,这几处已标注,已记为缺口。请在报告撰写节点的指令中去掉对这些列的引用'
|
||||
@@ -1411,6 +1413,36 @@ await section('报告引用了取自遮罩列的格子(report_masked_cell)
|
||||
.find((s) => s.code === 'report_masked_cell')
|
||||
check('……缺字段时标题照样说人话,不出 undefined', bare?.title === '报告引用了取自遮罩列的格子,已标注'
|
||||
&& bare?.sub === undefined, `${bare?.title} / ${bare?.sub}`)
|
||||
// 按值认出来的:正文里直接写着号码、姓名,或者经指标带了出来([[m:phone_raw]])。标题不说「引用了格子」
|
||||
const titleOf = (data) => flatten(mod.decodeRun([E(1, 'log', 'w', { level: 'warn', code: 'report_masked_cell',
|
||||
message: '报告写进了遮罩列的值', ...data })])).find((s) => s.code === 'report_masked_cell')
|
||||
const onlyWritten = titleOf({ count: 1, written: 1, refs: [] })
|
||||
check('……全是正文里直接写着的:标题说写进了几处遮罩列中的值,没有引用可点名就不写副标题',
|
||||
onlyWritten?.title === '报告写进了 1 处设置了遮罩的列中的值,已标注' && onlyWritten?.sub === undefined,
|
||||
`${onlyWritten?.title} / ${onlyWritten?.sub}`)
|
||||
const viaMetric = titleOf({ count: 1, written: 1, refs: ['m:phone_raw'] })
|
||||
check('……经指标带出来的:副标题点名那处引用', viaMetric?.sub === '[[m:phone_raw]]', viaMetric?.sub)
|
||||
const both = titleOf({ count: 3, written: 1, refs: ['v:Q2.r0.tel', 'v:Q2.r1.tel'] })
|
||||
check('……两样都有:标题说引用、写进了几处', both?.title === '报告引用、写进了 3 处取自遮罩列的值,已标注', both?.title)
|
||||
})
|
||||
|
||||
await section('整句面板挂的依据:按证据图的标签写,不读文档目录里带值的标签(citeLabel)', async () => {
|
||||
const ev = await import(await load('/src/lib/evidence.ts'))
|
||||
const doc = { catalog: {
|
||||
'm:phone_raw': { kind: 'metric', name: '首位客户手机号', label: '首位客户手机号 = 19900000301' },
|
||||
Q1: { kind: 'query', label: 'db_query__shop · 3 行' },
|
||||
} }
|
||||
const graph = { evidence: [{ alias: 'm:phone_raw', report: 'write', label: '首位客户手机号 = 已遮罩' },
|
||||
{ alias: 'Q1', report: 'write', label: 'db_query__shop · 3 行' }] }
|
||||
check('证据图有这条依据:用证据图的标签(服务端遮过)', ev.citeLabel('m:phone_raw', doc, graph, 'write', true)
|
||||
=== '首位客户手机号 = 已遮罩')
|
||||
check('……证据图还没回来:指标只写名字,不写目录里的值', ev.citeLabel('m:phone_raw', doc, undefined, 'write', true)
|
||||
=== '首位客户手机号')
|
||||
check('……查询这类不带值的依据照目录写', ev.citeLabel('Q1', doc, undefined, 'write', true) === 'db_query__shop · 3 行')
|
||||
check('……证据图里是另一份报告的同名依据:不拿来用', ev.citeLabel('m:phone_raw', doc,
|
||||
{ evidence: [{ alias: 'm:phone_raw', report: 'other', label: '首位客户手机号 = 1' }] }, 'write', true) === '首位客户手机号')
|
||||
check('……没有运行(预览):照目录写', ev.citeLabel('m:phone_raw', doc, undefined, undefined, false)
|
||||
=== '首位客户手机号 = 19900000301')
|
||||
})
|
||||
|
||||
await section('工具门控 tool.gated(工具信任三档)', async () => {
|
||||
|
||||
@@ -3362,10 +3362,10 @@ await section('verify', '期 4:指标步骤的双盲复算、取自遮罩列
|
||||
body.redacted = { columns: ['order_cnt'], note: '这些列在数据源中设置了遮罩' }
|
||||
}
|
||||
if (id === 's23' && metric) {
|
||||
// 遮没遮核对不了(快照读不出来):同样不显示值,原因是服务端写好的一句,不进遮罩列
|
||||
// 遮没遮核对不了(快照读不出来):同样不显示值,值那里写「无法核对」,原因是服务端写好的一句,不进遮罩列
|
||||
for (const st of body.chain) {
|
||||
if (st.step === 'input' && st.path === 'vars.kpi.refund_cnt') {
|
||||
Object.assign(st, { value: '已遮罩', mask_unverified: '查询快照无法读取,核对不了这一格是否取自设置了遮罩的列' })
|
||||
Object.assign(st, { value: '无法核对', mask_unverified: '查询快照无法读取,核对不了这一格是否取自设置了遮罩的列' })
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -3444,13 +3444,17 @@ await section('verify', '期 4:指标步骤的双盲复算、取自遮罩列
|
||||
&& await p.locator('[data-ev-input="vars.kpi.gmv"]').getAttribute('data-ev-input-masked') === null)
|
||||
check('面板底下写明遮罩的列和遮罩不是安全边界', (await p.locator('[data-ev-mask-note]').innerText().catch(() => '')).includes('order_cnt'))
|
||||
await pg.keyboard.press('Escape')
|
||||
// 遮没遮核对不了:同样写「已遮罩」,悬停说明原因(快照读不出来),不算进遮罩列
|
||||
// 遮没遮核对不了:不显示值,写「无法核对」(不写「已遮罩」:数据源可能根本没设遮罩),悬停说明原因(快照读不出来),
|
||||
// 不算进遮罩列
|
||||
await openSeg(pg, 's23', '[data-ev-substituted]')
|
||||
const unsure = p.locator('[data-ev-input="vars.kpi.refund_cnt"]')
|
||||
const unsureTitle = await unsure.getAttribute('title').catch(() => '')
|
||||
check('遮没遮核对不了的输入:标签写「已遮罩」,悬停写明快照读不出来、不显示值',
|
||||
await unsure.getAttribute('data-ev-input-masked') === '' && (await unsure.innerText()).includes('已遮罩')
|
||||
&& (unsureTitle ?? '').includes('查询快照无法读取,核对不了这一格是否取自设置了遮罩的列,不显示值'), unsureTitle ?? '')
|
||||
const unsureText = await unsure.innerText().catch(() => '')
|
||||
check('遮没遮核对不了的输入:标签写「无法核对」、不写「已遮罩」,悬停写明快照读不出来、不显示值',
|
||||
await unsure.getAttribute('data-ev-input-masked') === '' && unsureText.includes('无法核对')
|
||||
&& !unsureText.includes('已遮罩')
|
||||
&& (unsureTitle ?? '').includes('查询快照无法读取,核对不了这一格是否取自设置了遮罩的列,不显示值'),
|
||||
`${unsureText} / ${unsureTitle ?? ''}`)
|
||||
check('……面板底下的遮罩说明不把它算进遮罩列', await p.locator('[data-ev-mask-note]').count() === 0)
|
||||
await pg.keyboard.press('Escape')
|
||||
check('核查状态那几页没有运行时报错', r.errors.length === 0, r.errors.join(' | '))
|
||||
|
||||
Reference in New Issue
Block a user