双盲复算前端复核修正(第 3 轮):同一次裁决里几个指标落到数据目录的同一项上时,卡上按其余指标当前的选择说——说法不同的改说都不记,有效记录条件说合成一句

问题:服务端写目录前把同一次裁决里落到同一张表同一项上的说法归拢(dual_check_facts._merged):业务日期、去重规则只要说法不同就一项都不写,有效记录条件用 AND 合成一句写。审批卡上的预告是每个指标单独算的,卡上不看别的指标选了什么:一个指标采用原流程(paid_at)、另一个采用盲算(created_at),两块里各自加粗说「记为……」,服务端一项都不写;两个指标都采用去重的一边、去重的列不同,也是这样。结尾只说按发起审批时的数据目录预告,看不出选择的组合也会让写入作废。审核人可能为了不让同一张表出现两个业务日期,把本该分开的选择改成一致。

审批卡(run/DualCheckApproval.tsx)
- 按其余指标当前的选择,给每个指标的两种选择各找出落到同一数据源、同一张表、同一项上的指标(peersOf)。只看预告会写的一边:选「两边都不对」、还没选的,服务端不会并进来。说法照服务端的 _same_fact 比:业务日期只看哪一列,其余压掉多余的空白比。
- 业务日期、去重规则说法不同时,那一句改说「……与「退款率」的选择说法不同,都不记」,不再算作会写。有效记录条件在「记为……」后面补一句「与「退款率」采用的条件用 AND 合成一句」。
- 选择一变,各块的说法跟着变。没选中的那几句也按别的指标当前的选择说,审核人改选之前就看得出这一选会不会让整项作废。
- 结尾改成「写入的项记为人工确认的事实;以上按发起审批时的数据目录和各指标当前的选择预告……」。原来是「两边都不对时不记。记为人工确认的事实」,读起来像在说不记的那一项。
- 没有预告时的结尾同样改。时间列、去重两句补上「同一次裁决里几个指标给同一张表记的业务日期(去重规则)不同时都不记」。

夹具与检查
- 夹具加 peers 和 merges。peers 换掉「退款率」对不上的那个输入,和「销售额」落到 orders 的业务日期、去重规则、有效记录条件上。merges 是四种组合:业务日期分开选、选同一列、去重的列不同、有效记录条件不同。
- peers 的差异说明和预告是服务端的真实输出。merges 的 written 是 record_choices 在空目录上真写一遍的结果。
- test_dual_check_fixture.py 新增两项。一项不依赖服务端,查每种组合真的落到同一项上。另一项在服务端合入后建临时数据源真写一遍,逐项比对。
- 在 vs/f1a 的 f7d1a2e 和 233afd1 上都跑过:8 项全过,regenerate 逐字节不变。
- 预览用例 dual-check-approval 认 peer 参数。
- check-verify 新增一节:
  - 分开选时,两边加粗的那一句都说都不记,写明哪张表的哪一项、和哪个指标说法不同。
  - 没选中的那一句按别的指标当前的选择说;一个指标改选两边都不对后,另一个回到「记为」。
  - 选同一列照常记;去重的列不同都不记;有效记录条件说合成一句。
  - 390px 下深浅色都不横向溢出。
- check-verify 没有预告的一节补两项:「人工确认」说的是写入的项;说法不同时都不记。
- 变红验证:去掉实现(peersOf 返回空),check-verify 变红 6 项;把有效记录条件也当成说法不同,变红 1 项;把还没选、两边都不对也当成采用了一边,变红 2 项。
- 改动后 297 项全部通过(原来 274 项)。check-all 里 check-verify 的耗时估计按实测改成 71 秒。
This commit is contained in:
ThearchyHelios
2026-10-05 17:47:21 +08:00
parent b206665856
commit bcad199e0f
7 changed files with 519 additions and 61 deletions
+163 -1
View File
@@ -1,5 +1,5 @@
{
"_note": "双盲复算的预览用例和 scripts/check-verify.mjs 共用的夹具。表名、数字都是虚构的通用示例,不来自任何真实数据。各处的 diff(差异说明)是服务端 explain_sql_diff 对同一对 SQL 的真实输出(方言 sqlite),catalog_preview 和 variants 里的 catalog(采用哪一边会往数据目录里写什么)是服务端写目录预告的真实输出,都由 backend/tests/test_dual_check_fixture.py 核对和重新生成,不要手改。variants 是另几对 SQL 及其差异说明,检查脚本拿来换掉「销售额」那个指标,看不同的差异下卡上怎么说",
"_note": "双盲复算的预览用例和 scripts/check-verify.mjs 共用的夹具。表名、数字都是虚构的通用示例,不来自任何真实数据。各处的 diff(差异说明)是服务端 explain_sql_diff 对同一对 SQL 的真实输出(方言 sqlite),catalog_preview 和 variants、peers 里的 catalog(采用哪一边会往数据目录里写什么)是服务端写目录预告的真实输出,都由 backend/tests/test_dual_check_fixture.py 核对和重新生成,不要手改;merges 里的 written 是服务端按那几种选择真写一遍(record_choices)的结果,同一个测试核对,它要建临时数据源才算得出,不重新生成,报不一致时照报出的实际结果改。variants 是另几对 SQL 及其差异说明,检查脚本拿来换掉「销售额」那个指标,看不同的差异下卡上怎么说;peers 换掉「退款率」对不上的那个输入,和「销售额」落到数据目录的同一项上,merges 是检查脚本看的几种组合(同一次裁决里几个指标说法不同、要合写时卡上怎么说)",
"approval": {
"id": "ap-dc-0001",
"run_id": "run-dc-0001",
@@ -659,5 +659,167 @@
}
}
}
},
"peers": {
"time": {
"sql": [
"SELECT COUNT(*) AS refunds\nFROM refunds r\nJOIN orders o ON o.id = r.order_id\nWHERE o.paid_at >= '2026-09-01'\n AND o.paid_at < '2026-09-08'",
"SELECT COUNT(*) AS refunds\nFROM refunds r\nJOIN orders o ON o.id = r.order_id\nWHERE o.created_at >= '2026-09-01'\n AND o.created_at < '2026-09-08'"
],
"diff": {
"equivalent": false,
"items": [
{
"aspect": "time",
"text": "原流程按 paid_at 筛时间,盲算按 created_at"
}
],
"fallback": false,
"text_diff": [
"- AND orders.paid_at >= '2026-09-01'",
"+ AND orders.created_at >= '2026-09-01'",
"- AND orders.paid_at < '2026-09-08'",
"+ AND orders.created_at < '2026-09-08'"
]
},
"catalog": {
"a": {
"write": true,
"source": "shop",
"table": "orders",
"item": "business_date",
"value": {
"column": "paid_at"
}
},
"b": {
"write": true,
"source": "shop",
"table": "orders",
"item": "business_date",
"value": {
"column": "created_at"
}
}
}
},
"dedup": {
"sql": [
"SELECT COUNT(DISTINCT o.id) AS refunds\nFROM refunds r\nJOIN orders o ON o.id = r.order_id",
"SELECT COUNT(o.id) AS refunds\nFROM refunds r\nJOIN orders o ON o.id = r.order_id"
],
"diff": {
"equivalent": false,
"items": [
{
"aspect": "aggregate",
"text": "原流程对 orders.id 去重计数,盲算没去重"
}
],
"fallback": false,
"text_diff": [
"- COUNT(DISTINCT orders.id)",
"+ COUNT(orders.id)"
]
},
"catalog": {
"a": {
"write": true,
"source": "shop",
"table": "orders",
"item": "dedup",
"value": "对 id 计数时去重"
},
"b": {
"write": false,
"reason": "指标「退款率」被采纳的盲算没有去重:不去重是这个指标自己的算法,不是表的去重规则,不写入数据目录"
}
}
},
"filter": {
"sql": [
"SELECT COUNT(*) AS refunds\nFROM refunds r\nJOIN orders o ON o.id = r.order_id\nWHERE o.status <> 'cancelled'",
"SELECT COUNT(*) AS refunds\nFROM refunds r\nJOIN orders o ON o.id = r.order_id"
],
"diff": {
"equivalent": false,
"items": [
{
"aspect": "filter",
"text": "原流程排除了 orders.status = 'cancelled' 的行,盲算没有"
}
],
"fallback": false,
"text_diff": [
"- orders.id = refunds.order_id AND orders.status <> 'cancelled'",
"+ orders.id = refunds.order_id"
]
},
"catalog": {
"a": {
"write": true,
"source": "shop",
"table": "orders",
"item": "valid_filter",
"value": "status <> 'cancelled'"
},
"b": {
"write": false,
"reason": "指标「退款率」多出筛选条件的是原流程,被采纳的盲算没有这个条件,不写入数据目录"
}
}
}
},
"merges": {
"time_split": {
"gmv": null,
"refund_rate": "time",
"choices": {
"gmv": "a",
"refund_rate": "b"
},
"written": []
},
"time_same": {
"gmv": null,
"refund_rate": "time",
"choices": {
"gmv": "a",
"refund_rate": "a"
},
"written": [
{
"table": "orders",
"item": "business_date",
"value": {
"column": "paid_at"
}
}
]
},
"dedup_columns": {
"gmv": "dedup",
"refund_rate": "dedup",
"choices": {
"gmv": "a",
"refund_rate": "a"
},
"written": []
},
"filters": {
"gmv": "filter_extra",
"refund_rate": "filter",
"choices": {
"gmv": "a",
"refund_rate": "a"
},
"written": [
{
"table": "orders",
"item": "valid_filter",
"value": "status <> 'test' AND status <> 'cancelled'"
}
]
}
}
}
+6 -3
View File
@@ -25,8 +25,10 @@ import data from './dual_check.json'
* ?syn=dual-check-approval 另认地址上的几个参数(检查脚本用;不带时 payload 只有约定里的几项,同老服务端):
* - variant=<名字>:「销售额」的摘要换成 variants 里那一对 SQL 的(前 3 条差异的原话、是否只有兜底,同节点的写法),
* 工件由检查脚本按同一个变体伪造
* - catalog=1:摘要里每个指标带上服务端预告的「采用哪一边会往数据目录里写什么」(catalog_preview;换了变体的
* 「销售额」用变体的 catalog)。catalog=bad:「销售额」带一份认不出的预告
* - peer=<名字>:「退款率」的摘要同样换成 peers 里那一对 SQL 的。peers 和「销售额」(或换上的变体)落到数据目录的
* 同一项上,看同一次裁决里几个指标说法不同、要合写时卡上怎么说(夹具的 merges)
* - catalog=1:摘要里每个指标带上服务端预告的「采用哪一边会往数据目录里写什么」(catalog_preview;换了变体、peers 的
* 指标用它们自己的 catalog)。catalog=bad:「销售额」带一份认不出的预告
* - on_reject=<值>:payload 带上节点实际生效的「未采用原流程时」
*/
const approval = (patch: Partial<Approval> = {}): Approval => ({
@@ -40,11 +42,12 @@ interface Variant { diff: { items: { aspect: string; text: string }[] }; catalog
function approvalOf(search: string): Approval {
const q = new URLSearchParams(search)
const variant = (data.variants as unknown as Record<string, Variant>)[q.get('variant') ?? '']
const peer = (data.peers as unknown as Record<string, Variant>)[q.get('peer') ?? '']
const catalog = q.get('catalog')
const onReject = q.get('on_reject')
const previews = data.catalog_preview as unknown as Record<string, unknown>
const summary = data.approval.payload.summary.map((s) => {
const swapped = s.metric_id === 'gmv' && variant ? variant : null
const swapped = s.metric_id === 'gmv' && variant ? variant : s.metric_id === 'refund_rate' && peer ? peer : null
const items = swapped?.diff.items
return {
...s,