 ThearchyHelios
|
e7fb8f6c1c
|
可验证报告复核修复（第 2 轮）：SQL 解析不了的快照，口径卡同样整张只给 id；整行引用补全函数记法、按表函数的先后认；拒绝名单补别的会话的 SQL 原文
复核查出三处：口径卡和快照对 SQL 解析不了的结论仍不一致；整行引用的函数记法名单不全，表函数参数里「先按列认」不看先后；
拒绝名单里「别的会话的 SQL 原文」一类不全。逐条修：
- 口径卡和快照按同一个结论判（复核的第一条）：SQL 每种读法都解析不了时快照只给哈希，卡这条路以前退回按 SQL 认遮罩列的
那一套（inquiry._derived_hidden）。那一套解析不了时只看 SQL 里写没写着遮罩列，没写就只认遮罩列本身，卡上取自整行的值
照样整张嵌入。例如 PG17 起的 JSON_QUERY(to_jsonb(m), '$.*' WITH WRAPPER) AS tel，以及 ORDER BY … USING < 这类 sqlglot
读不了的写法，号码就这样原样进了文件。现在 _derived_columns 对不是合并查询的快照，没有一种读法读得通时整份的列都算，
整张卡只给 id。没有 SQL、SQL 是空的也一样处理：这时快照同样只给哈希。合并查询照旧不看 SQL。
- 整行引用：
- 函数记法的名单补上 record_out、record_send、any_value、json_agg_strict、jsonb_agg_strict。另照 PG 18 的 pg_proc
逐个对过，补上 max、min：m.max 就是 max(m)，交回最大的那一整行，复核没点到，本地实测号码在里面。补了 max、min 之后，
写了表名的名字同样先按列认：派生来源明写出了叫 max 的列，t.max 就是那一列，按地区取最大值的子查询不受影响。数据源里
的表有哪些列这里看不到，碰巧叫 max、min 的列宁可多挡。
- 没写表名的名字写在表函数的参数里时，「先按列认」只看排在这个表函数前面的派生来源（_holder）。
FROM members m, jsonb_each_text(to_jsonb(m)), (SELECT 1 AS m) s 里，s 对函数不可见，m 是整行，以前按列认，快照照常嵌入。
没有改成「表函数参数里一律不按列认」：排在前面的派生来源明写出了同名列时，那确实是列，补了对照用例。
- 拒绝名单（不点列名也读得出表里内容的写法）：
- 别的会话的 SQL 原文：Postgres 的 pg_stat_get_activity、pg_stat_get_backend_activity、pg_stat_statements、
pg_prepared_statements（asyncpg 连接池里的连接留着前几次查询的原文，本地 PG 18 实测）；MySQL sys 库的 session、
processlist、innodb_lock_waits、schema_table_lock_waits 及各自的 x$ 版本（只认这几张，Oracle 常写的 sys.dual 不受
影响，补了对照用例），企业版的 audit_log_read；Oracle 的 V$OPEN_CURSOR 和审计记录（*_AUDIT_TRAIL、
UNIFIED_AUDIT_TRAIL、AUD$、FGA_LOG$）。
- 复核脚本里同样照常嵌入、和已拦的写法读的是同一份数据的，顺手补上：pageinspect 按索引名读页的 bt_page_items、
pg_walinspect 的 pg_get_wal_block_info、SQLite 的 readfile、Oracle 直方图和列统计的底表 histgrm$、hist_head$、
MariaDB 的 column_stats。大对象（lo_get、pg_largeobject）里存的不是表里的数据，没有加。
测试：口径卡补 SQL 解析不了（三种 sqlglot 读不了的真实写法）、没有 SQL、SQL 为空的用例，卡上取 tel 和 spend 都只给 id；
另补函数记法 record_out、表函数后面同名派生来源两种整行写法。查询快照补七个函数记法、WITH 里 * 加函数记法、两种表函数
先后的写法，以及二十项拒绝名单。对照组补派生来源明写出 max 列、表函数前面的派生来源明写出同名列、sys.dual，这三种照常
附带。夹具里的 SQL 都在本地 PG 18.6 上跑过，结果和用例说的一致。逐处去掉实现，相关测试都变红：
- 解析不了的退回那一套 4 项，没有 SQL 的 1 项；
- 名单不补 9 项，只去掉 max、min 2 项；
- 写了表名的不先按列认 1 项；
- 表函数参数不看先后 3 项，一律不先按列认 1 项；
- 别的会话的 SQL 不补 14 项，原始数据、统计信息不补 6 项；
- sys 整个拦掉时 sys.dual 对照变红。
后端全量 10238 项通过、11 项跳过；check-all bundle 183 项通过；check-copy 通过。
|
2026-10-06 19:21:23 +08:00 |
|
|
ThearchyHelios
|
8c0c3b8eeb
|
可验证报告复核修复：遮罩源上的查询快照再堵几条带出号码的路，口径卡和快照按同一个结论判
复核查出，上一轮放开「没碰遮罩列的快照照常附带」之后，有几种写法 SQL 里不写 phone、结果列名也对不上，结果里照样是
号码，快照原字节和查询事件的预览会随文件附带出去。这一轮逐条堵上：
- 整行引用认全（复核的两个阻断项）：Postgres 的 FROM 里的表函数不写 LATERAL 也看得见前面的来源，
`FROM members m, jsonb_each_text(to_jsonb(m))` 这类逐列画像的写法（逗号、CROSS JOIN、JOIN … ON TRUE、LEFT JOIN、
ROWS FROM、不带别名的 UNNEST、套在 FROM 的子查询里）以前按看不见算，整行引用认不出。现在 FROM、JOIN 里只有真的
子查询和 WITH 里的一段看不见同一层；括号括起来的一组连接（(members m CROSS JOIN f(m))）也摊开按同一层认。另外认
函数记法 m.to_jsonb、m.row_to_json（等于 to_jsonb(m)），自己建的函数认不出。
- 不点列名也读得出表里内容的写法（_INDIRECT_READS）：SQL、表名写在字符串里交给函数执行或整表导出（table_to_xml、
query_to_xml 一族、ts_stat、crosstab、DBMS_XMLGEN、XQuery 的 ora:view），统计信息里的采样值（pg_stats、
sqlite_stat4、column_statistics、Oracle 的直方图和 *_tab_columns），按页按文件读的原始数据（get_raw_page、
pg_read_file、LOAD_FILE、sqlite_dbpage、逻辑解码），别的会话的 SQL 原文（pg_stat_activity、general_log、V$SQL），
系统 schema（pg_catalog、information_schema、performance_schema）。SQL 原文里出现就只给哈希；函数名要跟着左括号，
列名碰巧叫 crosstab、pg_status 的不受影响。
- 这次运行里查到过的遮罩值写进了别的查询的字面量（模型拿看到的号码去查别的表）：导出时收齐封存范围内每份快照里
取自遮罩列的格子（inquiry._Secrets 的按值认得出的写法），只看 SQL 的字面量，碰上就只给哈希、查询事件也只给哈希。
这次运行里没查到过的值（提问人写进问题的）认不出。
- MariaDB 会执行的注释 /*M! … */ 和 /*! … */ 一样按语法树认不准处理。
- 口径卡和快照按同一个结论判：快照因列名表、整行引用、不照原名展开的 *（UNION 一支里按位置对上列名的、装进一列
的）、吃进遮罩列的表函数、语法树认不准或不点列名也读得出内容而只给哈希时，卡上取自这份快照任一列的输入都按遮罩列
算，整张卡只给 id。以前卡这条路只认改了名字的遮罩列，快照只给哈希，卡上记着的号码却原样进了文件。最外层直接写的 *
照原名展开，按名字认就够，卡照常嵌入。
- check-bundle 的 masked-source 样本点数字之前先看有没有核对通过的数字，没有就记一项不通过、不去点：以前点空了要
等满 30 秒抛错，同一节后面的 nan、stray 样本都不跑了。换回改动前的 build.py 实测，现在只多记两项不通过，后面照常跑。
有意没改的一条：SQL 写到遮罩列、结果里却没有号码的（COUNT(DISTINCT phone)、phone IS NOT NULL）照旧只给哈希，比规格
的四条更严。FROM 里的表函数吃进遮罩列时（unnest(ARRAY[phone])）它交出的列取自哪一列认不出，只能看 SQL 写没写到；
补了这一例的测试，说明写在 _untouched 和测试里。
测试：新增整行引用（表函数、括号里的一组连接、函数记法）、不点列名的读法、字面量里的遮罩值、MariaDB 注释、口径卡
七种认不出来历的写法各自的用例，以及对照组（列名像函数名的、表函数只吃没设遮罩的列的、括号连接按名字取列的、最外层
* 的卡）。合并查询那一条判断补了只带认得的键的夹具，结果列名那一条补了按 SQL 认遮罩列的那一套什么都没认出来时的
用例，两条现在都能单独证明——上一轮提交说明里「每一条规则都做过去掉实现测试变红」对这两条不成立。这一轮 15 处改动
逐一去掉实现，相关测试都变红。
|
2026-10-06 18:33:02 +08:00 |
|