Commit Graph

5 Commits

Author SHA1 Message Date
ThearchyHelios d3bd80211a 数据目录闭环第一步(后端 A)复核修正:没收下的有效记录条件不算失败,在起草任务逐表的 log 里记一句,接口看得到(以前只进服务端日志)——没通过校验的写原因(「有效记录条件里不能有子查询,模型提议的这一条没有收下:……」),剖析核对排除 0% 或 100% 的写数到了多少行;只在请模型写表级的项的那段里记,一张表最多 10 句。CatalogDraftTask 加 log 列(存量任务回填 NULL,接口给空列表) 2026-10-14 10:00:10 +08:00
ThearchyHelios 7383877ee7 数据目录闭环第一步(后端 A)复核修正:模型提议的有效记录条件存整理过的写法——原文照旧(NOT IN、IS NOT NULL 不被改写),只把列换成表结构里的真名、不带表名、按数据源的方言要加引号的加引号,剖析核对的就是存下的这一条。以前存的是模型的原文,核对时却按真名加了引号:PostgreSQL 上混合大小写的列("OrderStatus")存成 orderstatus <> 'X',一跑就报列不存在,SQL 检查还会让模型照抄。列名先照原样对表结构,只差大小写的几列写不清是哪一列的不收;加了引号超过 500 字的不收(写进去会让整张表写入失败);不合规的说法用界面上的叫法「有效记录条件」 2026-10-14 09:59:52 +08:00
ThearchyHelios 9c30bf0307 数据目录闭环第一步(后端 A)复核修正:起草提示里「已确认的目录项」不再带遮罩列的码值,人工确认过的也不给(码值就是这一列的取值),开没开剖析都一样;这一列别的确认过的项照给。和新加的码值背景、表助手的背景、导入目录的口径一致 2026-10-14 09:59:35 +08:00
ThearchyHelios 4647fc9ff3 数据目录闭环第一步(后端 A):防错事实的提议——起草时提议有效行过滤和去重规则
- 提示词:表级的项多要两项,valid_filter(有效行过滤,condition 写一段 SQL 条件、只用这张表的列,函数只用 UPPER、LOWER、TRIM、COALESCE)和 dedup(去重规则,rule 写一句话),各附一句 reason;写清只在表结构、注释、码值能看出来时才写,拿不准、没有就不写;业务日期照旧。结构化输出的约定、纯文本那条路的格式说明、只写表级的项那一行都带上这两项
- catalog._from_model:两项记模型起草、推断,依据写进 note(「依据:……」);有效行过滤按数据源的方言解析(sqlcheck.parse_valid_filter),不过就丢掉、日志记一条,不算这张表失败;只写了一段文字的也认
- 起草引擎:表级那段写完核对有效行过滤。开了数据剖析的源经剖析的只读守卫数排除比例(catalog_profile.check_valid_filter),排除 0% 或 100% 的不收,收下的 note 写上「剖析核对:排除 3.2% 的行(共 12,345 行)」;没开剖析、连不上的照收,写明没有核对的原因;目录里人工确认、驳回过的不再查库
- 开了数据剖析的源:目录里记下的码值(剖析取过的取值和已知含义)交给模型做背景,要写表级的项的给全部列的、只写几列的给这几列的,遮罩的列、驳回的码值不给,已确认的不重复
- 测试核一遍 SQL 检查的规矩:起草来的有效行过滤是推断,漏了它只是提示;人工确认以后才是警告,驳回以后不报
2026-10-14 08:32:44 +08:00
ThearchyHelios 447c66649c 数据目录闭环第一步(后端 A):有效行过滤的校验和剖析核对
- sqlcheck.parse_valid_filter / valid_filter_problem:按数据源的方言用 sqlglot 把有效行过滤解析成一个条件,只能引用这张表的列(不带表名或带这张表的表名,不分大小写),不能有子查询、聚合、窗口函数、分号、注释、模板占位、参数占位、算术,只允许比较、IN(值的列表)、BETWEEN、LIKE、IS NULL、AND / OR / NOT 和 UPPER / LOWER / TRIM / COALESCE,不超过 500 字,至少用到一列;不认识的数据源类型不收
- sqlcheck.render_valid_filter:把条件按方言重新写出来,列换成表结构里的真名、按剖析查询的规矩加引号,拼进核对查询用
- catalog_profile.check_valid_filter:开了数据剖析的源经剖析的只读守卫(guard.check(readonly=True)、单条时限、查询次数上限)发一条查询,只取条件里的列、先取前 max(抽样键值数, 整表统计行数上限) 行,数出总行数和被排除的行数;排除 0% 或 100% 的不收,收下的写「剖析核对:排除 3.2% 的行(共 12,345 行)」,只数了前若干行的写明按前几行统计;没开剖析、数据源停用、条件里有遮罩的列、视图、取值拼不进查询、查询失败或超时照收,写明没有核对的原因
2026-10-14 08:30:14 +08:00