Commit Graph

640 Commits

Author SHA1 Message Date
ThearchyHelios 31531925a9 写作指引说清 [[see:]] 只放句末、码值写含义(A4、B4):写作规则后面加两条,依据标记渲染后不显示,写进句子中间会留下「以 为依据」这样的断句;涉及码值时写含义(「作废记录」),不写码值本身,数字核对不放宽。组装报告时认出拿得准的句中写法(「以 [[see:…]] 为」「根据、按照、基于、参见、详见 [[see:…]]」)记 inline_see,交回写作者重写,重写不好也不判失败;助手写报告节点的指引同样写明这两条 2026-10-04 02:24:49 +08:00
ThearchyHelios a5a68488f0 数据目录 F2b:助手「建议更新数据目录」卡片补上服务端对一项的说明(新增的关联关系没写基数、又推算不出来时 PatchChange 带的 note),写在那一项下面;解析时保留 note;补检查脚本的断言 2026-10-04 02:19:38 +08:00
ThearchyHelios 99ca98a87d B1 服务端自动挑剖析表不再挑中一批空表:候选里还有待核实(推断)关系的表排在前面,再按使用次数、表结构顺序;挑表时先估行数,确知是空表的跳过并记进 empty_tables(最多估 30 张、最多用掉查询次数上限的一半),估行数的查询算进这张表的查询数;候选全是空表时说明写明是空表 2026-10-04 02:19:26 +08:00
ThearchyHelios 661f6a38d7 A7 剖析写进目录的说明不再写日期:以前写的是 UTC 日期(at[:10]),和界面上按本地时间显示的修改时间对不上;改为「数据剖析:…」,时间以这一项的 updated_at 为准。is_profile_note 同时认升级前带日期的「数据剖析(日期):」;same_profile_note 继续兼容旧数据:只差日期、或一段带日期一段不带的同一结论都算相同,升级后重新剖析不会给每张表升版本 2026-10-04 02:19:26 +08:00
ThearchyHelios 46c3fd3093 A6 扇出检查只在一对多确有其事时报错误:关系人工确认过,或数据剖析在数据上核实过子表一侧的键不唯一(关系上记 cardinality_checked,子表太大没核对的不算)才给 error;只凭外键结构推出的一对多降为 warning,说法改成「可能重复计算」,下一步写确认关联表里每个键只有一行、或先汇总再关联;人工编辑提交里带的 cardinality_checked 不作数;级别说明「结果必然有误」改为不夸大的说法;2B、F1 的测试按新规则更新:外键 + verified → warning,剖析核实过 → error,人工确认 → error 2026-10-04 02:19:26 +08:00
ThearchyHelios 0df5e7d4af A2 模型起草一项都没写进去时不再算成功:认出没有 tables 外壳的单个表对象;结构化输出是空壳(只有表名、没有可用字段)时改走纯文本再问一次;某张表最终没有可用内容记 model_error「模型没有给出这张表的可用内容」;起草结果每张表多一个 model_items(模型给了几项可用内容),界面据此区分「和现有目录一致」与「模型没给内容」;「没有变化」改为只说起草出的内容与现有目录一致,另加「目录没有更新」一句;假模型能模拟空壳、单个对象、某条路不可用三种实测回复 2026-10-04 02:19:26 +08:00
ThearchyHelios 15d5caf19f 运行时间线:查询那一行用 SQL 检查清单列出 tool.end 带来的检查结果,副标题数一下错误和提醒;并行的两个查询节点用同一个工具时按「节点 + 工具名」配对,结果不再配错节点(A1);指标所依据的查询没通过检查那一行读结构化字段(受影响的指标、问题、检查结果),「打开设置」改为「打开「取数」的 SQL」,落到来源查询节点的 SQL 那一栏而不是口径卡(B2);口径卡不完整、合并查询的警告也改读字段,不再按中文原话解析;助手自查的 SQL 检查问题和证据面板共用 lib/sqlcheck 的读法,关系编号不再丢失 2026-10-04 02:18:45 +08:00
ThearchyHelios adcde155e1 合并查询的预览不再被标成「查询已达行数上限」:合并结果没有截断、只是预览存了前几行时记为「此处仅为预览」,表格脚注写「显示前 5 / 6 行」;只有合并结果本身超过上限才说截断 2026-10-04 02:18:32 +08:00
ThearchyHelios 0c65b4bea6 助手「参考了哪些表」展开后,按需求挑过表的数据源排在最前面(请求里点名的库不再压在一串小库后面);带字段的表和只提供了表名的表分开数:标题写「参考了 26 张表的字段」,副标题写「另有 206 张表只提供了表名」 2026-10-04 02:18:14 +08:00
ThearchyHelios 9c8bed2f1b 合并查询的警告带上结构化字段:键类型不一致带 keys、detail,行数放大带 rows、input、input_rows、duplicates,结果截断带 rows、max_rows,随运行日志一起发出,界面读字段,不再从中文原话里解析 2026-10-04 02:17:32 +08:00
ThearchyHelios 2c160f0ac9 运行时间线看得到单条查询的 SQL 检查:调用工具节点、Agent 和协作团队里的查库调用,tool.end 事件单独带上这次查询的检查结果(只留给人看的字段);preview 只有结果的前一截,检查结果以前通常被截掉 2026-10-04 02:17:32 +08:00
ThearchyHelios 737c7454d5 数据目录 F2b / D6:影响面里「直接引用」的标签改用强调色,不再用琥珀色——它说的是引用关系的强弱,不是警示;「可能涉及」仍用次要文字色;补检查脚本的断言 2026-10-04 02:15:58 +08:00
ThearchyHelios b328341a86 数据目录 F2b / B9:在目录页改过目录(编辑保存、确认、驳回、填码值)之后,表头也说「已保存。N 个已发布模板引用这张表,下次正式运行时会提示数据目录有变化」,和助手卡片保存后同一句;带「查看模板」跳到影响面一栏,可收起,没有模板引用时不说;补检查脚本的断言 2026-10-04 02:15:23 +08:00
ThearchyHelios 1483af474c 数据目录 F2b / B8:确认含义还空着的码值时先说清楚——「确认本列推断」原本一键确认,「确认本表全部推断」和单项「确认」也一样,码值里有含义待填写时问一句「有 N 个码值的含义待填写,确认的是取值清单」,确认后这些码值仍显示「含义待填写」、还能填写;补检查脚本的断言 2026-10-04 02:11:31 +08:00
ThearchyHelios 434d825926 数据目录 F2b / C3:剖析报告里关系的结论(升为已验证、仍为已验证、保持推断……)不再是像链接的蓝色正文,改成状态标签的样子:带框的小标签,图标着状态色,文字用次要文字色;补检查脚本的断言 2026-10-04 02:09:54 +08:00
ThearchyHelios 163f3b96b3 数据目录 F2b / B7:剖析报告里关系的结论按实际变化说——原本就是已验证、这次照样核实的写「仍为已验证,覆盖率 x」,从推断升上来的才写「升为已验证」,已验证降回推断的写「降为推断」;服务端最小改动:关系结论多带 previous_status(剖析前的状态),summary 同步写「仍为有确证」;补后端测试和检查脚本的断言 2026-10-04 02:09:47 +08:00
ThearchyHelios 31305a352d 数据目录 F2b / B6:剖析报告里点「填写含义」,填完(保存或取消)回到报告,不用重新剖析:刚填的一列改写成「含义已填写」、按钮换成「修改含义」,焦点落在下一列还有待填写的「填写含义」上,一列接一列地填;正在编辑这张表时说一声再回报告;补检查脚本的断言 2026-10-04 02:06:47 +08:00
ThearchyHelios 09fed6a414 数据目录 F2b:目录页的修改时间、单项弹层的更新时间改用全站统一的短格式(formatTime:今天「10:05」、今年「9/28 10:00」),完整的带秒带时区的时间放进悬停;补检查脚本的断言 2026-10-04 02:03:35 +08:00
ThearchyHelios a0f2e9a557 数据目录 F2b / C10:清单里没填中文名的表,标题直接写表名(正文颜色、加粗),「未填写中文名」降为下一行的淡色提示,不再一屏几十行同一句话认不出是哪张表;补检查脚本的断言 2026-10-04 02:02:27 +08:00
ThearchyHelios 8299d0825d 数据目录 F2b / C9:概览的进度条色段改成和上方文字同一个先后(有待确认项、没有待确认项、没有目录),下面加图例说明每种颜色;色条和图例只给眼睛看,数字由那句话念;补检查脚本的断言 2026-10-04 02:01:38 +08:00
ThearchyHelios b9ce058848 数据目录 F2b / C1:清单筛选「全部已确认」改为「没有待确认项」,「有未确认项」改为「有待确认项」,概览、顶部摘要、排序同步改写——「已确认」专指人工确认,只有已验证项的表不再说全部已确认;悬停写明已验证的项由外键约束或数据剖析核实、不需要逐项确认;补检查脚本的断言 2026-10-04 02:00:48 +08:00
ThearchyHelios c133967bf9 冻结的数据目录有了读取方:证据接口的查询步骤带上表结构快照 id 和这条查询用到的表当时的目录版本,证据面板写「数据目录:订单 第 3 版」;冻结时保留被驳回关系的编号和状态(不放内容),新增按冻结的那份重建 SQL 检查器的 frozen_checker,驳回过的外键关系不会被推回来 2026-10-04 02:00:17 +08:00
ThearchyHelios bba57972c2 合并查询的列追不到逐格来历时,证据面板也看得到输入查询的 SQL 检查:合并步骤的每个输入带上它自己的检查结果(不带给模型的那句),界面在输入下面列出级别、规则名和说明;集中加上证据面板和运行时间线要用的文案 2026-10-04 01:59:26 +08:00
ThearchyHelios fe4f551d71 数据目录 F2b / B13:清单的搜索词、筛选、排序和「只看运行中查询过的表」写进地址的查询参数(q / filter / sort / used),刷新、前进后退都不丢,打开表和回到清单时带着走;点了立刻生效,搜索词停手 200ms 再写地址;补检查脚本的断言 2026-10-04 01:59:25 +08:00
ThearchyHelios 48ac7dbc92 数据目录 F2b / B10:顶部摘要点进来只列运行中查询过的表,和摘要同一个口径——摘要说「4 张还没有目录」,清单就是那 4 张;清单上挂「只看运行中查询过的表」标签,可取消;筛选按钮的数字按同一口径算;补检查脚本的断言 2026-10-04 01:54:14 +08:00
ThearchyHelios f1d4582d4f 报告直接引用没通过 SQL 检查的查询时出具降档:报告里引用的查询格子、表格和依据(含合并查询的输入)有错误级检查就记缺口;按出问题的那条查询归并,同一条查询算出几个指标、又被引用时只记一句并列出受影响的引用;运行日志也按查询归并成一行,带上受影响的指标、问题、检查结果、来源节点和要改的栏;写作目录里给这些查询标「存疑」 2026-10-04 01:52:24 +08:00
ThearchyHelios fbc48b4e61 README 补上数据目录:核心能力加数据目录、SQL 检查、跨库合并,节点类型加合并查询,新增一节说明数据目录的读法、来源与状态、剖析的约束、版本与提醒,开发与验证更新测试数和检查项 2026-10-04 01:33:42 +08:00
ThearchyHelios 0f537a9cad 只探查了部分表时,查结构工具不再对没探查到的表说「没有」:说明不在已探查范围、无法判断,并给出查数据字典的办法 2026-10-04 01:31:16 +08:00
ThearchyHelios 37d2f1d1d4 合入完整性修复 F3:Agent 查库的模板也记目录版本并提醒「可能涉及」,只探查了部分表时清单、目录页和助手上下文都说明,升级入口接上 SQL 检查,截断判定和工具节点遍历各收成一处 2026-10-04 01:28:59 +08:00
ThearchyHelios 9c02833544 数据目录 F3 / B4 界面:目录页顶部说明「这个数据源共有 N 张表,只探查了前 200 张」,写明为什么只取了这些、其余的助手也看不到,下一步回到数据源卡片换 schema 或缩小范围后重新探查;助手「参考了哪些表」那一行截断了的库写「共 N 张,只探查了 200 张」;补检查脚本的断言 2026-10-04 01:25:19 +08:00
ThearchyHelios 3ece89872b 数据目录 F3 / B1 界面:运行横幅、时间线和版本历史把 Agent 可能查询的表和直接引用分开说——直接引用写「有变化」,可能涉及写「Agent 可能查询的表有变化」并另起一组;版本历史按新的发布记录两组列出,发布之后才建目录的表也列;补发布记录两种写法的单测和三个检查脚本的断言 2026-10-04 01:24:50 +08:00
ThearchyHelios e5b8ef4751 数据目录 F1-A4 补:编辑时清空码值,「已列出全部取值」跟着失效,不再另算一处修改 2026-10-04 01:24:34 +08:00
ThearchyHelios d805f64195 数据目录 F1 一致性:日期列的判定抽成 catalog.is_date_column,数据剖析(唯一日期列提议业务日期)和 SQL 检查(按业务日期以外的时间列统计)共用,只有时刻的 TIME、整数存的时间戳两边都不算;表名匹配统一按 name_key(只把 ASCII 字母转小写),resolve_table_name 和 SQL 检查里认表名不再按 Unicode 转小写,和使用次数、影响面同一个口径;切词合并成 catalog.name_words,剖析不再另写一份;更新过时的说明(错误级检查已经上线、剖析预算的叫法跟设置界面);码值比较不分大小写保留,注释写明是照顾 MySQL 默认排序规则、宁可漏报 2026-10-04 01:17:29 +08:00
ThearchyHelios f5e8a436f1 数据目录 F1-B3:计算公式在人工整份提交和模型起草两条路径上也拦下——人工提交里改动过的文字项像公式就整份不收(422,说明公式写进口径卡),模型起草出的公式项丢掉;和对话提案同一套判断。只查改动过的项、不进结构校验:库里已有的含公式的项不会挡住这张表的写入 2026-10-04 01:15:05 +08:00
ThearchyHelios bf5bee9246 数据目录 F1-B2:剖析写的备注只是开头的日期变了、其余都没变时,保留旧的项、不升版本(人工确认过的关系也一样)。以前隔天重新剖析、数据没变,目录版本也加 1,发布时记下的目录版本就对不上,之后每次正式运行都误报目录有变化 2026-10-04 01:14:08 +08:00
ThearchyHelios b078d08ffe 数据目录 F1-A4:码值项加「已列全」标记(complete: true),只有人工明确勾选、或剖析整表统计(没有只看前若干行)得到的码值才有;码值不在码值表中的检查只认标了它的码值表,给模型的话改为提示核对取值,不再叫它照目录里的码值改。以前经对话只补了 status=9 表示作废,之后 status = 1 就被报提醒,模型还可能把对的 SQL 改错。提案补充码值时沿用原有的标记、自己不能标;目录页的码值编辑和填写含义弹窗加「已列出全部取值」勾选,表格里标「已列全」,检查脚本跟上 2026-10-04 01:13:13 +08:00
ThearchyHelios 52aaaaf945 数据目录 F3 / B4 服务端:没探查到的表说出来——目录清单返回 schema_truncated、schema_total;助手上下文的 total 用表结构缓存里的真实总数,截断时 context 操作带 explored,提示词写明还有几张没探查到、不认识的表名先查结构,挑表请求也写明只列了探查到的 2026-10-04 01:11:03 +08:00
ThearchyHelios 6c30becd94 数据目录 F3 / B8:一键升级的语义层(assist_upgrade)自查、修正轮和最终判断都带上基于数据目录的 SQL 检查器,和发布门禁一个口径——助手改出一对多关联后求和这类 SQL 会交回去改,改不好就作废 2026-10-04 01:09:12 +08:00
ThearchyHelios 4c7cfa62b2 数据目录 F3 一致性:查询结果的截断判定抽成 data/engine.py 的 RowCollector,查询层和合并查询都调它,不再各写一遍 2026-10-04 01:08:42 +08:00
ThearchyHelios c12f0f2852 数据目录 F3 一致性:助手上下文里「现有工作流用到的表」改用 tool_queries 认节点(以 sqlcheck.tool_query 为准,换了类型的节点残留的查询不再算);正式运行的目录变化事件改用 EventType.CATALOG_DRIFT;写明关系编号区分方向、有意不改 2026-10-04 01:07:41 +08:00
ThearchyHelios fd3ec43662 数据目录 F1-A2:在目录页去掉外键约束、命名推断、数据剖析、模型起草得出的关联关系改为驳回、保留编号,只有人工添加的才真正删除;改了两端的旧关系同样驳回。以前删掉的推断关系下次起草又加回来,关系图按表结构现推也会带回来,照样驱动 SQL 检查和助手挑表。表结构推得出的人工关系(人工改过基数的外键关系)去掉时也只驳回。编辑界面上这类关系不给「删除」只给「驳回」(保存时等同单项驳回,可撤销),检查脚本跟上 2026-10-04 01:07:35 +08:00
ThearchyHelios 327c551bdb 数据目录 F3 / B1 服务端:SQL 只写在 Agent 里的模板也提醒目录变化——发布记录分直接引用和可能涉及两组,Agent 和协作成员绑定了查询工具的源记下所有有目录的表,正式运行两组都比、每张表标明属于哪一组;只记了直接引用的旧记录照旧按直接引用比;哪些节点算写死的查询统一交给 tool_queries 2026-10-04 01:07:15 +08:00
ThearchyHelios 0fa498ac18 数据目录 F1-A1:对话提案确认关联关系时不再抹掉基数和覆盖率——覆盖率是剖析测得的,一律沿用;基数没写时沿用已有的,新增的按目标表的主键或唯一约束推算,推算不了留空并在提案这一项上说明(PatchChange.note)。以前剖析测得多对一的关系经提案确认后基数变空,一对多关联后重复计算的检查静默失效 2026-10-04 01:03:32 +08:00
ThearchyHelios cece781b5a 合入集成分支(阶段 2A 数据剖析、4B 剖析与 SQL 检查界面及修正)到 4A:两边功能都保留
冲突的解法:
- 后端 api/catalog.py:同时导入 catalog_impact 和 catalog_profile、SnapshotTampered;data/catalog.py:__all__ 取两边的并集重排。
- 2A 放宽了码值校验(含义可以为空,剖析写进来的是「含义待填写」):目录修改提案的码值补充改为含义为空的码不覆盖已有含义、
  只在原来没有这个码时加进去,补了测试;卡片和过程里的码值把空含义写成「含义待填写」,和目录页同一个说法。
- 前端 types.ts、terms.ts:两边各在同一处追加了新段落,按顺序都留下(提案、影响面、目录版本在前,剖析、码值、SQL 检查在后),
  没有重复的键;client.ts、decode.ts、CatalogPage.tsx、TableDetail.tsx 的导入取并集。
- check-catalog.mjs:影响面和剖析、保存数据源三条假路由都留下,各节和最后核对真库数量的逻辑不变。
- 4A 的测试数据源改用 tests/fixtures/sources.py 的 drop_source 删除,顺带作废连接池。
2026-10-03 12:35:47 +08:00
ThearchyHelios c3446b52ae 合入数据目录阶段 4B:数据剖析和 SQL 检查做进界面——数据源设置里的剖析开关与预算,目录页的剖析流程与报告,证据面板、运行时间线、助手和发布检查里的 SQL 检查结果 2026-10-03 12:23:14 +08:00
ThearchyHelios 71cc07e31a 检查跟上数据剖析和 SQL 检查:数据目录覆盖剖析设置、确认与进度、报告、各类 409、含义待填写;证据、解码、助手面板和发布前检查各加 SQL 检查的展示与定位;文案补齐 409 的下一步,码值的填写入口收窄 2026-10-03 12:21:42 +08:00
ThearchyHelios 25e444ca3f 数据目录阶段 4A 术语:服务端上界面的目录校验报错改用界面的叫法,表类型写明细表、度量类型写可累加、关联关系两端写本表字段和目标表,给模型看的说法不变 2026-10-03 12:14:17 +08:00
ThearchyHelios bfa391e344 数据目录阶段 4A 发布与运行:发布时记下模板 SQL 用到的表的目录版本,正式运行时目录有变化就发提醒事件、不拦运行,运行详情和时间线显示提醒,版本历史显示发布时的目录版本及之后的变化 2026-10-03 12:11:14 +08:00
ThearchyHelios e30d28a0d6 数据目录阶段 4A 摘要提示:目录页顶部写明运行中查询过的表里还有几张有推断项未确认、几张没有目录,点击切到对应筛选并按使用次数排序 2026-10-03 11:55:45 +08:00
ThearchyHelios dcce17de2d 助手面板和画布显示 SQL 检查:自查与交付的问题写中文规则名、级别、涉及的表和列与 SQL 片段,不挡运行的提醒单列一组;问题面板、发布前检查和助手的「定位」落到调用工具参数里的 SQL 2026-10-03 11:53:33 +08:00