 ThearchyHelios
|
fbc48b4e61
|
README 补上数据目录：核心能力加数据目录、SQL 检查、跨库合并，节点类型加合并查询，新增一节说明数据目录的读法、来源与状态、剖析的约束、版本与提醒，开发与验证更新测试数和检查项
|
2026-10-04 01:33:42 +08:00 |
|
|
ThearchyHelios
|
0f537a9cad
|
只探查了部分表时，查结构工具不再对没探查到的表说「没有」：说明不在已探查范围、无法判断，并给出查数据字典的办法
|
2026-10-04 01:31:16 +08:00 |
|
|
ThearchyHelios
|
37d2f1d1d4
|
合入完整性修复 F3：Agent 查库的模板也记目录版本并提醒「可能涉及」，只探查了部分表时清单、目录页和助手上下文都说明，升级入口接上 SQL 检查，截断判定和工具节点遍历各收成一处
|
2026-10-04 01:28:59 +08:00 |
|
|
ThearchyHelios
|
9c02833544
|
数据目录 F3 / B4 界面：目录页顶部说明「这个数据源共有 N 张表，只探查了前 200 张」，写明为什么只取了这些、其余的助手也看不到，下一步回到数据源卡片换 schema 或缩小范围后重新探查；助手「参考了哪些表」那一行截断了的库写「共 N 张，只探查了 200 张」；补检查脚本的断言
|
2026-10-04 01:25:19 +08:00 |
|
|
ThearchyHelios
|
3ece89872b
|
数据目录 F3 / B1 界面：运行横幅、时间线和版本历史把 Agent 可能查询的表和直接引用分开说——直接引用写「有变化」，可能涉及写「Agent 可能查询的表有变化」并另起一组；版本历史按新的发布记录两组列出，发布之后才建目录的表也列；补发布记录两种写法的单测和三个检查脚本的断言
|
2026-10-04 01:24:50 +08:00 |
|
|
ThearchyHelios
|
e5b8ef4751
|
数据目录 F1-A4 补：编辑时清空码值，「已列出全部取值」跟着失效，不再另算一处修改
|
2026-10-04 01:24:34 +08:00 |
|
|
ThearchyHelios
|
d805f64195
|
数据目录 F1 一致性：日期列的判定抽成 catalog.is_date_column，数据剖析（唯一日期列提议业务日期）和 SQL 检查（按业务日期以外的时间列统计）共用，只有时刻的 TIME、整数存的时间戳两边都不算；表名匹配统一按 name_key（只把 ASCII 字母转小写），resolve_table_name 和 SQL 检查里认表名不再按 Unicode 转小写，和使用次数、影响面同一个口径；切词合并成 catalog.name_words，剖析不再另写一份；更新过时的说明（错误级检查已经上线、剖析预算的叫法跟设置界面）；码值比较不分大小写保留，注释写明是照顾 MySQL 默认排序规则、宁可漏报
|
2026-10-04 01:17:29 +08:00 |
|
|
ThearchyHelios
|
f5e8a436f1
|
数据目录 F1-B3：计算公式在人工整份提交和模型起草两条路径上也拦下——人工提交里改动过的文字项像公式就整份不收（422，说明公式写进口径卡），模型起草出的公式项丢掉；和对话提案同一套判断。只查改动过的项、不进结构校验：库里已有的含公式的项不会挡住这张表的写入
|
2026-10-04 01:15:05 +08:00 |
|
|
ThearchyHelios
|
bf5bee9246
|
数据目录 F1-B2：剖析写的备注只是开头的日期变了、其余都没变时，保留旧的项、不升版本（人工确认过的关系也一样）。以前隔天重新剖析、数据没变，目录版本也加 1，发布时记下的目录版本就对不上，之后每次正式运行都误报目录有变化
|
2026-10-04 01:14:08 +08:00 |
|
|
ThearchyHelios
|
b078d08ffe
|
数据目录 F1-A4：码值项加「已列全」标记（complete: true），只有人工明确勾选、或剖析整表统计（没有只看前若干行）得到的码值才有；码值不在码值表中的检查只认标了它的码值表，给模型的话改为提示核对取值，不再叫它照目录里的码值改。以前经对话只补了 status=9 表示作废，之后 status = 1 就被报提醒，模型还可能把对的 SQL 改错。提案补充码值时沿用原有的标记、自己不能标；目录页的码值编辑和填写含义弹窗加「已列出全部取值」勾选，表格里标「已列全」，检查脚本跟上
|
2026-10-04 01:13:13 +08:00 |
|
|
ThearchyHelios
|
52aaaaf945
|
数据目录 F3 / B4 服务端：没探查到的表说出来——目录清单返回 schema_truncated、schema_total；助手上下文的 total 用表结构缓存里的真实总数，截断时 context 操作带 explored，提示词写明还有几张没探查到、不认识的表名先查结构，挑表请求也写明只列了探查到的
|
2026-10-04 01:11:03 +08:00 |
|
|
ThearchyHelios
|
6c30becd94
|
数据目录 F3 / B8：一键升级的语义层（assist_upgrade）自查、修正轮和最终判断都带上基于数据目录的 SQL 检查器，和发布门禁一个口径——助手改出一对多关联后求和这类 SQL 会交回去改，改不好就作废
|
2026-10-04 01:09:12 +08:00 |
|
|
ThearchyHelios
|
4c7cfa62b2
|
数据目录 F3 一致性：查询结果的截断判定抽成 data/engine.py 的 RowCollector，查询层和合并查询都调它，不再各写一遍
|
2026-10-04 01:08:42 +08:00 |
|
|
ThearchyHelios
|
c12f0f2852
|
数据目录 F3 一致性：助手上下文里「现有工作流用到的表」改用 tool_queries 认节点（以 sqlcheck.tool_query 为准，换了类型的节点残留的查询不再算）；正式运行的目录变化事件改用 EventType.CATALOG_DRIFT；写明关系编号区分方向、有意不改
|
2026-10-04 01:07:41 +08:00 |
|
|
ThearchyHelios
|
fd3ec43662
|
数据目录 F1-A2：在目录页去掉外键约束、命名推断、数据剖析、模型起草得出的关联关系改为驳回、保留编号，只有人工添加的才真正删除；改了两端的旧关系同样驳回。以前删掉的推断关系下次起草又加回来，关系图按表结构现推也会带回来，照样驱动 SQL 检查和助手挑表。表结构推得出的人工关系（人工改过基数的外键关系）去掉时也只驳回。编辑界面上这类关系不给「删除」只给「驳回」（保存时等同单项驳回，可撤销），检查脚本跟上
|
2026-10-04 01:07:35 +08:00 |
|
|
ThearchyHelios
|
327c551bdb
|
数据目录 F3 / B1 服务端：SQL 只写在 Agent 里的模板也提醒目录变化——发布记录分直接引用和可能涉及两组，Agent 和协作成员绑定了查询工具的源记下所有有目录的表，正式运行两组都比、每张表标明属于哪一组；只记了直接引用的旧记录照旧按直接引用比；哪些节点算写死的查询统一交给 tool_queries
|
2026-10-04 01:07:15 +08:00 |
|
|
ThearchyHelios
|
0fa498ac18
|
数据目录 F1-A1：对话提案确认关联关系时不再抹掉基数和覆盖率——覆盖率是剖析测得的，一律沿用；基数没写时沿用已有的，新增的按目标表的主键或唯一约束推算，推算不了留空并在提案这一项上说明（PatchChange.note）。以前剖析测得多对一的关系经提案确认后基数变空，一对多关联后重复计算的检查静默失效
|
2026-10-04 01:03:32 +08:00 |
|
|
ThearchyHelios
|
cece781b5a
|
合入集成分支（阶段 2A 数据剖析、4B 剖析与 SQL 检查界面及修正）到 4A：两边功能都保留
冲突的解法：
- 后端 api/catalog.py：同时导入 catalog_impact 和 catalog_profile、SnapshotTampered；data/catalog.py：__all__ 取两边的并集重排。
- 2A 放宽了码值校验（含义可以为空，剖析写进来的是「含义待填写」）：目录修改提案的码值补充改为含义为空的码不覆盖已有含义、
只在原来没有这个码时加进去，补了测试；卡片和过程里的码值把空含义写成「含义待填写」，和目录页同一个说法。
- 前端 types.ts、terms.ts：两边各在同一处追加了新段落，按顺序都留下（提案、影响面、目录版本在前，剖析、码值、SQL 检查在后），
没有重复的键；client.ts、decode.ts、CatalogPage.tsx、TableDetail.tsx 的导入取并集。
- check-catalog.mjs：影响面和剖析、保存数据源三条假路由都留下，各节和最后核对真库数量的逻辑不变。
- 4A 的测试数据源改用 tests/fixtures/sources.py 的 drop_source 删除，顺带作废连接池。
|
2026-10-03 12:35:47 +08:00 |
|
|
ThearchyHelios
|
c3446b52ae
|
合入数据目录阶段 4B：数据剖析和 SQL 检查做进界面——数据源设置里的剖析开关与预算，目录页的剖析流程与报告，证据面板、运行时间线、助手和发布检查里的 SQL 检查结果
|
2026-10-03 12:23:14 +08:00 |
|
|
ThearchyHelios
|
71cc07e31a
|
检查跟上数据剖析和 SQL 检查：数据目录覆盖剖析设置、确认与进度、报告、各类 409、含义待填写；证据、解码、助手面板和发布前检查各加 SQL 检查的展示与定位；文案补齐 409 的下一步，码值的填写入口收窄
|
2026-10-03 12:21:42 +08:00 |
|
|
ThearchyHelios
|
25e444ca3f
|
数据目录阶段 4A 术语：服务端上界面的目录校验报错改用界面的叫法，表类型写明细表、度量类型写可累加、关联关系两端写本表字段和目标表，给模型看的说法不变
|
2026-10-03 12:14:17 +08:00 |
|
|
ThearchyHelios
|
bfa391e344
|
数据目录阶段 4A 发布与运行：发布时记下模板 SQL 用到的表的目录版本，正式运行时目录有变化就发提醒事件、不拦运行，运行详情和时间线显示提醒，版本历史显示发布时的目录版本及之后的变化
|
2026-10-03 12:11:14 +08:00 |
|
|
ThearchyHelios
|
e30d28a0d6
|
数据目录阶段 4A 摘要提示：目录页顶部写明运行中查询过的表里还有几张有推断项未确认、几张没有目录，点击切到对应筛选并按使用次数排序
|
2026-10-03 11:55:45 +08:00 |
|
|
ThearchyHelios
|
dcce17de2d
|
助手面板和画布显示 SQL 检查：自查与交付的问题写中文规则名、级别、涉及的表和列与 SQL 片段，不挡运行的提醒单列一组；问题面板、发布前检查和助手的「定位」落到调用工具参数里的 SQL
|
2026-10-03 11:53:33 +08:00 |
|
|
ThearchyHelios
|
958e096e56
|
数据目录阶段 4A 影响面：新增接口列出引用某张表的已发布和受管模板，区分直接引用和可能涉及、合并查询按输入追溯，表详情和保存纠正后都显示
|
2026-10-03 11:52:49 +08:00 |
|
|
ThearchyHelios
|
5d7b652149
|
证据面板和运行时间线显示 SQL 检查：查询步骤列出级别、中文规则名、说明、涉及的表和列与 SQL 片段，指标步骤在未通过时加标识和原因，时间线把指标所依据的查询未通过 SQL 检查说成一行并给出下一步
|
2026-10-03 11:49:42 +08:00 |
|
|
ThearchyHelios
|
6ce01f0b0d
|
数据目录页加数据剖析：选范围、确认预算后开始，进行中写已用时长并说明无法中途停止，报告列出查询用量、停止原因、每张表的关系核实、码值候选、业务日期提议和跳过的项；各类 409 写明下一步，未开启的就地打开设置；码值含义为空时显示「含义待填写」并可逐个填写
|
2026-10-03 11:45:51 +08:00 |
|
|
ThearchyHelios
|
1c806fa3a0
|
数据目录阶段 4A 前端：画布和问数据页的回答下显示「建议更新数据目录」卡片，逐项列出改前、改后和理由，保存带版本记为人工确认，遇到 409 可重新载入后再保存，也可忽略
|
2026-10-03 11:40:37 +08:00 |
|
|
ThearchyHelios
|
5b83ef4ba8
|
数据源设置里加数据剖析：开关和五项预算带单位与范围，写明会发出的只读查询上限，保存被拒时报错落到对应的项上；导入表格的源在卡片上单独设置
|
2026-10-03 11:34:46 +08:00 |
|
|
ThearchyHelios
|
913ed9d2c4
|
命名推断认业务前缀、SQL 检查认兄弟关联：表名带业务前缀、列名只写词根时推不出关系，两张表各自指向同一张父表、彼此相连也被当成连错了列——改为直接对不上时按引用表共用的前缀找唯一一张，兄弟关联只提示行数可能成倍
|
2026-10-03 11:21:03 +08:00 |
|
|
ThearchyHelios
|
1a760726f7
|
数据目录阶段 4A：助手协议新增目录修改提案 catalog_patch，服务端核对数据源、表、路径和取值后附版本与改前改后转出、绝不自动写入，新增提案预览与保存接口
|
2026-10-03 11:19:44 +08:00 |
|
|
ThearchyHelios
|
c46ff74b8c
|
数据剖析的测试数据源用完也删掉
|
2026-10-03 11:10:44 +08:00 |
|
|
ThearchyHelios
|
e4898b7402
|
合入数据目录阶段 2A：数据剖析——默认关闭、按源开启，查询次数和时限有上限，抽样核实推断的关联关系并补基数与覆盖率，状态列给出码值候选，遮罩列不取样
|
2026-10-03 11:09:20 +08:00 |
|
|
ThearchyHelios
|
e7b1510894
|
测试里建的数据源用完就删：留在共用测试库里的源会混进助手的数据源清单、触发挑表，别的用例的结果随执行顺序变
|
2026-10-03 11:09:09 +08:00 |
|
|
ThearchyHelios
|
6fe21096af
|
数据剖析接口：POST /catalog/profile 同步剖析，未开启或同一数据源正在剖析时返回 409，返回每张表用的查询数、写入的发现和跳过的原因，记录署名
|
2026-10-03 11:05:47 +08:00 |
|
|
ThearchyHelios
|
5df10ac260
|
合入数据目录阶段 1B：助手建图按任务挑表、沿关系补连接路径、只给相关表全字段，流里告知参考了哪些表，挑不出时回退到只列表名
# Conflicts:
# backend/app/api/copilot.py
# frontend/src/dev/preview.tsx
# scripts/check-stream.mjs
|
2026-10-03 11:02:08 +08:00 |
|
|
ThearchyHelios
|
b5ec0a5a96
|
数据剖析的码值与时间列：状态类低基数列取值分布写成码值候选（含义待人填写），被遮罩的列不取；日期类列取最小值和最大值，只有一个日期列时提议为业务日期
|
2026-10-03 11:01:04 +08:00 |
|
|
ThearchyHelios
|
d50696425c
|
合入数据目录阶段 1C：数据目录界面——表清单筛选排序与分批起草，表详情逐项确认、驳回、编辑，乐观锁冲突可重新载入，导入表格的说明只读展示
|
2026-10-03 10:58:19 +08:00 |
|
|
ThearchyHelios
|
1294095d1e
|
数据目录阶段 1B 前端：画布和问数据页的过程里显示「参考了 N 张表」，展开按数据源列出表名，挑表失败时写明只提供了表名及原因
|
2026-10-03 10:56:25 +08:00 |
|
|
ThearchyHelios
|
fefb708757
|
数据剖析的关系验证：抽样键值去父表核对覆盖率，父键唯一且覆盖率够的升为有确证（来源记为数据剖析），覆盖率低的保持推断并写明原因，人工确认过的只补覆盖率和基数；撤销审阅回到剖析的结论
|
2026-10-03 10:56:08 +08:00 |
|
|
ThearchyHelios
|
d236a579ca
|
数据目录阶段 1C：起草后只在新的一次起草时重载正在看的表，换表时不重复取
|
2026-10-03 10:52:08 +08:00 |
|
|
ThearchyHelios
|
32c3f4a180
|
数据剖析的查询与预算：各方言的剖析 SQL 和安全字面量，每条先按只读过守卫再走查询层，记查询次数、单条时限和总时长，行数先读统计信息、读不到只数到上限
|
2026-10-03 10:51:39 +08:00 |
|
|
ThearchyHelios
|
cd22175bfc
|
数据目录阶段 1C：编辑中点开状态标识时写明保存或取消后再逐项审阅
|
2026-10-03 10:51:13 +08:00 |
|
|
ThearchyHelios
|
fd475291bb
|
数据目录阶段 1C：check-catalog 覆盖清单筛选排序、起草分批与停止、单项审阅、批量确认、编辑即确认、409、空状态与导入表格说明；页头标题放不下时截断，弹层去掉重复的读屏标签
|
2026-10-03 10:48:49 +08:00 |
|
|
ThearchyHelios
|
dc65004cd8
|
数据剖析设置：按数据源存在 options.catalog_profile 里，默认关闭；保存数据源时校验取值范围，拼连接串时摘掉
|
2026-10-03 10:48:10 +08:00 |
|
|
ThearchyHelios
|
787b2304dc
|
指标经过合并查询也认得出来源查询的 SQL 检查问题：合并快照没有自己的 checks，顺着 inputs 往下找，源库一对多重复计算的数不再经一次合并就完整出具
|
2026-10-03 10:40:47 +08:00 |
|
|
ThearchyHelios
|
84bf484c08
|
合入数据目录阶段 2B：基于数据目录的 SQL 检查——七条规则按依据状态定级，接入助手自查、发布门禁和运行时，出错的来源查询使指标降档
# Conflicts:
# backend/app/api/evidence.py
|
2026-10-03 10:37:31 +08:00 |
|
|
ThearchyHelios
|
7f07fc370a
|
数据目录阶段 2B：运行时接上 SQL 检查——查询结果和快照带 checks、证据接口的查询步骤带上，契约指标的来源查询有 error 时出具降档
|
2026-10-03 10:32:54 +08:00 |
|
|
ThearchyHelios
|
8682324a6f
|
数据目录阶段 2B：发布门禁接上 SQL 检查——受管级别被 error 挡住、warning 进提示，发布前检查、自动修复和发布同一个口径
|
2026-10-03 10:31:19 +08:00 |
|
|
ThearchyHelios
|
ab1f42d2ce
|
合并查询的截断口径对齐查询层：取满上限之后确实还有下一行才算截断，恰好取满的完整结果不再被下游拒收
|
2026-10-03 10:28:59 +08:00 |
|