Commit Graph

219 Commits

Author SHA1 Message Date
ThearchyHelios a0f2e9a557 数据目录 F2b / C10:清单里没填中文名的表,标题直接写表名(正文颜色、加粗),「未填写中文名」降为下一行的淡色提示,不再一屏几十行同一句话认不出是哪张表;补检查脚本的断言 2026-10-04 02:02:27 +08:00
ThearchyHelios 8299d0825d 数据目录 F2b / C9:概览的进度条色段改成和上方文字同一个先后(有待确认项、没有待确认项、没有目录),下面加图例说明每种颜色;色条和图例只给眼睛看,数字由那句话念;补检查脚本的断言 2026-10-04 02:01:38 +08:00
ThearchyHelios b9ce058848 数据目录 F2b / C1:清单筛选「全部已确认」改为「没有待确认项」,「有未确认项」改为「有待确认项」,概览、顶部摘要、排序同步改写——「已确认」专指人工确认,只有已验证项的表不再说全部已确认;悬停写明已验证的项由外键约束或数据剖析核实、不需要逐项确认;补检查脚本的断言 2026-10-04 02:00:48 +08:00
ThearchyHelios fe4f551d71 数据目录 F2b / B13:清单的搜索词、筛选、排序和「只看运行中查询过的表」写进地址的查询参数(q / filter / sort / used),刷新、前进后退都不丢,打开表和回到清单时带着走;点了立刻生效,搜索词停手 200ms 再写地址;补检查脚本的断言 2026-10-04 01:59:25 +08:00
ThearchyHelios 48ac7dbc92 数据目录 F2b / B10:顶部摘要点进来只列运行中查询过的表,和摘要同一个口径——摘要说「4 张还没有目录」,清单就是那 4 张;清单上挂「只看运行中查询过的表」标签,可取消;筛选按钮的数字按同一口径算;补检查脚本的断言 2026-10-04 01:54:14 +08:00
ThearchyHelios fbc48b4e61 README 补上数据目录:核心能力加数据目录、SQL 检查、跨库合并,节点类型加合并查询,新增一节说明数据目录的读法、来源与状态、剖析的约束、版本与提醒,开发与验证更新测试数和检查项 2026-10-04 01:33:42 +08:00
ThearchyHelios 0f537a9cad 只探查了部分表时,查结构工具不再对没探查到的表说「没有」:说明不在已探查范围、无法判断,并给出查数据字典的办法 2026-10-04 01:31:16 +08:00
ThearchyHelios 37d2f1d1d4 合入完整性修复 F3:Agent 查库的模板也记目录版本并提醒「可能涉及」,只探查了部分表时清单、目录页和助手上下文都说明,升级入口接上 SQL 检查,截断判定和工具节点遍历各收成一处 2026-10-04 01:28:59 +08:00
ThearchyHelios 9c02833544 数据目录 F3 / B4 界面:目录页顶部说明「这个数据源共有 N 张表,只探查了前 200 张」,写明为什么只取了这些、其余的助手也看不到,下一步回到数据源卡片换 schema 或缩小范围后重新探查;助手「参考了哪些表」那一行截断了的库写「共 N 张,只探查了 200 张」;补检查脚本的断言 2026-10-04 01:25:19 +08:00
ThearchyHelios 3ece89872b 数据目录 F3 / B1 界面:运行横幅、时间线和版本历史把 Agent 可能查询的表和直接引用分开说——直接引用写「有变化」,可能涉及写「Agent 可能查询的表有变化」并另起一组;版本历史按新的发布记录两组列出,发布之后才建目录的表也列;补发布记录两种写法的单测和三个检查脚本的断言 2026-10-04 01:24:50 +08:00
ThearchyHelios e5b8ef4751 数据目录 F1-A4 补:编辑时清空码值,「已列出全部取值」跟着失效,不再另算一处修改 2026-10-04 01:24:34 +08:00
ThearchyHelios d805f64195 数据目录 F1 一致性:日期列的判定抽成 catalog.is_date_column,数据剖析(唯一日期列提议业务日期)和 SQL 检查(按业务日期以外的时间列统计)共用,只有时刻的 TIME、整数存的时间戳两边都不算;表名匹配统一按 name_key(只把 ASCII 字母转小写),resolve_table_name 和 SQL 检查里认表名不再按 Unicode 转小写,和使用次数、影响面同一个口径;切词合并成 catalog.name_words,剖析不再另写一份;更新过时的说明(错误级检查已经上线、剖析预算的叫法跟设置界面);码值比较不分大小写保留,注释写明是照顾 MySQL 默认排序规则、宁可漏报 2026-10-04 01:17:29 +08:00
ThearchyHelios f5e8a436f1 数据目录 F1-B3:计算公式在人工整份提交和模型起草两条路径上也拦下——人工提交里改动过的文字项像公式就整份不收(422,说明公式写进口径卡),模型起草出的公式项丢掉;和对话提案同一套判断。只查改动过的项、不进结构校验:库里已有的含公式的项不会挡住这张表的写入 2026-10-04 01:15:05 +08:00
ThearchyHelios bf5bee9246 数据目录 F1-B2:剖析写的备注只是开头的日期变了、其余都没变时,保留旧的项、不升版本(人工确认过的关系也一样)。以前隔天重新剖析、数据没变,目录版本也加 1,发布时记下的目录版本就对不上,之后每次正式运行都误报目录有变化 2026-10-04 01:14:08 +08:00
ThearchyHelios b078d08ffe 数据目录 F1-A4:码值项加「已列全」标记(complete: true),只有人工明确勾选、或剖析整表统计(没有只看前若干行)得到的码值才有;码值不在码值表中的检查只认标了它的码值表,给模型的话改为提示核对取值,不再叫它照目录里的码值改。以前经对话只补了 status=9 表示作废,之后 status = 1 就被报提醒,模型还可能把对的 SQL 改错。提案补充码值时沿用原有的标记、自己不能标;目录页的码值编辑和填写含义弹窗加「已列出全部取值」勾选,表格里标「已列全」,检查脚本跟上 2026-10-04 01:13:13 +08:00
ThearchyHelios 52aaaaf945 数据目录 F3 / B4 服务端:没探查到的表说出来——目录清单返回 schema_truncated、schema_total;助手上下文的 total 用表结构缓存里的真实总数,截断时 context 操作带 explored,提示词写明还有几张没探查到、不认识的表名先查结构,挑表请求也写明只列了探查到的 2026-10-04 01:11:03 +08:00
ThearchyHelios 6c30becd94 数据目录 F3 / B8:一键升级的语义层(assist_upgrade)自查、修正轮和最终判断都带上基于数据目录的 SQL 检查器,和发布门禁一个口径——助手改出一对多关联后求和这类 SQL 会交回去改,改不好就作废 2026-10-04 01:09:12 +08:00
ThearchyHelios 4c7cfa62b2 数据目录 F3 一致性:查询结果的截断判定抽成 data/engine.py 的 RowCollector,查询层和合并查询都调它,不再各写一遍 2026-10-04 01:08:42 +08:00
ThearchyHelios c12f0f2852 数据目录 F3 一致性:助手上下文里「现有工作流用到的表」改用 tool_queries 认节点(以 sqlcheck.tool_query 为准,换了类型的节点残留的查询不再算);正式运行的目录变化事件改用 EventType.CATALOG_DRIFT;写明关系编号区分方向、有意不改 2026-10-04 01:07:41 +08:00
ThearchyHelios fd3ec43662 数据目录 F1-A2:在目录页去掉外键约束、命名推断、数据剖析、模型起草得出的关联关系改为驳回、保留编号,只有人工添加的才真正删除;改了两端的旧关系同样驳回。以前删掉的推断关系下次起草又加回来,关系图按表结构现推也会带回来,照样驱动 SQL 检查和助手挑表。表结构推得出的人工关系(人工改过基数的外键关系)去掉时也只驳回。编辑界面上这类关系不给「删除」只给「驳回」(保存时等同单项驳回,可撤销),检查脚本跟上 2026-10-04 01:07:35 +08:00
ThearchyHelios 327c551bdb 数据目录 F3 / B1 服务端:SQL 只写在 Agent 里的模板也提醒目录变化——发布记录分直接引用和可能涉及两组,Agent 和协作成员绑定了查询工具的源记下所有有目录的表,正式运行两组都比、每张表标明属于哪一组;只记了直接引用的旧记录照旧按直接引用比;哪些节点算写死的查询统一交给 tool_queries 2026-10-04 01:07:15 +08:00
ThearchyHelios 0fa498ac18 数据目录 F1-A1:对话提案确认关联关系时不再抹掉基数和覆盖率——覆盖率是剖析测得的,一律沿用;基数没写时沿用已有的,新增的按目标表的主键或唯一约束推算,推算不了留空并在提案这一项上说明(PatchChange.note)。以前剖析测得多对一的关系经提案确认后基数变空,一对多关联后重复计算的检查静默失效 2026-10-04 01:03:32 +08:00
ThearchyHelios cece781b5a 合入集成分支(阶段 2A 数据剖析、4B 剖析与 SQL 检查界面及修正)到 4A:两边功能都保留
冲突的解法:
- 后端 api/catalog.py:同时导入 catalog_impact 和 catalog_profile、SnapshotTampered;data/catalog.py:__all__ 取两边的并集重排。
- 2A 放宽了码值校验(含义可以为空,剖析写进来的是「含义待填写」):目录修改提案的码值补充改为含义为空的码不覆盖已有含义、
  只在原来没有这个码时加进去,补了测试;卡片和过程里的码值把空含义写成「含义待填写」,和目录页同一个说法。
- 前端 types.ts、terms.ts:两边各在同一处追加了新段落,按顺序都留下(提案、影响面、目录版本在前,剖析、码值、SQL 检查在后),
  没有重复的键;client.ts、decode.ts、CatalogPage.tsx、TableDetail.tsx 的导入取并集。
- check-catalog.mjs:影响面和剖析、保存数据源三条假路由都留下,各节和最后核对真库数量的逻辑不变。
- 4A 的测试数据源改用 tests/fixtures/sources.py 的 drop_source 删除,顺带作废连接池。
2026-10-03 12:35:47 +08:00
ThearchyHelios c3446b52ae 合入数据目录阶段 4B:数据剖析和 SQL 检查做进界面——数据源设置里的剖析开关与预算,目录页的剖析流程与报告,证据面板、运行时间线、助手和发布检查里的 SQL 检查结果 2026-10-03 12:23:14 +08:00
ThearchyHelios 71cc07e31a 检查跟上数据剖析和 SQL 检查:数据目录覆盖剖析设置、确认与进度、报告、各类 409、含义待填写;证据、解码、助手面板和发布前检查各加 SQL 检查的展示与定位;文案补齐 409 的下一步,码值的填写入口收窄 2026-10-03 12:21:42 +08:00
ThearchyHelios 25e444ca3f 数据目录阶段 4A 术语:服务端上界面的目录校验报错改用界面的叫法,表类型写明细表、度量类型写可累加、关联关系两端写本表字段和目标表,给模型看的说法不变 2026-10-03 12:14:17 +08:00
ThearchyHelios bfa391e344 数据目录阶段 4A 发布与运行:发布时记下模板 SQL 用到的表的目录版本,正式运行时目录有变化就发提醒事件、不拦运行,运行详情和时间线显示提醒,版本历史显示发布时的目录版本及之后的变化 2026-10-03 12:11:14 +08:00
ThearchyHelios e30d28a0d6 数据目录阶段 4A 摘要提示:目录页顶部写明运行中查询过的表里还有几张有推断项未确认、几张没有目录,点击切到对应筛选并按使用次数排序 2026-10-03 11:55:45 +08:00
ThearchyHelios dcce17de2d 助手面板和画布显示 SQL 检查:自查与交付的问题写中文规则名、级别、涉及的表和列与 SQL 片段,不挡运行的提醒单列一组;问题面板、发布前检查和助手的「定位」落到调用工具参数里的 SQL 2026-10-03 11:53:33 +08:00
ThearchyHelios 958e096e56 数据目录阶段 4A 影响面:新增接口列出引用某张表的已发布和受管模板,区分直接引用和可能涉及、合并查询按输入追溯,表详情和保存纠正后都显示 2026-10-03 11:52:49 +08:00
ThearchyHelios 5d7b652149 证据面板和运行时间线显示 SQL 检查:查询步骤列出级别、中文规则名、说明、涉及的表和列与 SQL 片段,指标步骤在未通过时加标识和原因,时间线把指标所依据的查询未通过 SQL 检查说成一行并给出下一步 2026-10-03 11:49:42 +08:00
ThearchyHelios 6ce01f0b0d 数据目录页加数据剖析:选范围、确认预算后开始,进行中写已用时长并说明无法中途停止,报告列出查询用量、停止原因、每张表的关系核实、码值候选、业务日期提议和跳过的项;各类 409 写明下一步,未开启的就地打开设置;码值含义为空时显示「含义待填写」并可逐个填写 2026-10-03 11:45:51 +08:00
ThearchyHelios 1c806fa3a0 数据目录阶段 4A 前端:画布和问数据页的回答下显示「建议更新数据目录」卡片,逐项列出改前、改后和理由,保存带版本记为人工确认,遇到 409 可重新载入后再保存,也可忽略 2026-10-03 11:40:37 +08:00
ThearchyHelios 5b83ef4ba8 数据源设置里加数据剖析:开关和五项预算带单位与范围,写明会发出的只读查询上限,保存被拒时报错落到对应的项上;导入表格的源在卡片上单独设置 2026-10-03 11:34:46 +08:00
ThearchyHelios 913ed9d2c4 命名推断认业务前缀、SQL 检查认兄弟关联:表名带业务前缀、列名只写词根时推不出关系,两张表各自指向同一张父表、彼此相连也被当成连错了列——改为直接对不上时按引用表共用的前缀找唯一一张,兄弟关联只提示行数可能成倍 2026-10-03 11:21:03 +08:00
ThearchyHelios 1a760726f7 数据目录阶段 4A:助手协议新增目录修改提案 catalog_patch,服务端核对数据源、表、路径和取值后附版本与改前改后转出、绝不自动写入,新增提案预览与保存接口 2026-10-03 11:19:44 +08:00
ThearchyHelios c46ff74b8c 数据剖析的测试数据源用完也删掉 2026-10-03 11:10:44 +08:00
ThearchyHelios e4898b7402 合入数据目录阶段 2A:数据剖析——默认关闭、按源开启,查询次数和时限有上限,抽样核实推断的关联关系并补基数与覆盖率,状态列给出码值候选,遮罩列不取样 2026-10-03 11:09:20 +08:00
ThearchyHelios e7b1510894 测试里建的数据源用完就删:留在共用测试库里的源会混进助手的数据源清单、触发挑表,别的用例的结果随执行顺序变 2026-10-03 11:09:09 +08:00
ThearchyHelios 6fe21096af 数据剖析接口:POST /catalog/profile 同步剖析,未开启或同一数据源正在剖析时返回 409,返回每张表用的查询数、写入的发现和跳过的原因,记录署名 2026-10-03 11:05:47 +08:00
ThearchyHelios 5df10ac260 合入数据目录阶段 1B:助手建图按任务挑表、沿关系补连接路径、只给相关表全字段,流里告知参考了哪些表,挑不出时回退到只列表名
# Conflicts:
#	backend/app/api/copilot.py
#	frontend/src/dev/preview.tsx
#	scripts/check-stream.mjs
2026-10-03 11:02:08 +08:00
ThearchyHelios b5ec0a5a96 数据剖析的码值与时间列:状态类低基数列取值分布写成码值候选(含义待人填写),被遮罩的列不取;日期类列取最小值和最大值,只有一个日期列时提议为业务日期 2026-10-03 11:01:04 +08:00
ThearchyHelios d50696425c 合入数据目录阶段 1C:数据目录界面——表清单筛选排序与分批起草,表详情逐项确认、驳回、编辑,乐观锁冲突可重新载入,导入表格的说明只读展示 2026-10-03 10:58:19 +08:00
ThearchyHelios 1294095d1e 数据目录阶段 1B 前端:画布和问数据页的过程里显示「参考了 N 张表」,展开按数据源列出表名,挑表失败时写明只提供了表名及原因 2026-10-03 10:56:25 +08:00
ThearchyHelios fefb708757 数据剖析的关系验证:抽样键值去父表核对覆盖率,父键唯一且覆盖率够的升为有确证(来源记为数据剖析),覆盖率低的保持推断并写明原因,人工确认过的只补覆盖率和基数;撤销审阅回到剖析的结论 2026-10-03 10:56:08 +08:00
ThearchyHelios d236a579ca 数据目录阶段 1C:起草后只在新的一次起草时重载正在看的表,换表时不重复取 2026-10-03 10:52:08 +08:00
ThearchyHelios 32c3f4a180 数据剖析的查询与预算:各方言的剖析 SQL 和安全字面量,每条先按只读过守卫再走查询层,记查询次数、单条时限和总时长,行数先读统计信息、读不到只数到上限 2026-10-03 10:51:39 +08:00
ThearchyHelios cd22175bfc 数据目录阶段 1C:编辑中点开状态标识时写明保存或取消后再逐项审阅 2026-10-03 10:51:13 +08:00
ThearchyHelios fd475291bb 数据目录阶段 1C:check-catalog 覆盖清单筛选排序、起草分批与停止、单项审阅、批量确认、编辑即确认、409、空状态与导入表格说明;页头标题放不下时截断,弹层去掉重复的读屏标签 2026-10-03 10:48:49 +08:00
ThearchyHelios dc65004cd8 数据剖析设置:按数据源存在 options.catalog_profile 里,默认关闭;保存数据源时校验取值范围,拼连接串时摘掉 2026-10-03 10:48:10 +08:00