 ThearchyHelios
|
2714890d0d
|
文档重新梳理：README 精简成介绍和索引，细节按主题拆进 docs/zh-CN 与 docs/en（17 篇一一对应），英文文档不含中文
README.zh-CN.md / README.md 只留：这是什么、为什么用它、主要功能（按领域一行一条，链到文档）、快速开始、部署、文档索引、
开发与测试、许可（原文不动）。原来的每一节按读者和任务分到 17 篇主题文档：ask-data、workflows、evidence、
data-sources（新增：接入数据库、只读保证、上传表格、跨库合并、遮罩列）、data-catalog、tools（新增：工具、审批档位、
能力登记、端点、网络规则——它们管所有工作流，不只应用）、apps、evaluation-and-ledger、schedules（含通知）、deployment、
configuration、postgresql-and-scaling、identity-and-security、architecture、development、upgrade-notes（按时间倒序，
每波先写要做的事）、faq。删掉的只有模块名（api/copilot_gen.py、chat/drive.py、data/schema_view.py）、重复的话和
「以前…现在…」的叙述；操作步骤、命令、配置名、限制、权限边界都有归宿。中文是原文，英文按新的中文写；英文里界面文字
只写英文名，开头注明界面目前只有简体中文，中文占位符换成英文占位符，中文数字的例子改成不依赖中文的说法。
数据剖析可以同时剖析 2–3 张表（baf23998）收进 data-catalog。
新增 scripts/check-docs.py：英文文档（README.md、docs/en/**）不许有中日韩字符和全角符号（代码块也算），
README、docs/**、deploy/README.md 的相对链接和锚点都要通，docs/zh-CN 与 docs/en 文件一一对应、标题层级相同。
中文提示里指向 README 章节的地方改指新文档：cluster/guard.py、cluster/version.py、db/base.py 两处报错，
data/schema_view.py 文档串，.env.example 三处，scripts/prod.sh、scripts/test-postgres.sh，terms.ts 两处、
DataSourcesTab.tsx、check-manage.mjs 注释，deploy/README.md 三处链接。deploy/agentlab.env 未动。
验收：check-docs 0 问题（英文文档 18 个 0 处中文，相对链接 369 条 0 断链，18 对标题层级一致）；相关后端测试
117 通过、7 跳过；tsc -b、check-copy 通过。
|
2026-10-21 10:23:26 +08:00 |
|
|
ThearchyHelios
|
f87b07694d
|
助手搭图时就发现「查的区间里表里没有数据」：自查（GraphChecker）对工具节点写死的 SQL 按今天跑一遍覆盖检查（data/coverage.sql_gaps：不跑原 SQL，只跑算界和现查范围的两条小查询，SQL 里所有带时间谓词的表都查，按表去重、限时，异步查库，带模板的 SQL 不查）；完全不重叠的作为一条 sql_no_data 问题交回模型改一轮（换有这段数据的表，没有就在 done 的说明里照实告诉用户数据只到哪天），修正后仍在的不挡运行，作为提醒留在检查结果和交付的问题清单里（问数据流式、画布非流式都是）。look / db_schema 的剖析信息在日期范围最早和最晚是同一天时加一句「剖析时这张表的 X 只有一天的数据，可能每天整表重灌：算历史周期请换有历史的表」；助手节点手册写明按周期取数前先看表的日期范围，只有一天、最新日期早于要查的区间的表不能用来算这段时间
|
2026-10-20 10:38:30 +08:00 |
|
|
ThearchyHelios
|
0488965352
|
探查范围外、没有注释的表中文需求命不中：照实写进模块说明，加一条测试钉住
真实模型验收里，范围外又没有注释的表只按英文名检索，中文需求命不中（data/schema_view 的 _outside_text 只放名字、拆出的词、
注释）。先查了有没有现成的英中业务词对照可以给拆出的词补上中文说法：命名推断只拆词、不翻译，catalog.name_words 也一样，仓库
里没有这样一份对照。按约定不临时编一份大词表（编出来的覆盖不全，还会把不相干的表抬上来），改成在模块说明里照实写清这个限制、
影响多大（真库多半有注释，注释照常参与检索；范围内的表另有目录中文名、列名）和怎么绕过去（按英文名点名查看会按需加入，或者
请管理员加进探查范围、补注释或目录中文名）。
测试：test_look_large.py::test_out_of_scope_objects_without_a_comment_match_only_their_english_name 钉住现在的行为
（英文名命中、中文需求命不中没注释的表、有注释的按注释命中），以后接了词表要跟着改。这一项只改说明、不改行为，没有
「去掉修复回跑」。
|
2026-10-17 11:53:54 +08:00 |
|
|
ThearchyHelios
|
c95e5b4e84
|
W3-a 取值观察：剖析引擎的四类观察检查、比较器、撤销「已列全」（next-round 03 B2）
码值出现新取值、比例剧变、业务日期断档、某天没数据，以前都看不到：确认过的码值列不再取分布，大表只看物理顺序最老的
前 10 万行，「已列全」过期以后 SQL 检查还照它提示。现在：
- 剖析引擎加四类观察检查（data/catalog_profile_observe.py）：rows（行数，用剖析开头那条估行数的结果）、codes_observe
（所有码值列，包括人工确认过、标了已列全的）、freshness（已确认或已验证的业务日期的最新日期）、daily_volume（最近 35
天按天计数）。计入每张表的预算、止损和留痕，每条观察记口径 basis 和它出自哪几条查询；遮罩列不进任何观察查询。
- 大表口径照目录-D7：有确认的业务日期且该列打头有索引看 35 天窗口；PG / Oracle 没有就块采样（比例按表的大小取一档，
不跨档比）；MySQL / SQLite 没有就按存储顺序的前 N 行，照实写口径。最新业务日期、按日行数在大表上只在有索引时才查。
SqlDialect 加 max_date_sql（有效区间里的最大日期），方言金样跟着加了两条。
- data/value_drift.py 纯函数比较器：新码值（已列全的任何新值、没列全的要占 0.5% 以上且有历史）、PSI 剧变（≥0.25
warning、0.1–0.25 info，两次都要 1,000 行）、断档（超过 max(2×中位间隔, 3 天)）、缺天（以前的窗口没有过）、量跌
（不到前 28 天中位数的 30%）、行数跌 30% / 涨 3 倍（估算值要连续两次）。只和同口径的历史比。
- 观察记进 table_observations（每张表每种观察留最近 26 条），比出的取值变化进 source_changes，和这张表的剖析结果、目录在
同一个事务里。机器唯一写进目录的事：数据证明码值表不再列全时撤销「已列全」（目录版本 +1，署名「取值观察」，值、含义、
状态都不动），SQL 检查随之不再按旧码值表提示 unknown_code。
- 剖析任务的范围加 observe（观察到期的有目录的表，只观察）和 maintenance（定时维护：需要剖析的 + 观察到期的）；人点的
「需要剖析 / 全部 / 指定的表」照旧不观察。只观察的那一项不算「上次剖析」（不顶掉表清单的上次剖析和给助手的剖析事实）。
任务的设置快照里记 trigger / fire_at / schedule_id（剖析任务表没有这几列）。
- 观察结论（最新业务日期、更新的行数）经 last_facts → schema_view.profile_lines 和剖析事实同一节进 look、db_schema、
/schema、表助手（X7），遮罩在渲染那一刻再核。
测试：test_value_drift（阈值两侧、口径不同不比）、test_catalog_observe（四类观察与口径、撤销已列全与 SQL 检查、去重、
遮罩不进查询、大表窗口与前 N 行、PG / Oracle 采样 SQL、观察不算上次剖析、进表详情）。
|
2026-10-16 16:40:41 +08:00 |
|
|
ThearchyHelios
|
1a6082f033
|
大库的对象索引、探查范围和后台探查（next-round 03 A1），schema_view 预筛与按需加入、剖析事实的后端（A2、遗留 e 的底座）
为什么：几千张表的库以前用不了——探查每个源最多取 200 个对象、按数据库列出的顺序截断，同步请求、整份替换、不排队；
落在窗口外的表在目录、look、剖析里被说成「表已不在」。
做了什么：
- db/models_sources.py：source_objects（对象索引一行一个对象：范围、原因、结构指纹与 struct_version、first_seen / last_seen /
removed_at、reflected_at、按需加入的留痕）、introspect_jobs / introspect_tasks（后台探查任务与逐表状态）。
- data/source_objects.py：每种方言一条字典查询建对象索引（失败退回 Inspector，上限 5 万，截断时不判删除）；探查范围规则
（options.introspect_scope：通配、按 name_key、排除优先、显式列出 / 移出；有目录的表、已发布模板写死 SQL 用到的表 pinned；
命中超上限拒绝并说出命中数）；唯一的 rebuild_schema_cache 从范围内已反射的行物化 schema_cache（形状不变，另加 scope 摘要）；
三种「不在」分开说（removed / missing / out_of_scope / reflect_failed）；按需加入（当场只读反射、落盘、留痕、进程内按源加锁）。
- data/introspect_jobs.py：探查改成后台任务（core/job_runtime，lane kind introspect，和同源起草、剖析串行；按批反射、逐表记状态、
可停止、读完的照样物化；重启标中断不续跑）。
- api/datasources.py：POST /introspect 返回 202 和任务，dry_run 同步只刷新索引、返回命中数；/introspect-jobs 读任务、停止；
/introspect-scope 读、预览、保存规则；/schema?table= 带剖析事实、说清三种「不在」；DataSourceOut 加 schema_scope、introspect_job。
- schema_view：search_tables（BM25 倒排，遮罩列只用列名，范围外只按名字和注释、权重低一档）、profile_lines（剖析事实一节，
附「只供写查询参考」，遮罩按渲染那一刻重滤，上传表格快照不一致时不给）、absent_detail。
- look：候选超过 PREFILTER_LIMIT 时只给预筛结果 + 已用到的表 + 一跳关联；点名或挑中范围外的表按需加入（每次查看最多 4 张），
look 记录加 added_to_scope、prefiltered；表详情带剖析事实。
- tools/datasource：db_schema__ 加 keyword、不传 table 时只列前 50 张；点名范围外的表按需加入（每次运行最多 8 张）；查询结果
照实列「未按目录检查的表」（unchecked_tables，不新增检查规则）；建工具时读剖析事实。
- 剖析：_relation_ends 分清「范围外，可以加入」和「表结构里没有」；任务记上传表格的 snapshot_id；last_facts。表助手、/schema
用同一段剖析事实。
- 目录接口：清单只列范围内，absent_reason 分开说；GET /catalog/search 查对象索引，POST /catalog/scope/add 加入范围。
- 第 1 波留下的一处：check_valid_filter 和 stored_valid_filter 拼有效记录条件时按 quote_name 强制加引号。
- 工具参数纠错：空着的可选参数不止一个时，只认拼写明显接近的那一个（db_schema 多了 keyword 以后 tabel 仍能纠成 table）。
- 测试：3,000 张表的合成库（对象索引、缺省范围超上限拒绝、规则圈 400 张后台读完、停止、重启标中断、和剖析排队、同步起草
409）、删除与结构版本、Inspector 回退、截断不判删除、范围规则、pinned、方言金样；改了同步探查的老测试改为等任务做完。
|
2026-10-16 14:17:06 +08:00 |
|
|
ThearchyHelios
|
0f32b8335e
|
应用平台 BE-4 助手：按需查看（默认只给数据源概览、look 行停下执行接着写、一次拿齐、每轮 3+1 次、系统代为查看、查看记录进历史），生成过程可插拔（Applier / Checker 注入、ask 结束本轮），查看对象按类型标记并实现表 / 能力 / 工作流版本三种（表详情与 db_schema__、/schema 共用并按遮罩规矩），应用润色接口 /copilot/app-stream，从运行提取模板记来源，演示模型走一次查看（含统一复核后的修复）
|
2026-10-14 20:05:23 +08:00 |
|