 ThearchyHelios
|
2cdbf9a733
|
Excel 导入改造期 3：网格交互、自助修复、按期累积——每月的报表可以累积成一份跨月的表，漂移了点修复按钮就能接着导入，网格上框一块就能写进配方，版本页可以回滚、移除一期、清除原件
按期累积（新 recipe_accumulate；table_versions 扩展）
- 按统计期出的交叉表报表首次导入时默认「按期累积」，由人确认；一期一个构建，两期及以上物化成一份新的 SQLite 快照，不用视图
- 统计期完全相同要勾「替换该期」，部分重叠拒收，中间有空缺要确认；物化前逐期核对库哈希和行号，并集上另加行数守恒、主键唯一、日期落在所属统计期三条核对
- 配方演进分三档：新增列（早期各期为空值）、退役的列和表保留旧值（只在这次才退役时要勾）、不兼容变化只能显式「重新开始累积」
- 快照 id 在累积时含目标配方和模式；同样的输入物化两次库哈希相同，同一文件换名再传直接复用
- 说明按期合并，任何一期没核对过就不写「已核对」；各期维度取值不同、退役列、合计表都有提示，经过数字检查
修复按钮（新 recipe_fixes；执行器给问题带结构化参数）
- 加入标签、移除标签、声明为合计行、分段标题改名、编辑恒等式成员、按锚点忽略行/列/区域外文字、声明占位符、声明隐藏行处理、工作表改名
- 服务端算补丁，先预览新旧配方对照、再应用，可以撤销；补丁封闭，不引入正则、自由文本常量和写死坐标；修复进确认清单
- 只改分段标题、新标题仍含原来选的词时沿用已确认的常量，不算破坏性变更；修复后只查改动过的段的认领，没改的关系交给试运行核对
框选转锚点（新 recipe_select）
- 网格上框选（鼠标、键盘、区域输入），按八种用途换算成按文字认的锚点，立刻干跑比对；配方里不存坐标，泛化不了时列出原因
- 整张表挪位后同一配方照样认得；框进合计行、夹着小计、表下说明都有明确的处理
确认与对照（recipe_confirm、recipe_diff、新 recipe_compare）
- 改配方后确认清单只列有变化的项（同时按本期数据比较），不用每修一次重勾十来项；新旧配方对照界面；按规则重新起草并把名字对齐到现行配方
- 改配方后已体现在配方里的回答保留，矛盾的列出来请人重答
- 「排除的行」写进回执和导入清单：隐藏行、跳过的空行、按配方忽略的行、停止后的文字行、只核对不另存的合计行
版本页（新 source_versions、api/source_versions；前端 VersionsDialog）
- 快照与导入记录列表、启用旧版本（可写理由）、查看清单、移除一期、作废接受、清除原件；写操作带界面看到的当前版本，并发改动回 409，不静默丢期
- 除当前版本和被运行引用的版本外，再保留最近 3 个版本供回滚；遮罩列丢失要明确确认
期 1、期 2 遗留
- 重传撞上被改过的构建文件：能用本次上传恢复就隔离旧文件再恢复，否则回 409，不再是 500
- 跳过空行的列表不再把表下隔一行的说明读成数据；不像说明的单格行要人确认；受影响的配方构建换 id
- 版本存储加进程级文件锁：第二个进程拿不到锁时不清理、不回收，写操作回 503（部署本来就是单进程）
|
2026-10-02 07:38:44 +08:00 |
|
|
ThearchyHelios
|
2d5e50fa88
|
Excel 导入改造期 2：配方引擎与确认向导——表从哪一行哪一列开始、哪些是合计、日期怎么补年份，都写进一份可校验的配方；首次导入经人确认，之后每期按配方重放并核对
配方语言（agentlab-recipe/2，新 recipe_types、recipe）
- 封闭、不含正则、保存时静态校验：常量只能从表里的候选文字里选，占位符只能映射成空值，单位从固定词表里取
- 交叉表和列表两种版式；分段各自定位、不依赖先后顺序；合计按标签语义区间核对，关系恒等式、口径不同的声明都写在配方里
- 固定的解析器集合（parsers/2）：全角、各类横线、千分位、月日写法宽容归一，规范写法存库、原文另记
执行器（新 xlsx_cells、recipe_engine）
- 两遍读取逐行对账，每个非空格都要有去向（格子账）；交叉表逆透视成长表，按统计期补年份并断言覆盖整期
- 合计行改作核对并另存一张表，不和明细混在一列；区域外文字、隐藏行列、合并单元格、空行之后的文字都单独报出
- STRICT 加主键写临时库；按锚点段记溯源，供后续证据下钻用；大表流式读取，扫描在 sheetData 处停止
校验与说明（新 recipe_checks、recipe_notes）
- SQL 核对分通过、不一致、无法核对三种结果，失败分结构、数据质量、需确认三类；结构类直接拒收
- 数据质量类可以写理由接受，接受不改库、只改状态和说明
- 表的说明按核对结果生成、不含数字，经过数字检查；没核对过的不写「已核对」
起草（新 recipe_suggest、recipe_ai）
- 先用规则起草：建议卡片加待确认问题（关系要不要登记、占位符表示什么）
- 规则起草不完整时才提示 AI 兜底：界面先展示要发出的全部文字，用户同意才发；只发结构，数字、隐藏行列、遮罩列不发，公式先脱敏；同意绑定模型和服务方；AI 只写配方，有限次修订，记 token 和费用；截断单独识别
- 无论规则还是 AI 起草，都必须人工确认才能启用
导入流程（新 recipe_imports、recipe_confirm、recipe_diff、api/table_imports）
- 暂存 → 起草 → 回答问题或改配方 → 试运行 → 勾确认项、写接受理由 → 确认并启用；接入期 1 的构建、导入记录、快照和运行固定版本
- 上传新一期按已确认的配方重放，不调用模型，出回执和差异卡，手动启用
- 改配方报破坏性变更（breaking:*）、单位变化、工作表改名的兜底，都要逐项勾选确认
前端导入向导（新 pages/import）
- 原始网格（行列号、去向着色）、建议卡片、配方面板（表单，不露正则）、试运行回执、确认清单、差异卡、AI 起草的同意对话框
|
2026-10-01 22:00:07 +08:00 |
|
|
ThearchyHelios
|
8059cd5147
|
Excel 导入改造期 1：止血与版本底座——写错的列名不再静默得 0，导入不再悄悄读错，每次上传生成不可变的版本，运行固定发起时的数据版本
连接层
- 所有 SQLite 数据源关闭双引号字符串兼容（DQS），写错的双引号列名直接报错；设置失败就拒绝连接，启动时自检
- 连接缓存按数据源加版本快照分键、按源整体失效、最多 32 个；版本快照以 immutable 只读打开，建连接前核对文件哈希，并在借出连接时核对文件指纹，被改过就拒绝查询
- 结构探查遇到取不了列的视图时逐个对象重取，只跳过坏的那个并注明原因
解析（新 xlsx_scan + tabular）
- 先流式扫描真实边界和版式（不信 dimension），再按边界读值，不整表进内存；按 Excel 自身上限设硬上限，并发解析最多两个
- 隐藏和深度隐藏的工作表不导入；稀疏区域、无缓存值的公式、同名工作表、DTD 拒收
- 去掉空行和两侧空列；列名表名统一规范化（新 names 模块）并保留原表头，撞名不再互相覆盖
- 前导零、超长数字按文本；千分位按数字；日期不带 T；带单位的数字文本写进回执
- 数字列混入非数字、交叉表和多块结构必须由用户决定（422），可选存空值或按原样导入（未规整）；STRICT 建表，整份在一个事务里写完
版本底座（新 table_versions、raw_store）
- 每次上传写新库文件、落盘、0444，事务里写构建、导入记录、快照后才切指针；失败时旧版完整可查
- 原件按哈希存档，不提供下载，可以清除；上传源不许改连接字段、不再重新探查；手工 SQLite 源不许指向上传目录和应用自己的数据文件（按文件身份判断）
- 启动时清理半成品与孤儿文件、给老上传补初始版本；被运行引用的版本不回收，发起运行与回收互斥
- 上传接口的解析移到线程池
运行固定数据版本
- 发起时把图里（含子工作流）用到的上传源的当前快照记进运行记录和 run.started，续跑、审批恢复沿用；数据源工具按固定的快照生成描述、表结构并查询
- 固定的版本没了、源被删除后同名重建，都明确报错，不改用当前版本或同名的新源；查询快照记 data_version
证据层
- 新报告记 entity_syntax: 2，[[t:明细]]、[[c:明细.金额]] 和 SQL 里不加引号的中文表名都认得，名字按 SQLite 的口径查找；老报告按原规则复核，结果不变
- 写作规则改为中文表名、字段名一律用 [[t:]] / [[c:]]；未规整的表在工具描述、写作目录和裁判摘录里标出
前端
- 上传弹窗接上导入前的决定（混合列、交叉表）和导入回执（跳过的隐藏表、类型转换、警告、原表头对照、未规整标记），上传前告知原件会保存
- 数据源卡片按 origin 认上传的表格，显示当前版本；上传的表格不再给「探查结构」
|
2026-10-01 13:42:04 +08:00 |
|