Excel 导入改造期 2:配方引擎与确认向导——表从哪一行哪一列开始、哪些是合计、日期怎么补年份,都写进一份可校验的配方;首次导入经人确认,之后每期按配方重放并核对

配方语言(agentlab-recipe/2,新 recipe_types、recipe)
- 封闭、不含正则、保存时静态校验:常量只能从表里的候选文字里选,占位符只能映射成空值,单位从固定词表里取
- 交叉表和列表两种版式;分段各自定位、不依赖先后顺序;合计按标签语义区间核对,关系恒等式、口径不同的声明都写在配方里
- 固定的解析器集合(parsers/2):全角、各类横线、千分位、月日写法宽容归一,规范写法存库、原文另记

执行器(新 xlsx_cells、recipe_engine)
- 两遍读取逐行对账,每个非空格都要有去向(格子账);交叉表逆透视成长表,按统计期补年份并断言覆盖整期
- 合计行改作核对并另存一张表,不和明细混在一列;区域外文字、隐藏行列、合并单元格、空行之后的文字都单独报出
- STRICT 加主键写临时库;按锚点段记溯源,供后续证据下钻用;大表流式读取,扫描在 sheetData 处停止

校验与说明(新 recipe_checks、recipe_notes)
- SQL 核对分通过、不一致、无法核对三种结果,失败分结构、数据质量、需确认三类;结构类直接拒收
- 数据质量类可以写理由接受,接受不改库、只改状态和说明
- 表的说明按核对结果生成、不含数字,经过数字检查;没核对过的不写「已核对」

起草(新 recipe_suggest、recipe_ai)
- 先用规则起草:建议卡片加待确认问题(关系要不要登记、占位符表示什么)
- 规则起草不完整时才提示 AI 兜底:界面先展示要发出的全部文字,用户同意才发;只发结构,数字、隐藏行列、遮罩列不发,公式先脱敏;同意绑定模型和服务方;AI 只写配方,有限次修订,记 token 和费用;截断单独识别
- 无论规则还是 AI 起草,都必须人工确认才能启用

导入流程(新 recipe_imports、recipe_confirm、recipe_diff、api/table_imports)
- 暂存 → 起草 → 回答问题或改配方 → 试运行 → 勾确认项、写接受理由 → 确认并启用;接入期 1 的构建、导入记录、快照和运行固定版本
- 上传新一期按已确认的配方重放,不调用模型,出回执和差异卡,手动启用
- 改配方报破坏性变更(breaking:*)、单位变化、工作表改名的兜底,都要逐项勾选确认

前端导入向导(新 pages/import)
- 原始网格(行列号、去向着色)、建议卡片、配方面板(表单,不露正则)、试运行回执、确认清单、差异卡、AI 起草的同意对话框
This commit is contained in:
ThearchyHelios
2026-10-01 22:00:07 +08:00
parent 8059cd5147
commit 2d5e50fa88
64 changed files with 36299 additions and 112 deletions
+19 -1
View File
@@ -3122,6 +3122,20 @@ def unshaped_table(entry: dict[str, Any], fetch: Callable[[Any], Any]) -> bool:
#: 写作目录里未规整的表名后面跟的那句。不含数字(H11)
_UNSHAPED_MARK = "(按原样导入、未经规整:同一列里混有不同口径的行,不能直接对列求和)"
#: 写作目录里「原表写明的合计」表(按配方导入另存的表内合计,表结构里 kind=reported_total)后面跟的那句(AU-5)
_REPORTED_TOTAL_MARK = "(原表写明的合计:不要彼此相加,也不要与明细相加)"
def reported_total_table(entry: dict[str, Any], fetch: Callable[[Any], Any]) -> bool:
"""目录里的这张表是不是原表写明的合计(冻结的表结构里 kind 为 reported_total)。口径同 unshaped_table。"""
name = entry.get("name") or (entry.get("locator") or {}).get("table")
for origin in entry.get("sources") or []:
if not (isinstance(origin, dict) and origin.get("kind") == "schema" and origin.get("artifact")):
continue
info = schema_table(fetch(origin["artifact"]), name)
if info is not None:
return info.get("kind") == "reported_total"
return False
def _entity_prompt(catalog: dict[str, Any], *, partial: bool = False, snaps: _Snapshots | None = None) -> list[str]:
@@ -3134,7 +3148,11 @@ def _entity_prompt(catalog: dict[str, Any], *, partial: bool = False, snaps: _Sn
return snaps._fetch(artifact, "表结构快照")[0] if snaps is not None else None
def mark(entry: dict[str, Any]) -> str:
return _UNSHAPED_MARK if snaps is not None and unshaped_table(entry, fetch) else ""
if snaps is None:
return ""
if unshaped_table(entry, fetch):
return _UNSHAPED_MARK
return _REPORTED_TOTAL_MARK if reported_total_table(entry, fetch) else ""
tables = [e for e in catalog.values() if e.get("kind") == "table"]
fields: dict[str, list[str]] = {}
+3
View File
@@ -499,6 +499,9 @@ def _table_lines(entry: dict[str, Any], catalog: dict[str, Any], fetch: _Fetch,
if info.get("comment") == UNSHAPED_NOTE:
# 上传时选了「按原样导入(未规整)」:对这张表的列直接求和得出的数,裁判要知道它不可靠(R4、D16)
lines.append(f"表的说明:{UNSHAPED_NOTE}")
elif info.get("kind") == "reported_total":
# 按配方导入另存的「原表写明的合计」:各合计项可能重叠,相加得出的数不可靠(AU-5)
lines.append("表的说明:原表写明的合计,各合计项可能互相重叠,不要彼此相加,也不要与明细相加")
if truncated:
lines.append("注意:表结构快照不完整(数据源的表太多,只保存了一部分),不能据此断定某张表或某个字段不存在")
return lines