Excel 导入改造期 2:配方引擎与确认向导——表从哪一行哪一列开始、哪些是合计、日期怎么补年份,都写进一份可校验的配方;首次导入经人确认,之后每期按配方重放并核对

配方语言(agentlab-recipe/2,新 recipe_types、recipe)
- 封闭、不含正则、保存时静态校验:常量只能从表里的候选文字里选,占位符只能映射成空值,单位从固定词表里取
- 交叉表和列表两种版式;分段各自定位、不依赖先后顺序;合计按标签语义区间核对,关系恒等式、口径不同的声明都写在配方里
- 固定的解析器集合(parsers/2):全角、各类横线、千分位、月日写法宽容归一,规范写法存库、原文另记

执行器(新 xlsx_cells、recipe_engine)
- 两遍读取逐行对账,每个非空格都要有去向(格子账);交叉表逆透视成长表,按统计期补年份并断言覆盖整期
- 合计行改作核对并另存一张表,不和明细混在一列;区域外文字、隐藏行列、合并单元格、空行之后的文字都单独报出
- STRICT 加主键写临时库;按锚点段记溯源,供后续证据下钻用;大表流式读取,扫描在 sheetData 处停止

校验与说明(新 recipe_checks、recipe_notes)
- SQL 核对分通过、不一致、无法核对三种结果,失败分结构、数据质量、需确认三类;结构类直接拒收
- 数据质量类可以写理由接受,接受不改库、只改状态和说明
- 表的说明按核对结果生成、不含数字,经过数字检查;没核对过的不写「已核对」

起草(新 recipe_suggest、recipe_ai)
- 先用规则起草:建议卡片加待确认问题(关系要不要登记、占位符表示什么)
- 规则起草不完整时才提示 AI 兜底:界面先展示要发出的全部文字,用户同意才发;只发结构,数字、隐藏行列、遮罩列不发,公式先脱敏;同意绑定模型和服务方;AI 只写配方,有限次修订,记 token 和费用;截断单独识别
- 无论规则还是 AI 起草,都必须人工确认才能启用

导入流程(新 recipe_imports、recipe_confirm、recipe_diff、api/table_imports)
- 暂存 → 起草 → 回答问题或改配方 → 试运行 → 勾确认项、写接受理由 → 确认并启用;接入期 1 的构建、导入记录、快照和运行固定版本
- 上传新一期按已确认的配方重放,不调用模型,出回执和差异卡,手动启用
- 改配方报破坏性变更(breaking:*)、单位变化、工作表改名的兜底,都要逐项勾选确认

前端导入向导(新 pages/import)
- 原始网格(行列号、去向着色)、建议卡片、配方面板(表单,不露正则)、试运行回执、确认清单、差异卡、AI 起草的同意对话框
This commit is contained in:
ThearchyHelios
2026-10-01 22:00:07 +08:00
parent 8059cd5147
commit 2d5e50fa88
64 changed files with 36299 additions and 112 deletions
+59 -4
View File
@@ -46,7 +46,7 @@ from app.data.xlsx_scan import SheetScan, TableScan, UnsupportedTable, WorkbookS
__all__ = [
"CONVERSION_KINDS", "SHAPE_KINDS", "UNSHAPED_NOTE", "LoadReport", "LoadedTable", "NeedsDecision",
"UnsupportedTable", "infer_type", "load_into",
"UnsupportedTable", "as_text", "infer_type", "load_into", "open_book", "worksheet_for",
]
#: 按原样导入(未规整)的表写进表结构的说明(data/table_versions.py 注入 schema_cache 的 comment)。
@@ -309,6 +309,21 @@ def _as_text(value: Any, cls: int, payload: Any) -> str:
return str(value)
def as_text(value: Any) -> str:
"""一个单元格要存进 TEXT 列的写法,与简单导入完全一致(配方导入的列表 TEXT 列、主键列共用)。
零点的日期写成 YYYY-MM-DD,带时刻的 YYYY-MM-DD HH:MM:SS,time 写成 HH:MM:SS,原生数字按常规写法,
文本去首尾空白。两条导入路径各写一套的话,期 1 修掉的「日期存成 … 00:00:00」(#23)会在另一条路上重现。
空值(None)是空字符串:调用方先判空,这里只保证不写出「None」。
"""
if value is None:
return ""
cls, payload, _ = _classify(value)
if cls == _EMPTY:
return ""
return _as_text(value, cls, payload)
def _is_date_like(value: Any) -> bool:
return _date_like(_classify(value))
@@ -884,17 +899,52 @@ def _csv_sources(raw: bytes, filename: str, header_row: int) -> list[_Source]:
csv=True)]
def _open_book(raw: bytes) -> Any:
def _quick_get_size(self: Any) -> None:
"""openpyxl ReadOnlyWorksheet._get_size 的等价实现,只是读到 <sheetData> 开头就停。
原实现用 iterparse 的结束事件找 <dimension>,<sheetData> 的结束事件要等整张表读完才出现:文件里没有
<dimension> 时(openpyxl write_only 等导出工具都不写),每次打开工作簿都把每张表整个解析一遍(20 万行约
3 秒)。按 OOXML 的元素顺序 <dimension> 在 <sheetData> 之前,所以改用开始事件、碰到 <sheetData> 就停,
结果与原实现完全相同(有就取它,没有就留空);读取层本来也先 reset_dimensions、按扫描算出的边界读。
"""
from openpyxl.worksheet._reader import DATA_TAG, DIMENSION_TAG
from openpyxl.worksheet.dimensions import SheetDimension
from openpyxl.xml.functions import iterparse
src = self._get_source()
try:
for _event, element in iterparse(src, events=("start",)):
if element.tag == DIMENSION_TAG:
self._min_column, self._min_row, self._max_column, self._max_row = \
SheetDimension.from_tree(element).boundaries
return
if element.tag == DATA_TAG:
return
finally:
src.close()
def _install_quick_size() -> None:
"""装上 _quick_get_size(幂等)。openpyxl 改了内部结构(没有 _get_size)就什么都不做,照原样慢一点。"""
from openpyxl.worksheet._read_only import ReadOnlyWorksheet
if getattr(ReadOnlyWorksheet, "_get_size", None) not in (None, _quick_get_size):
ReadOnlyWorksheet._get_size = _quick_get_size
def open_book(raw: bytes, *, data_only: bool = True) -> Any:
"""只读打开工作簿。data_only=False 取公式本身(配方读取层的公式一份,xlsx_cells.Workbooks)。"""
try:
from openpyxl import load_workbook
except ImportError as e:
raise UnsupportedTable(
"读取 Excel 需要安装解析库:pip install 'agentlab-backend[docs]'"
) from e
_install_quick_size()
try:
# read_only 走流式;data_only 取公式算出来的值而不是公式本身——用户要的是数。
# keep_links=False:外部链接里是别的工作簿的缓存数据(可以很大),导入用不上,不让它整份建树
return load_workbook(io.BytesIO(raw), read_only=True, data_only=True, keep_links=False)
return load_workbook(io.BytesIO(raw), read_only=True, data_only=data_only, keep_links=False)
except Exception as e: # noqa: BLE001
# 这句话原样进上传的 400:异常类名留在日志(from e),界面上只说能照着做的
raise UnsupportedTable(
@@ -902,7 +952,7 @@ def _open_book(raw: bytes) -> Any:
) from e
def _worksheet_for(book: Any, sheet: xlsx_scan.SheetScan) -> Any:
def worksheet_for(book: Any, sheet: xlsx_scan.SheetScan) -> Any:
"""扫描结果里的一张工作表 → openpyxl 里的同一张。按部件路径配对,不按名字。
按名字取(book[名字])时,openpyxl 返回第一个同名的表;扫描说「可见」的那张和导入实际读的
@@ -916,6 +966,11 @@ def _worksheet_for(book: Any, sheet: xlsx_scan.SheetScan) -> Any:
return found[0]
#: 旧名字:期 1 的调用方和测试照旧可用(配方导入的读取层 xlsx_cells 用上面的公开名)
_open_book = open_book
_worksheet_for = worksheet_for
def _excel_sources(scan: WorkbookScan, book: Any, header_row: int, report: LoadReport) -> list[_Source]:
sources: list[_Source] = []
#: 因为表头行号超出了内容而跳过的可见工作表:(表名, 最后一行)。全被这样跳过时报的是行号填错了