mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-22 12:32:01 +00:00
Excel 导入改造期 2:配方引擎与确认向导——表从哪一行哪一列开始、哪些是合计、日期怎么补年份,都写进一份可校验的配方;首次导入经人确认,之后每期按配方重放并核对
配方语言(agentlab-recipe/2,新 recipe_types、recipe) - 封闭、不含正则、保存时静态校验:常量只能从表里的候选文字里选,占位符只能映射成空值,单位从固定词表里取 - 交叉表和列表两种版式;分段各自定位、不依赖先后顺序;合计按标签语义区间核对,关系恒等式、口径不同的声明都写在配方里 - 固定的解析器集合(parsers/2):全角、各类横线、千分位、月日写法宽容归一,规范写法存库、原文另记 执行器(新 xlsx_cells、recipe_engine) - 两遍读取逐行对账,每个非空格都要有去向(格子账);交叉表逆透视成长表,按统计期补年份并断言覆盖整期 - 合计行改作核对并另存一张表,不和明细混在一列;区域外文字、隐藏行列、合并单元格、空行之后的文字都单独报出 - STRICT 加主键写临时库;按锚点段记溯源,供后续证据下钻用;大表流式读取,扫描在 sheetData 处停止 校验与说明(新 recipe_checks、recipe_notes) - SQL 核对分通过、不一致、无法核对三种结果,失败分结构、数据质量、需确认三类;结构类直接拒收 - 数据质量类可以写理由接受,接受不改库、只改状态和说明 - 表的说明按核对结果生成、不含数字,经过数字检查;没核对过的不写「已核对」 起草(新 recipe_suggest、recipe_ai) - 先用规则起草:建议卡片加待确认问题(关系要不要登记、占位符表示什么) - 规则起草不完整时才提示 AI 兜底:界面先展示要发出的全部文字,用户同意才发;只发结构,数字、隐藏行列、遮罩列不发,公式先脱敏;同意绑定模型和服务方;AI 只写配方,有限次修订,记 token 和费用;截断单独识别 - 无论规则还是 AI 起草,都必须人工确认才能启用 导入流程(新 recipe_imports、recipe_confirm、recipe_diff、api/table_imports) - 暂存 → 起草 → 回答问题或改配方 → 试运行 → 勾确认项、写接受理由 → 确认并启用;接入期 1 的构建、导入记录、快照和运行固定版本 - 上传新一期按已确认的配方重放,不调用模型,出回执和差异卡,手动启用 - 改配方报破坏性变更(breaking:*)、单位变化、工作表改名的兜底,都要逐项勾选确认 前端导入向导(新 pages/import) - 原始网格(行列号、去向着色)、建议卡片、配方面板(表单,不露正则)、试运行回执、确认清单、差异卡、AI 起草的同意对话框
This commit is contained in:
@@ -46,7 +46,7 @@ from app.data.xlsx_scan import SheetScan, TableScan, UnsupportedTable, WorkbookS
|
||||
|
||||
__all__ = [
|
||||
"CONVERSION_KINDS", "SHAPE_KINDS", "UNSHAPED_NOTE", "LoadReport", "LoadedTable", "NeedsDecision",
|
||||
"UnsupportedTable", "infer_type", "load_into",
|
||||
"UnsupportedTable", "as_text", "infer_type", "load_into", "open_book", "worksheet_for",
|
||||
]
|
||||
|
||||
#: 按原样导入(未规整)的表写进表结构的说明(data/table_versions.py 注入 schema_cache 的 comment)。
|
||||
@@ -309,6 +309,21 @@ def _as_text(value: Any, cls: int, payload: Any) -> str:
|
||||
return str(value)
|
||||
|
||||
|
||||
def as_text(value: Any) -> str:
|
||||
"""一个单元格要存进 TEXT 列的写法,与简单导入完全一致(配方导入的列表 TEXT 列、主键列共用)。
|
||||
|
||||
零点的日期写成 YYYY-MM-DD,带时刻的 YYYY-MM-DD HH:MM:SS,time 写成 HH:MM:SS,原生数字按常规写法,
|
||||
文本去首尾空白。两条导入路径各写一套的话,期 1 修掉的「日期存成 … 00:00:00」(#23)会在另一条路上重现。
|
||||
空值(None)是空字符串:调用方先判空,这里只保证不写出「None」。
|
||||
"""
|
||||
if value is None:
|
||||
return ""
|
||||
cls, payload, _ = _classify(value)
|
||||
if cls == _EMPTY:
|
||||
return ""
|
||||
return _as_text(value, cls, payload)
|
||||
|
||||
|
||||
def _is_date_like(value: Any) -> bool:
|
||||
return _date_like(_classify(value))
|
||||
|
||||
@@ -884,17 +899,52 @@ def _csv_sources(raw: bytes, filename: str, header_row: int) -> list[_Source]:
|
||||
csv=True)]
|
||||
|
||||
|
||||
def _open_book(raw: bytes) -> Any:
|
||||
def _quick_get_size(self: Any) -> None:
|
||||
"""openpyxl ReadOnlyWorksheet._get_size 的等价实现,只是读到 <sheetData> 开头就停。
|
||||
|
||||
原实现用 iterparse 的结束事件找 <dimension>,<sheetData> 的结束事件要等整张表读完才出现:文件里没有
|
||||
<dimension> 时(openpyxl write_only 等导出工具都不写),每次打开工作簿都把每张表整个解析一遍(20 万行约
|
||||
3 秒)。按 OOXML 的元素顺序 <dimension> 在 <sheetData> 之前,所以改用开始事件、碰到 <sheetData> 就停,
|
||||
结果与原实现完全相同(有就取它,没有就留空);读取层本来也先 reset_dimensions、按扫描算出的边界读。
|
||||
"""
|
||||
from openpyxl.worksheet._reader import DATA_TAG, DIMENSION_TAG
|
||||
from openpyxl.worksheet.dimensions import SheetDimension
|
||||
from openpyxl.xml.functions import iterparse
|
||||
|
||||
src = self._get_source()
|
||||
try:
|
||||
for _event, element in iterparse(src, events=("start",)):
|
||||
if element.tag == DIMENSION_TAG:
|
||||
self._min_column, self._min_row, self._max_column, self._max_row = \
|
||||
SheetDimension.from_tree(element).boundaries
|
||||
return
|
||||
if element.tag == DATA_TAG:
|
||||
return
|
||||
finally:
|
||||
src.close()
|
||||
|
||||
|
||||
def _install_quick_size() -> None:
|
||||
"""装上 _quick_get_size(幂等)。openpyxl 改了内部结构(没有 _get_size)就什么都不做,照原样慢一点。"""
|
||||
from openpyxl.worksheet._read_only import ReadOnlyWorksheet
|
||||
|
||||
if getattr(ReadOnlyWorksheet, "_get_size", None) not in (None, _quick_get_size):
|
||||
ReadOnlyWorksheet._get_size = _quick_get_size
|
||||
|
||||
|
||||
def open_book(raw: bytes, *, data_only: bool = True) -> Any:
|
||||
"""只读打开工作簿。data_only=False 取公式本身(配方读取层的公式一份,xlsx_cells.Workbooks)。"""
|
||||
try:
|
||||
from openpyxl import load_workbook
|
||||
except ImportError as e:
|
||||
raise UnsupportedTable(
|
||||
"读取 Excel 需要安装解析库:pip install 'agentlab-backend[docs]'"
|
||||
) from e
|
||||
_install_quick_size()
|
||||
try:
|
||||
# read_only 走流式;data_only 取公式算出来的值而不是公式本身——用户要的是数。
|
||||
# keep_links=False:外部链接里是别的工作簿的缓存数据(可以很大),导入用不上,不让它整份建树
|
||||
return load_workbook(io.BytesIO(raw), read_only=True, data_only=True, keep_links=False)
|
||||
return load_workbook(io.BytesIO(raw), read_only=True, data_only=data_only, keep_links=False)
|
||||
except Exception as e: # noqa: BLE001
|
||||
# 这句话原样进上传的 400:异常类名留在日志(from e),界面上只说能照着做的
|
||||
raise UnsupportedTable(
|
||||
@@ -902,7 +952,7 @@ def _open_book(raw: bytes) -> Any:
|
||||
) from e
|
||||
|
||||
|
||||
def _worksheet_for(book: Any, sheet: xlsx_scan.SheetScan) -> Any:
|
||||
def worksheet_for(book: Any, sheet: xlsx_scan.SheetScan) -> Any:
|
||||
"""扫描结果里的一张工作表 → openpyxl 里的同一张。按部件路径配对,不按名字。
|
||||
|
||||
按名字取(book[名字])时,openpyxl 返回第一个同名的表;扫描说「可见」的那张和导入实际读的
|
||||
@@ -916,6 +966,11 @@ def _worksheet_for(book: Any, sheet: xlsx_scan.SheetScan) -> Any:
|
||||
return found[0]
|
||||
|
||||
|
||||
#: 旧名字:期 1 的调用方和测试照旧可用(配方导入的读取层 xlsx_cells 用上面的公开名)
|
||||
_open_book = open_book
|
||||
_worksheet_for = worksheet_for
|
||||
|
||||
|
||||
def _excel_sources(scan: WorkbookScan, book: Any, header_row: int, report: LoadReport) -> list[_Source]:
|
||||
sources: list[_Source] = []
|
||||
#: 因为表头行号超出了内容而跳过的可见工作表:(表名, 最后一行)。全被这样跳过时报的是行号填错了
|
||||
|
||||
Reference in New Issue
Block a user