Excel 导入改造期 1:止血与版本底座——写错的列名不再静默得 0,导入不再悄悄读错,每次上传生成不可变的版本,运行固定发起时的数据版本

连接层
- 所有 SQLite 数据源关闭双引号字符串兼容(DQS),写错的双引号列名直接报错;设置失败就拒绝连接,启动时自检
- 连接缓存按数据源加版本快照分键、按源整体失效、最多 32 个;版本快照以 immutable 只读打开,建连接前核对文件哈希,并在借出连接时核对文件指纹,被改过就拒绝查询
- 结构探查遇到取不了列的视图时逐个对象重取,只跳过坏的那个并注明原因

解析(新 xlsx_scan + tabular)
- 先流式扫描真实边界和版式(不信 dimension),再按边界读值,不整表进内存;按 Excel 自身上限设硬上限,并发解析最多两个
- 隐藏和深度隐藏的工作表不导入;稀疏区域、无缓存值的公式、同名工作表、DTD 拒收
- 去掉空行和两侧空列;列名表名统一规范化(新 names 模块)并保留原表头,撞名不再互相覆盖
- 前导零、超长数字按文本;千分位按数字;日期不带 T;带单位的数字文本写进回执
- 数字列混入非数字、交叉表和多块结构必须由用户决定(422),可选存空值或按原样导入(未规整);STRICT 建表,整份在一个事务里写完

版本底座(新 table_versions、raw_store)
- 每次上传写新库文件、落盘、0444,事务里写构建、导入记录、快照后才切指针;失败时旧版完整可查
- 原件按哈希存档,不提供下载,可以清除;上传源不许改连接字段、不再重新探查;手工 SQLite 源不许指向上传目录和应用自己的数据文件(按文件身份判断)
- 启动时清理半成品与孤儿文件、给老上传补初始版本;被运行引用的版本不回收,发起运行与回收互斥
- 上传接口的解析移到线程池

运行固定数据版本
- 发起时把图里(含子工作流)用到的上传源的当前快照记进运行记录和 run.started,续跑、审批恢复沿用;数据源工具按固定的快照生成描述、表结构并查询
- 固定的版本没了、源被删除后同名重建,都明确报错,不改用当前版本或同名的新源;查询快照记 data_version

证据层
- 新报告记 entity_syntax: 2,[[t:明细]]、[[c:明细.金额]] 和 SQL 里不加引号的中文表名都认得,名字按 SQLite 的口径查找;老报告按原规则复核,结果不变
- 写作规则改为中文表名、字段名一律用 [[t:]] / [[c:]];未规整的表在工具描述、写作目录和裁判摘录里标出

前端
- 上传弹窗接上导入前的决定(混合列、交叉表)和导入回执(跳过的隐藏表、类型转换、警告、原表头对照、未规整标记),上传前告知原件会保存
- 数据源卡片按 origin 认上传的表格,显示当前版本;上传的表格不再给「探查结构」
This commit is contained in:
ThearchyHelios
2026-10-01 13:42:04 +08:00
parent c837cdbfa3
commit 8059cd5147
38 changed files with 12465 additions and 535 deletions
+6
View File
@@ -168,6 +168,12 @@ _COLUMN_MIGRATIONS: list[tuple[str, str, str]] = [
("conversation_turns", "meta", "JSON"),
("data_sources", "last_check", "JSON"),
("mcp_servers", "last_check", "JSON"),
# 存量的源一律先记成 manual;老的上传源由 table_versions.startup 按路径认出来,
# 补上 v0 版本后再改成 upload
("data_sources", "origin", "TEXT DEFAULT 'manual'"),
("data_sources", "current_snapshot_id", "VARCHAR(64)"),
# 存量运行没有钉过版本,NULL 正好表示「升级前发起的」
("runs", "data_versions", "JSON"),
]
+85
View File
@@ -61,6 +61,88 @@ class DataSource(Base, TimestampMixin):
enabled: Mapped[bool] = mapped_column(default=True)
# 最近一次测连接:{at, ok, latency_ms, error}。记在对象上,换台浏览器也看得到
last_check: Mapped[dict[str, Any] | None] = mapped_column(default=None)
# upload:上传表格建的源,连接信息由系统维护(data/table_versions.py),不许手改;
# manual:手工登记的连接。按这个字段判断,而不是猜 database 的路径
origin: Mapped[str] = mapped_column(String(20), default="manual")
# 上传源当前启用的快照(source_snapshots.id)。查询、探查都从快照解析,
# database 只作显示;手工源恒为 None
current_snapshot_id: Mapped[str | None] = mapped_column(String(64), default=None)
# --------------------------------------------------------------------------
# 上传表格的版本:构建 → 导入记录 → 快照(data/table_versions.py)
# --------------------------------------------------------------------------
class TableBuild(Base):
"""一次解析的产物:同一个源、同一份原件、同一组解析选项、同一版解析器,只建一次库。
id 是这四样的 sha256 全长,source_id 算在里面:两个源传同一个文件得到两个构建,
互不引用——一个源删掉、回收,不会连带另一个源的库。库文件写好后是只读的(0444),
之后不再改动;回收时删掉文件、记录留着(retired_at)备查。
"""
__tablename__ = "table_builds"
id: Mapped[str] = mapped_column(String(64), primary_key=True)
source_id: Mapped[str] = mapped_column(String(32), index=True)
raw_sha256: Mapped[str] = mapped_column(String(64), default="")
options_sha256: Mapped[str] = mapped_column(String(64), default="")
engine_ver: Mapped[str] = mapped_column(String(40), default="")
options: Mapped[dict[str, Any]] = mapped_column(default=dict)
db_path: Mapped[str] = mapped_column(Text, default="")
db_sha256: Mapped[str] = mapped_column(String(64), default="")
# 解析回执(tabular.LoadReport):区域、跳过的工作表、类型转换、警告
report: Mapped[dict[str, Any]] = mapped_column(default=dict)
created_at: Mapped[datetime] = mapped_column(UTCDateTime, default=utcnow)
# 库文件被回收的时刻。为空表示文件还在
retired_at: Mapped[datetime | None] = mapped_column(UTCDateTime, default=None)
class TableImport(Base):
"""一次上传。重传同一个文件也是一条新记录(指向同一个构建):谁、何时、传了什么,都要留痕。
不挂外键:数据源删掉以后,导入记录置 retired 留作审计,不跟着删。
"""
__tablename__ = "table_imports"
__table_args__ = (Index("ix_table_imports_source_seq", "source_id", "seq"),)
id: Mapped[str] = mapped_column(String(32), primary_key=True, default=new_id)
source_id: Mapped[str] = mapped_column(String(32))
seq: Mapped[int] = mapped_column(Integer, default=0)
build_id: Mapped[str] = mapped_column(String(64), default="")
file_name: Mapped[str] = mapped_column(String(500), default="")
file_size: Mapped[int] = mapped_column(Integer, default=0)
raw_sha256: Mapped[str] = mapped_column(String(64), default="")
# kept:原件在 uploads/raw 里;purged:清除过(purged 里记时间、署名、理由);
# absent:从来没有原件(迁移前的老上传只剩 .db)
raw_state: Mapped[str] = mapped_column(String(20), default="kept")
# active:当前快照里的那一期;superseded:被新上传替换、文件还在;retired:已回收或源已删除
status: Mapped[str] = mapped_column(String(20), default="active", index=True)
purged: Mapped[dict[str, Any] | None] = mapped_column(default=None)
created_at: Mapped[datetime] = mapped_column(UTCDateTime, default=utcnow)
activated_at: Mapped[datetime | None] = mapped_column(UTCDateTime, default=None)
class SourceSnapshot(Base):
"""数据源的一个可查询版本:若干期导入合成的一个库,加上冻结的表结构。
期 1 只有「每期替换」:一个快照就是一期导入,db_path 直接用那次构建的库。
运行钉的是快照 id(runs.data_versions),表结构和数据出自同一个版本。
"""
__tablename__ = "source_snapshots"
id: Mapped[str] = mapped_column(String(64), primary_key=True)
source_id: Mapped[str] = mapped_column(String(32), index=True)
imports: Mapped[list[Any]] = mapped_column(default=list) # import id 列表
db_path: Mapped[str] = mapped_column(Text, default="")
db_sha256: Mapped[str] = mapped_column(String(64), default="")
schema_cache: Mapped[dict[str, Any]] = mapped_column(default=dict)
created_at: Mapped[datetime] = mapped_column(UTCDateTime, default=utcnow)
# 没有运行、也不是当前版本时由回收标上;之后钉着它的请求明确报「版本不存在」
retired_at: Mapped[datetime | None] = mapped_column(UTCDateTime, default=None)
class Setting(Base, TimestampMixin):
@@ -199,6 +281,9 @@ class Run(Base, TimestampMixin):
agent_limits: Mapped[dict[str, Any] | None] = mapped_column(default=None)
# 失败时能定位到的节点。报错要能落到画布上的那张卡片,而不只是一句话
error_node_id: Mapped[str | None] = mapped_column(String(64), default=None)
# 发起时钉住的上传表格版本:{source_id: {"snapshot": 快照 id, "name": 源名}}。续跑、恢复沿用,
# 回收(table_versions.gc)不删任何运行引用的快照。None 是升级前发起的运行
data_versions: Mapped[dict[str, Any] | None] = mapped_column(default=None)
events: Mapped[list["RunEvent"]] = relationship(
back_populates="run", cascade="all, delete-orphan"