Excel 导入改造期 1:止血与版本底座——写错的列名不再静默得 0,导入不再悄悄读错,每次上传生成不可变的版本,运行固定发起时的数据版本

连接层
- 所有 SQLite 数据源关闭双引号字符串兼容(DQS),写错的双引号列名直接报错;设置失败就拒绝连接,启动时自检
- 连接缓存按数据源加版本快照分键、按源整体失效、最多 32 个;版本快照以 immutable 只读打开,建连接前核对文件哈希,并在借出连接时核对文件指纹,被改过就拒绝查询
- 结构探查遇到取不了列的视图时逐个对象重取,只跳过坏的那个并注明原因

解析(新 xlsx_scan + tabular)
- 先流式扫描真实边界和版式(不信 dimension),再按边界读值,不整表进内存;按 Excel 自身上限设硬上限,并发解析最多两个
- 隐藏和深度隐藏的工作表不导入;稀疏区域、无缓存值的公式、同名工作表、DTD 拒收
- 去掉空行和两侧空列;列名表名统一规范化(新 names 模块)并保留原表头,撞名不再互相覆盖
- 前导零、超长数字按文本;千分位按数字;日期不带 T;带单位的数字文本写进回执
- 数字列混入非数字、交叉表和多块结构必须由用户决定(422),可选存空值或按原样导入(未规整);STRICT 建表,整份在一个事务里写完

版本底座(新 table_versions、raw_store)
- 每次上传写新库文件、落盘、0444,事务里写构建、导入记录、快照后才切指针;失败时旧版完整可查
- 原件按哈希存档,不提供下载,可以清除;上传源不许改连接字段、不再重新探查;手工 SQLite 源不许指向上传目录和应用自己的数据文件(按文件身份判断)
- 启动时清理半成品与孤儿文件、给老上传补初始版本;被运行引用的版本不回收,发起运行与回收互斥
- 上传接口的解析移到线程池

运行固定数据版本
- 发起时把图里(含子工作流)用到的上传源的当前快照记进运行记录和 run.started,续跑、审批恢复沿用;数据源工具按固定的快照生成描述、表结构并查询
- 固定的版本没了、源被删除后同名重建,都明确报错,不改用当前版本或同名的新源;查询快照记 data_version

证据层
- 新报告记 entity_syntax: 2,[[t:明细]]、[[c:明细.金额]] 和 SQL 里不加引号的中文表名都认得,名字按 SQLite 的口径查找;老报告按原规则复核,结果不变
- 写作规则改为中文表名、字段名一律用 [[t:]] / [[c:]];未规整的表在工具描述、写作目录和裁判摘录里标出

前端
- 上传弹窗接上导入前的决定(混合列、交叉表)和导入回执(跳过的隐藏表、类型转换、警告、原表头对照、未规整标记),上传前告知原件会保存
- 数据源卡片按 origin 认上传的表格,显示当前版本;上传的表格不再给「探查结构」
This commit is contained in:
ThearchyHelios
2026-10-01 13:42:04 +08:00
parent c837cdbfa3
commit 8059cd5147
38 changed files with 12465 additions and 535 deletions
+113 -20
View File
@@ -25,6 +25,7 @@ from app.engine.compiler import compile_graph, initial_state
from app.engine.context import NodeError, RunContext
from app.engine.replay import PROTOCOL, PROTOCOL_KEY, protocol_of
from app.engine.schema import GraphSpec, NodeType, loop_steps, topology_of, validate_graph
from app.tools.datasource import RUN_VERSIONS_KEY
logger = logging.getLogger(__name__)
@@ -188,29 +189,35 @@ class RunManager:
approval_default = await _approval_default(run_class=run_class)
async with SessionLocal() as session:
from app.data.table_versions import pin_lock
from app.tools.trust import run_snapshot
tool_trust = await run_snapshot(session, run_class=run_class)
agent_limits = await _agent_limits(session)
run = Run(
workflow_id=workflow_id,
workflow_name=workflow_name,
status="queued",
graph=graph,
input=input_payload,
run_class=run_class,
version=version,
version_hash=version_hash,
started_by=started_by,
memory_scope=memory_scope,
collection=collection,
approval_default=approval_default,
tool_trust=tool_trust,
agent_limits=agent_limits,
)
run.thread_id = run.id # 一个 run 一条 checkpoint 线程
session.add(run)
await session.commit()
# 读上传表格的当前指针到运行记录提交,持着版本存储的锁:中间有人重传的话,发布后的回收
# 看不到这条还没提交的运行,会把刚固定的快照删掉(table_versions.pin_lock)
async with pin_lock():
data_versions = await _data_versions(session, spec)
run = Run(
workflow_id=workflow_id,
workflow_name=workflow_name,
status="queued",
graph=graph,
input=input_payload,
run_class=run_class,
version=version,
version_hash=version_hash,
started_by=started_by,
memory_scope=memory_scope,
collection=collection,
approval_default=approval_default,
tool_trust=tool_trust,
agent_limits=agent_limits,
data_versions=data_versions,
)
run.thread_id = run.id # 一个 run 一条 checkpoint 线程
session.add(run)
await session.commit()
await session.refresh(run)
self._tasks[run.id] = asyncio.create_task(
@@ -224,6 +231,7 @@ class RunManager:
approval_default=approval_default,
tool_trust=tool_trust,
agent_limits=agent_limits,
data_versions=data_versions,
)
)
return run
@@ -576,6 +584,7 @@ class RunManager:
approval_default: str | None = None,
tool_trust: dict[str, str] | None = None,
agent_limits: dict[str, Any] | None = None,
data_versions: dict[str, Any] | None = None,
resumed: list[str] | tuple[str, ...] = (),
actors: dict[str, str | None] | None = None,
) -> None:
@@ -618,6 +627,9 @@ class RunManager:
"tool_trust": _trust_event(tool_trust),
# agent 护栏的上限(步数兜底、令牌 / 金额预算),None 是升级前的运行
"agent_limits": agent_limits,
# 这次运行固定的上传表格版本(源 id → 快照 id、源名)。续跑、恢复记的是
# 运行记录里的那份,含运行中途第一次用到时补上的;None 是升级前的运行
"data_versions": data_versions,
# 这一段是按哪一版重放协议跑的,恢复时据此认出升级前做下的工作
"replay_protocol": PROTOCOL},
)
@@ -632,7 +644,11 @@ class RunManager:
approval_default=approval_default,
tool_trust=tool_trust,
agent_limits=agent_limits,
extra={"resumed": set(resumed), "actors": dict(actors or {})},
# 数据版本放 extra:数据源工具经 ToolContext.data_versions 拿到(tools/datasource.py
# 的 run_versions)。复制一份:运行中途补固定的源就地写进这个 dict,同一段执行里
# 后面的节点都看得到,但不该碰到别处(运行记录、事件)手上的那个对象
extra={"resumed": set(resumed), "actors": dict(actors or {}),
RUN_VERSIONS_KEY: dict(data_versions) if data_versions is not None else None},
)
app = compile_graph(spec, run_ctx).compile(checkpointer=self.checkpointer)
# 循环按自己声明的轮数另记一份预算,全局上限只管没人把关的环
@@ -1003,9 +1019,86 @@ def _carried(run: Run) -> dict[str, Any]:
"approval_default": run.approval_default,
"tool_trust": run.tool_trust,
"agent_limits": run.agent_limits,
# 固定的数据版本照运行记录来,不重新读数据源的当前指针:中途重传过,续跑查的仍是发起时那一版
"data_versions": run.data_versions,
}
async def _data_versions(session: Any, spec: GraphSpec) -> dict[str, Any]:
"""发起时固定这次运行用到的上传表格版本:{源 id: {"snapshot": 当前快照 id, "name": 源名}}。
和 tool_trust、agent_limits 一样在发起这一刻定下、存进运行记录:续跑、审批恢复沿用它,
不再读数据源的当前指针——运行中途有人重传,这次运行查的仍是发起时那一版。数据源工具按它
解析源(tools/datasource.py),回收按它保留快照(data/table_versions.gc)。
只算这张图实际用到的源:调用工具节点、Agent、协作成员绑的 db_query__ / db_schema__,连同
子工作流里绑的。没用到的源不固定,否则它们的旧版本会因为这次运行白白留着。手工源不分版本,
不进来。工具名里有模板({{ }})时,发起时说不准它会落到哪个源,就把所有启用的上传源都固定上
(多固定几个只是多留几个旧版本;漏掉一个,这次运行就可能前后查到两版数据)。
发起时算不到的(继续运行时改了节点配置、没固定版本的子工作流中途被改过、运行中途新建的源)
由数据源工具第一次用到时补上(tools/datasource.py 的 _pin_late,记进运行记录并发一条日志事件)。
没用到任何上传源时返回空 dict 而不是 None:None 留给升级前发起的运行(照旧用当前版本,不补固定)。
"""
from app.db.models import DataSource
names, anything = await _bound_sources(session, spec)
if not names and not anything:
return {}
query = select(DataSource.id, DataSource.name, DataSource.current_snapshot_id).where(
DataSource.enabled.is_(True), DataSource.origin == "upload",
DataSource.current_snapshot_id.is_not(None),
).order_by(DataSource.name)
if not anything:
query = query.where(DataSource.name.in_(sorted(names)))
rows = (await session.execute(query)).all()
return {sid: {"snapshot": snap, "name": name} for sid, name, snap in rows}
async def _bound_sources(session: Any, spec: GraphSpec) -> tuple[set[str], bool]:
"""图里(含子工作流)绑定的数据源工具指向的源名,以及有没有带模板、发起时定不下来的工具名。
绑定的取法和发起前检查同一个(api/runs.py 的 tool_bindings),子工作流照运行时的取法
读出来接着找:固定了版本的读那一版,没固定的读工作流现在的图。读不到、图不成形的跳过——
那个节点运行时自己会报错。同一个工作流(同一版)只读一次,互相引用也不会转圈。
"""
from app.api.runs import node_setting, tool_bindings
from app.db.models import WorkflowVersion
from app.tools.datasource import source_of_tool
names: set[str] = set()
anything = False
seen: set[tuple[str, str]] = set()
queue: list[GraphSpec] = [spec]
while queue:
graph = queue.pop(0)
for _, tool in tool_bindings(graph):
if "{{" in tool:
anything = True
elif (source := source_of_tool(tool)) is not None:
names.add(source)
for node in graph.nodes:
if node.type != NodeType.SUBGRAPH:
continue
# 和 NodeContext.cfg 一样:节点上没写就取图级 defaults(tool_bindings 读工具也是这个规则)
wid, pinned = (node_setting(graph, node, k) for k in ("workflow_id", "workflow_version"))
key = (str(wid or ""), str(pinned or ""))
if not wid or key in seen:
continue
seen.add(key)
try:
# 只取图:Workflow 的 versions 是 selectin,整行读会把所有历史版本一起读出来
query = (select(WorkflowVersion.graph).where(
WorkflowVersion.workflow_id == wid, WorkflowVersion.version == int(pinned))
if pinned else select(Workflow.graph).where(Workflow.id == wid))
sub = (await session.execute(query)).scalar_one_or_none()
if sub:
queue.append(GraphSpec.model_validate(sub))
except Exception: # noqa: BLE001 - 读不到、不成形:子工作流节点运行时会说清楚
continue
return names, anything
async def _agent_limits(session: Any) -> dict[str, Any]:
from app.api.settings import run_defaults
from app.engine.guards import run_limits