Excel 导入改造期 1:止血与版本底座——写错的列名不再静默得 0,导入不再悄悄读错,每次上传生成不可变的版本,运行固定发起时的数据版本

连接层
- 所有 SQLite 数据源关闭双引号字符串兼容(DQS),写错的双引号列名直接报错;设置失败就拒绝连接,启动时自检
- 连接缓存按数据源加版本快照分键、按源整体失效、最多 32 个;版本快照以 immutable 只读打开,建连接前核对文件哈希,并在借出连接时核对文件指纹,被改过就拒绝查询
- 结构探查遇到取不了列的视图时逐个对象重取,只跳过坏的那个并注明原因

解析(新 xlsx_scan + tabular)
- 先流式扫描真实边界和版式(不信 dimension),再按边界读值,不整表进内存;按 Excel 自身上限设硬上限,并发解析最多两个
- 隐藏和深度隐藏的工作表不导入;稀疏区域、无缓存值的公式、同名工作表、DTD 拒收
- 去掉空行和两侧空列;列名表名统一规范化(新 names 模块)并保留原表头,撞名不再互相覆盖
- 前导零、超长数字按文本;千分位按数字;日期不带 T;带单位的数字文本写进回执
- 数字列混入非数字、交叉表和多块结构必须由用户决定(422),可选存空值或按原样导入(未规整);STRICT 建表,整份在一个事务里写完

版本底座(新 table_versions、raw_store)
- 每次上传写新库文件、落盘、0444,事务里写构建、导入记录、快照后才切指针;失败时旧版完整可查
- 原件按哈希存档,不提供下载,可以清除;上传源不许改连接字段、不再重新探查;手工 SQLite 源不许指向上传目录和应用自己的数据文件(按文件身份判断)
- 启动时清理半成品与孤儿文件、给老上传补初始版本;被运行引用的版本不回收,发起运行与回收互斥
- 上传接口的解析移到线程池

运行固定数据版本
- 发起时把图里(含子工作流)用到的上传源的当前快照记进运行记录和 run.started,续跑、审批恢复沿用;数据源工具按固定的快照生成描述、表结构并查询
- 固定的版本没了、源被删除后同名重建,都明确报错,不改用当前版本或同名的新源;查询快照记 data_version

证据层
- 新报告记 entity_syntax: 2,[[t:明细]]、[[c:明细.金额]] 和 SQL 里不加引号的中文表名都认得,名字按 SQLite 的口径查找;老报告按原规则复核,结果不变
- 写作规则改为中文表名、字段名一律用 [[t:]] / [[c:]];未规整的表在工具描述、写作目录和裁判摘录里标出

前端
- 上传弹窗接上导入前的决定(混合列、交叉表)和导入回执(跳过的隐藏表、类型转换、警告、原表头对照、未规整标记),上传前告知原件会保存
- 数据源卡片按 origin 认上传的表格,显示当前版本;上传的表格不再给「探查结构」
This commit is contained in:
ThearchyHelios
2026-10-01 13:42:04 +08:00
parent c837cdbfa3
commit 8059cd5147
38 changed files with 12465 additions and 535 deletions
+25 -5
View File
@@ -18,7 +18,7 @@ from app.engine.state import GraphState
from app.engine.toolcalls import ToolTimeout, limit_fields, limit_of, run_bounded
from app.sandbox.base import SandboxLimits
from app.sandbox.manager import sandbox_manager
from app.tools.datasource import QUERY_PREFIX
from app.tools.datasource import DATA_UNAVAILABLE, QUERY_PREFIX, SCHEMA_PREFIX, run_versions
from app.tools.registry import (
ToolArgsError,
ToolBuildError,
@@ -31,8 +31,9 @@ from app.tools.registry import (
from app.tools.trust import ask_gate, asks_trustable, call_policy, node_task
#: 数据源查询工具没查成时交回的话的开头(tools/datasource.py)。agent 里原话喂回模型让它改 SQL;
#: tool 节点没有下一轮可改,照常往下走的话,下游拿到的是一句报错当查询结果
QUERY_FAILED = ("查询失败:", "SQL 被拒绝:")
#: tool 节点没有下一轮可改,照常往下走的话,下游拿到的是一句报错当查询结果。
#: DATA_UNAVAILABLE 是数据本身用不了(这次运行固定的版本没了、表格文件被删),改 SQL 没用
QUERY_FAILED = ("查询失败:", "SQL 被拒绝:", DATA_UNAVAILABLE)
#: code 节点在证据链里的角色:取数(产出本身就是源数据)还是计算。缺省按计算算
EVIDENCE_ROLES = ("source", "compute")
@@ -44,6 +45,9 @@ def _tool_ctx(ctx: NodeContext) -> ToolContext:
sandbox_session=ctx.run.thread_id,
memory_scope=ctx.cfg("memory_scope") or ctx.run.memory_scope,
collection=ctx.cfg("collection") or ctx.run.collection,
data_versions=run_versions(ctx.run),
# 数据源工具运行中途补固定版本时经它留一条事件(tools/datasource.py 的 _pin_late)
emit=ctx.emit,
)
@@ -156,11 +160,15 @@ async def run_tool(state: GraphState, ctx: NodeContext) -> dict[str, Any]:
elapsed = int((time.perf_counter() - started) * 1000)
evidence_on = ledger_enabled(ctx.run)
if evidence_on and name.startswith(QUERY_PREFIX) and isinstance(result, str) and result.startswith(QUERY_FAILED):
# 查表结构的工具只在数据本身用不了时算失败:它别的回话(「结构信息不可用」之类)是正常的结果
failed = isinstance(result, str) and (
(name.startswith(QUERY_PREFIX) and result.startswith(QUERY_FAILED))
or (name.startswith(SCHEMA_PREFIX) and result.startswith(DATA_UNAVAILABLE)))
if evidence_on and failed:
# 没查成:原话就是报错(「查询失败:no such table: x」),照写,别再套一层
ctx.emit(EventType.TOOL_ERROR, tool=name, error=result[:2000], duration_ms=elapsed)
if ctx.cfg("fail_fast", True):
raise NodeError(ctx.node.id, f"工具 {name} 查询失败:{result}。请据此修改节点中的 SQL 后重新运行")
raise NodeError(ctx.node.id, _query_failure(name, result))
result = {"error": result}
# 取数快照:query(args)和结果集一起进工件库,完整出具时数字回指的就是它
@@ -206,6 +214,18 @@ async def run_tool(state: GraphState, ctx: NodeContext) -> dict[str, Any]:
return updates
def _query_failure(name: str, result: str) -> str:
"""调用工具节点上查询没查成时的报错。
数据本身用不了(DATA_UNAVAILABLE):原因里已经写了怎么办(重新发起运行、重新上传),照交。
不能再加「修改节点中的 SQL」——改 SQL、继续运行都没用,只会再失败一次。SQL 的错才让人改 SQL。
原话开头的「查询失败:」去掉,免得和前面的「查询失败:」叠成两遍。
"""
if result.startswith(DATA_UNAVAILABLE):
return f"工具 {name} 无法使用:{result.removeprefix(DATA_UNAVAILABLE)}"
return f"工具 {name} 查询失败:{result.removeprefix('查询失败:')}。请据此修改节点中的 SQL 后重新运行"
async def run_code(state: GraphState, ctx: NodeContext) -> dict[str, Any]:
"""沙箱代码节点。代码本身支持模板插值,可以把上游结果直接嵌进去。"""
code = ctx.render_str(ctx.cfg("code", ""), state)