可点击证据第二期:取数链路打通、问数据的答案逐段可点;发布前自动修复

一、可点击证据第二期

取数链路
- 智能体、工具节点、代码节点、知识检索取数时都记进证据台账;报告目录按台账编出 Q1… / K1…
- 报告可以引用快照里的一格([[v:Q1.r0.gmv]]),也可以由系统从快照生成整张表([[table:Q1 cols=… rows=0-4]]),
  表里每一格都是可点的片段;取值一律以快照为准,取回快照时复验哈希
- 口径卡表达式新增 cell(x, row, column),lineage 精确到单元格
- 智能体开 cite_fields(配合 output_schema)后,循环结束做一次结构化抽取,每个字段标出取自哪次查询的哪一格,
  再到快照里核对:一致记 verified;不一致以快照为准并告警;查不到的记为空值,永远不兜底成 0
- 代码节点新增 evidence_role(source / compute)和 code_sha;沙箱算出来的数不能被报告直接引用,要进口径卡
- 查询快照记下列类型,文本列按文本渲染(年份 "2026" 不再显示成「2,026」)
- 升级前发起的运行(停在审批上的)一律走旧逻辑:新的 task 只追加在循环之后,恢复时不会错号

证据接口与面板
- 片段链接上查询步骤:SQL、被引用的行加前后各 2 行、高亮到格;数据源可设 mask_columns 遮罩列,
  遮罩在查询时记进快照,数据源事后改名或删除也照样遮罩(在有身份体系之前,遮罩只减少暴露,不是安全边界)
- 输入来源写明核对结果(与快照一致 / 模型报的值和快照不一致 / 没查到记为空);口径卡缺输入时也给出完整的链
- 受管出具要在契约里声明 cells 才能引用单元格;受管与否记在所钉版本上,改画布不再让受管版本的正式运行降级
- 口径卡可以用 caliber_from 钉住另一个已发布工作流里的口径卡,上游有新版本时按 upgrade_policy 处置,
  和子工作流同一套规则;子工作流节点也补上了升版处置的配置项

Copilot、校验与报错
- 问数据的答案里有数字时,搭 input → 智能体 → 报告 → 出口,报告直接引用查过的单元格
- 写 SQL 前核对数据源的表结构,SQL 里出现表结构里没有的列会被打回
- 不再搭「智能体文字 → 转换节点解析 JSON」这种图;转换节点的 JSON 报错分清是上游模型写坏了、
  模板里裸插了模型文字(给出 | json 的改法),还是模板本身写错了
- 工具节点遇到「查询失败」「SQL 被拒绝」判为失败;发起运行前检查绑定的工具是否存在,不存在时直接拒绝并给出入口

二、发布前自动修复

- 问题带上机器编号(code)和修复 id;新增只读接口 POST /api/workflows/{id}/publish-check 和 /autofix
- 修复分三类:答案唯一、不降低要求的一键修复;要人拿主意的给选项(不替人选);结构性问题交给 Copilot
- 一律先预览,不自动保存、不自动发布;删节点、删契约、放宽审批、关掉 strict、改级别等降低要求的改动一律拒绝,
  Copilot 的方案也要过这一关;应用后重跑检查,错误必须变少且不能冒出新的
- 发布弹窗打开就先检查;问题面板新增「发布前检查」,平时就能看到、就地修掉
- 门禁修正:契约有 report_from 时不再要求 narrative(模板⑨可以发成受管);全图默认审批为「全部放行」时同样拦下
- 修掉画布保存会抹掉全图默认(defaults)的老问题:以前任何一次保存都会把它清空,审批 always 因此被悄悄放宽

验证(沙箱):tsc 干净,生产构建通过,pytest 2268 passed(两遍),check-all 17 项检查、3915 项全过
(新增 check-publish);关键行为做了变异验证、全部抓到。
This commit is contained in:
ThearchyHelios
2026-09-28 21:20:04 +08:00
parent 62aac187d8
commit fcdcc30d4e
74 changed files with 19372 additions and 380 deletions
+84 -5
View File
@@ -8,6 +8,7 @@ from __future__ import annotations
import asyncio
import json
import logging
import re
import time
from contextlib import asynccontextmanager
from dataclasses import dataclass
@@ -48,10 +49,18 @@ QUERY_TIMEOUT_OPTION = "query_timeout_s"
MIN_QUERY_TIMEOUT_S = 1
MAX_QUERY_TIMEOUT_S = 600
#: 数据源 options 里要遮罩的列(列名列表,或者逗号分隔的一段文字)。证据面板展示原始行时,
#: 这些列的值一律换成「已遮罩」。在有身份体系之前,遮罩只减少暴露,不是安全边界:
#: 完整快照仍能按工件 id 取到,SQL 里给列起个别名也能绕开
MASK_COLUMNS_OPTION = "mask_columns"
# options 里这些 key 是 AgentLab 自己的配置,不是驱动参数,拼 URL 时要摘掉。
# schema:探查哪个 schema(企业库里只读账号名下常常什么都没有,数据在别处)
# query_timeout_s:查询时限,由数据层按语句下发给数据库,见 _server_deadline
_NON_DRIVER_OPTIONS = frozenset({"schema", QUERY_TIMEOUT_OPTION})
# mask_columns:证据面板遮罩的列,驱动不认识它,拼进连接串会被当成未知参数拒掉
_NON_DRIVER_OPTIONS = frozenset({"schema", QUERY_TIMEOUT_OPTION, MASK_COLUMNS_OPTION})
_MASK_SPLIT = re.compile(r"[,,、;;\n]+")
@dataclass
@@ -62,9 +71,11 @@ class QueryResult:
truncated: bool
elapsed_ms: int
sql: str
#: 列名 → number / text / date / datetime / time / boolean。拿不准的列(全是空值、类型混着)不在里面
column_types: dict[str, str] | None = None
def to_payload(self) -> dict[str, Any]:
return {
payload: dict[str, Any] = {
"columns": self.columns,
"rows": self.rows,
"row_count": self.row_count,
@@ -72,6 +83,9 @@ class QueryResult:
"elapsed_ms": self.elapsed_ms,
"sql": self.sql,
}
if self.column_types:
payload["column_types"] = self.column_types
return payload
def build_url(source: Any, *, reveal: bool = False) -> str:
@@ -174,6 +188,23 @@ def query_timeout_problem(options: dict[str, Any] | None) -> str | None:
return None
def masked_columns(options: dict[str, Any] | None) -> list[str]:
"""options.mask_columns → 列名列表(去空白、去重,保持顺序)。列表和「a, b」这样的文字都认。"""
raw = (options or {}).get(MASK_COLUMNS_OPTION)
items = _MASK_SPLIT.split(raw) if isinstance(raw, str) else raw if isinstance(raw, list) else []
return list(dict.fromkeys(str(c).strip() for c in items if isinstance(c, (str, int)) and str(c).strip()))
def mask_columns_problem(options: dict[str, Any] | None) -> str | None:
"""保存数据源时查一下遮罩列填得对不对;没填、或者填对了返回 None。"""
raw = (options or {}).get(MASK_COLUMNS_OPTION)
if raw is None or raw == "" or raw == []:
return None
if isinstance(raw, str) or (isinstance(raw, list) and all(isinstance(c, str) for c in raw)):
return None
return f"遮罩的列要填列名,用逗号分开,比如「phone, email」;现在填的是「{raw}」"
def query_timeout(source: Any) -> float:
"""这个数据源上一条查询最多跑多久(秒)。没配、或者库里存着的值不对,用缺省。
@@ -477,23 +508,25 @@ async def run_query(
if not source.readonly and is_write(statement):
return await _run_write(engine, kind, statement, limits, started)
async def _read(conn: AsyncConnection) -> tuple[list[str], list[list[Any]], bool]:
async def _read(conn: AsyncConnection) -> tuple[list[str], list[list[Any]], bool, dict[str, str]]:
cursor = await conn.stream(text(statement))
columns = list(cursor.keys())
rows: list[list[Any]] = []
seen = _TypeTally(len(columns))
truncated = False
size = 0
async for row in cursor:
# 逐行累加,边收边判上限:一次性 fetchall 一个亿级表就晚了
seen.add(row)
values = [_jsonable(v) for v in row]
rows.append(values)
size += len(json.dumps(values, ensure_ascii=False, default=str))
if len(rows) >= limits.max_rows or size >= limits.max_bytes:
truncated = True
break
return columns, rows, truncated
return columns, rows, truncated, seen.types(columns)
columns, rows, truncated = await _bounded(
columns, rows, truncated, types = await _bounded(
engine.connect, kind, limits,
f"查询超过 {_seconds(limits.timeout_seconds)}s 被中断。加上 WHERE 条件或 LIMIT 缩小范围。",
_read,
@@ -505,9 +538,55 @@ async def run_query(
truncated=truncated,
elapsed_ms=int((time.perf_counter() - started) * 1000),
sql=statement,
column_types=types,
)
class _TypeTally:
"""边读边记每列见过的值类型。只看驱动交回的原始值:_jsonable 之后 Decimal 就成了字符串,
小数位为 0 的 DECIMAL("45678")和文本列的 "2026" 再也分不开。"""
def __init__(self, width: int) -> None:
self._kinds: list[set[str]] = [set() for _ in range(width)]
def add(self, row: Any) -> None:
for kinds, value in zip(self._kinds, row):
if value is not None:
kinds.add(_value_kind(value))
def types(self, columns: list[str]) -> dict[str, str]:
return {str(name): kind for name, kinds in zip(columns, self._kinds)
if len(kinds) == 1 and (kind := next(iter(kinds))) != "other"}
def _value_kind(value: Any) -> str:
from datetime import date, datetime, time as dtime
from decimal import Decimal
if isinstance(value, bool):
return "boolean"
if isinstance(value, (int, float, Decimal)):
return "number"
if isinstance(value, datetime):
return "datetime"
if isinstance(value, date):
return "date"
if isinstance(value, dtime):
return "time"
return "text" if isinstance(value, str) else "other"
def column_types(columns: list[str], rows: list[Any]) -> dict[str, str]:
"""一批原始行里每列的类型:number / text / date / datetime / time / boolean。
全是空值、类型混着(同一列里有数也有文本)的列不记——拿不准就不说,下游照旧按值猜。
"""
tally = _TypeTally(len(columns))
for row in rows:
tally.add(row)
return tally.types(columns)
async def _run_write(
engine: AsyncEngine, kind: str, statement: str, limits: QueryLimits, started: float
) -> QueryResult: