mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-21 01:52:00 +00:00
可点击证据第二期:取数链路打通、问数据的答案逐段可点;发布前自动修复
一、可点击证据第二期
取数链路
- 智能体、工具节点、代码节点、知识检索取数时都记进证据台账;报告目录按台账编出 Q1… / K1…
- 报告可以引用快照里的一格([[v:Q1.r0.gmv]]),也可以由系统从快照生成整张表([[table:Q1 cols=… rows=0-4]]),
表里每一格都是可点的片段;取值一律以快照为准,取回快照时复验哈希
- 口径卡表达式新增 cell(x, row, column),lineage 精确到单元格
- 智能体开 cite_fields(配合 output_schema)后,循环结束做一次结构化抽取,每个字段标出取自哪次查询的哪一格,
再到快照里核对:一致记 verified;不一致以快照为准并告警;查不到的记为空值,永远不兜底成 0
- 代码节点新增 evidence_role(source / compute)和 code_sha;沙箱算出来的数不能被报告直接引用,要进口径卡
- 查询快照记下列类型,文本列按文本渲染(年份 "2026" 不再显示成「2,026」)
- 升级前发起的运行(停在审批上的)一律走旧逻辑:新的 task 只追加在循环之后,恢复时不会错号
证据接口与面板
- 片段链接上查询步骤:SQL、被引用的行加前后各 2 行、高亮到格;数据源可设 mask_columns 遮罩列,
遮罩在查询时记进快照,数据源事后改名或删除也照样遮罩(在有身份体系之前,遮罩只减少暴露,不是安全边界)
- 输入来源写明核对结果(与快照一致 / 模型报的值和快照不一致 / 没查到记为空);口径卡缺输入时也给出完整的链
- 受管出具要在契约里声明 cells 才能引用单元格;受管与否记在所钉版本上,改画布不再让受管版本的正式运行降级
- 口径卡可以用 caliber_from 钉住另一个已发布工作流里的口径卡,上游有新版本时按 upgrade_policy 处置,
和子工作流同一套规则;子工作流节点也补上了升版处置的配置项
Copilot、校验与报错
- 问数据的答案里有数字时,搭 input → 智能体 → 报告 → 出口,报告直接引用查过的单元格
- 写 SQL 前核对数据源的表结构,SQL 里出现表结构里没有的列会被打回
- 不再搭「智能体文字 → 转换节点解析 JSON」这种图;转换节点的 JSON 报错分清是上游模型写坏了、
模板里裸插了模型文字(给出 | json 的改法),还是模板本身写错了
- 工具节点遇到「查询失败」「SQL 被拒绝」判为失败;发起运行前检查绑定的工具是否存在,不存在时直接拒绝并给出入口
二、发布前自动修复
- 问题带上机器编号(code)和修复 id;新增只读接口 POST /api/workflows/{id}/publish-check 和 /autofix
- 修复分三类:答案唯一、不降低要求的一键修复;要人拿主意的给选项(不替人选);结构性问题交给 Copilot
- 一律先预览,不自动保存、不自动发布;删节点、删契约、放宽审批、关掉 strict、改级别等降低要求的改动一律拒绝,
Copilot 的方案也要过这一关;应用后重跑检查,错误必须变少且不能冒出新的
- 发布弹窗打开就先检查;问题面板新增「发布前检查」,平时就能看到、就地修掉
- 门禁修正:契约有 report_from 时不再要求 narrative(模板⑨可以发成受管);全图默认审批为「全部放行」时同样拦下
- 修掉画布保存会抹掉全图默认(defaults)的老问题:以前任何一次保存都会把它清空,审批 always 因此被悄悄放宽
验证(沙箱):tsc 干净,生产构建通过,pytest 2268 passed(两遍),check-all 17 项检查、3915 项全过
(新增 check-publish);关键行为做了变异验证、全部抓到。
This commit is contained in:
@@ -915,6 +915,110 @@ await section('数据 · 数据库', async () => {
|
||||
await close()
|
||||
})
|
||||
|
||||
await section('数据 · 遮罩列(证据面板的 mask_columns)', async () => {
|
||||
// 假库:两张表,phone 已经遮上了。挑列从已探查的结构里读;写请求全部在浏览器里接住
|
||||
const base = {
|
||||
id: 'check-manage-mask', name: 'zz_mask', kind: 'postgres', host: '10.0.0.7', port: null, database: 'shop',
|
||||
username: 'reader', options: { schema: 'sales', mask_columns: ['phone'] }, readonly: true, description: '检查脚本的假库',
|
||||
enabled: true, password_masked: '', has_password: false, table_count: 2, schema_synced_at: ago(3600_000), cached_schema: 'sales',
|
||||
schema_error: '', available_schemas: [], tools: ['db_query__zz_mask'],
|
||||
last_checked_at: null, last_check_ok: null, last_latency_ms: null, last_error: null,
|
||||
}
|
||||
const upload = {
|
||||
...base, id: 'check-manage-upmask', name: 'zz_upload_mask', kind: 'sqlite', host: null, username: null,
|
||||
database: '/tmp/agentlab/uploads/tables/zz_upload_mask.db', options: { query_timeout_s: '30' }, table_count: 1,
|
||||
tools: ['db_query__zz_upload_mask'],
|
||||
}
|
||||
let cur = base
|
||||
let up = upload
|
||||
const columns = {
|
||||
'sales.orders': ['order_id', 'amount', 'phone'],
|
||||
'sales.customers': ['id', 'customer_id', 'email', 'phone'],
|
||||
orders_upload: ['order_id', 'phone'],
|
||||
}
|
||||
const tableJson = (t) => ({ table: t, found: true, kind: 'table', comment: null, detail: '',
|
||||
columns: (columns[t] ?? []).map((name) => ({ name, type: 'TEXT' })) })
|
||||
const { page, sent, errors, natives, close } = await open('/data/databases', {
|
||||
handlers: [
|
||||
[/^GET \/datasources$/, (route) => json([...sources, cur, up])(route)],
|
||||
[/^GET \/datasources\/check-manage-mask\/schema$/, (route, { url }) => json(url.searchParams.get('table')
|
||||
? tableJson(url.searchParams.get('table')) : { tables: ['sales.orders', 'sales.customers'], summary: '', synced_at: ago(0) })(route)],
|
||||
[/^GET \/datasources\/check-manage-upmask\/schema$/, (route, { url }) => json(url.searchParams.get('table')
|
||||
? tableJson(url.searchParams.get('table')) : { tables: ['orders_upload'], summary: '', synced_at: ago(0) })(route)],
|
||||
[/^POST \/datasources\/check-manage-mask\/test$/, delayed(200, { ok: true, elapsed_ms: 42, url: 'x' })],
|
||||
[/^PATCH \/datasources\/check-manage-mask$/, (route, { body }) => { cur = { ...cur, ...body }; return json(cur)(route) }],
|
||||
[/^PATCH \/datasources\/check-manage-upmask$/, (route, { body }) => { up = { ...up, ...body }; return json(up)(route) }],
|
||||
],
|
||||
})
|
||||
const card = page.locator(`[data-source="${base.name}"]`)
|
||||
check('卡片上写着遮罩了几列', (await card.locator('[data-mask-columns]').innerText().catch(() => '')).includes('遮罩 1 列')
|
||||
&& await card.locator('[data-mask-columns]').getAttribute('data-mask-columns') === 'phone')
|
||||
await card.getByRole('button', { name: /测连接/ }).click()
|
||||
await until(() => card.locator('[data-health]').first().innerText().then((t) => /已连通/.test(t)), 5000)
|
||||
await card.getByRole('button', { name: '编辑' }).click()
|
||||
const ed = dialog(page)
|
||||
const field = ed.locator('[data-field="mask_columns"]')
|
||||
check('编辑框里有「遮罩的列」,已遮的 phone 是一个标签', await field.count() === 1
|
||||
&& await field.locator('[data-mask-chip="phone"]').count() === 1)
|
||||
const boundary = await field.locator('[data-mask-boundary]').innerText().catch(() => '')
|
||||
check('写明遮罩只减少暴露、不是安全边界', boundary.includes('遮罩只减少暴露,不是安全边界'), boundary)
|
||||
check('高级连接参数里不再另摆一个遮罩的文本框(只有这一处)', await ed.locator('#ds-adv-mask_columns').count() === 0)
|
||||
const before = sent.filter((r) => r.key === 'GET /datasources/check-manage-mask/schema').length
|
||||
await ed.locator('#ds-mask-columns').focus()
|
||||
const listed = await until(async () => {
|
||||
const v = await ed.locator('#ds-mask-columns-list option').evaluateAll((els) => els.map((e) => e.value))
|
||||
return v.length ? v : null
|
||||
}, 5000)
|
||||
const reads = sent.filter((r) => r.key === 'GET /datasources/check-manage-mask/schema').length - before
|
||||
check('聚焦输入框才去读已探查的结构,候选是各表的列(已遮的 phone 不再列)', !!listed && listed.includes('email')
|
||||
&& listed.includes('amount') && !listed.includes('phone') && reads === 3, `${JSON.stringify(listed)} · ${reads} 个请求`)
|
||||
const hint = await field.innerText()
|
||||
check('……说清是从已探查的几张表里挑的', hint.includes('从已探查的 2 张表里挑'), hint.replace(/\s+/g, ' ').slice(0, 160))
|
||||
await ed.locator('#ds-mask-columns').fill('email')
|
||||
await ed.locator('#ds-mask-columns').press('Enter')
|
||||
await ed.locator('#ds-mask-columns').pressSequentially('id_card')
|
||||
check('逐字敲 id_card 途中碰上列名 id 不会提前加成标签', await field.locator('[data-mask-chip="id"]').count() === 0
|
||||
&& (await ed.locator('#ds-mask-columns').inputValue()) === 'id_card')
|
||||
await ed.locator('#ds-mask-columns').press('Enter')
|
||||
await ed.locator('#ds-mask-columns').fill('EMAIL')
|
||||
await ed.locator('#ds-mask-columns').press('Enter')
|
||||
await field.getByRole('button', { name: '不再遮罩 phone' }).click()
|
||||
const chips = await field.locator('[data-mask-chip]').evaluateAll((els) => els.map((e) => e.getAttribute('data-mask-chip')))
|
||||
check('回车加标签、× 去掉、大小写不同的同名列不重复加', chips.join(',') === 'email,id_card', chips.join(','))
|
||||
if (SHOTS) await shot(page, 'datasource-mask-columns')
|
||||
await ed.getByRole('button', { name: '保存' }).click()
|
||||
await page.waitForTimeout(500)
|
||||
const saved = sent.filter((r) => r.key === 'PATCH /datasources/check-manage-mask').at(-1)
|
||||
check('保存:options.mask_columns 是列名列表,schema 原样带上', JSON.stringify(saved?.body?.options?.mask_columns) === '["email","id_card"]'
|
||||
&& saved?.body?.options?.schema === 'sales', JSON.stringify(saved?.body?.options ?? {}))
|
||||
check('……改遮罩列不算改连接:刚测的结果还作数', /已连通/.test(await card.locator('[data-health]').first().innerText()))
|
||||
check('……卡片跟着变成遮罩 2 列', (await card.locator('[data-mask-columns]').innerText().catch(() => '')).includes('遮罩 2 列'))
|
||||
await card.getByRole('button', { name: '编辑' }).click()
|
||||
await dialog(page).locator('[data-field="mask_columns"]').getByRole('button', { name: '不再遮罩 email' }).click()
|
||||
await dialog(page).locator('[data-field="mask_columns"]').getByRole('button', { name: '不再遮罩 id_card' }).click()
|
||||
await dialog(page).getByRole('button', { name: '保存' }).click()
|
||||
await page.waitForTimeout(400)
|
||||
const cleared = sent.filter((r) => r.key === 'PATCH /datasources/check-manage-mask').at(-1)
|
||||
check('全部去掉:options 里不留 mask_columns 这个键', !!cleared && !('mask_columns' in (cleared.body?.options ?? {}))
|
||||
&& await card.locator('[data-mask-columns]').count() === 0, JSON.stringify(cleared?.body?.options ?? {}))
|
||||
|
||||
await goto(page, '/data/tables')
|
||||
const uc = page.locator(`[data-source="${upload.name}"]`)
|
||||
await uc.locator('[data-edit-mask]').click()
|
||||
const ud = dialog(page)
|
||||
await ud.locator('#ds-mask-columns').fill('phone')
|
||||
await ud.locator('#ds-mask-columns').press('Enter')
|
||||
await ud.getByRole('button', { name: '保存' }).click()
|
||||
await page.waitForTimeout(400)
|
||||
const upSaved = sent.filter((r) => r.key === 'PATCH /datasources/check-manage-upmask').at(-1)
|
||||
check('传上来的表没有编辑框:卡片上「设遮罩列」单独改,其余 options 原样带上',
|
||||
JSON.stringify(upSaved?.body) === JSON.stringify({ options: { query_timeout_s: '30', mask_columns: ['phone'] } }), JSON.stringify(upSaved?.body ?? {}))
|
||||
check('……卡片写着遮罩 1 列', (await uc.locator('[data-mask-columns]').innerText().catch(() => '')).includes('遮罩 1 列'))
|
||||
check('没有原生对话框', natives.length === 0, natives.join(' | '))
|
||||
check('没有运行时报错', errors.length === 0, errors[0] ?? '')
|
||||
await close()
|
||||
})
|
||||
|
||||
await section('数据 · 表格', async () => {
|
||||
const fake = {
|
||||
source: {
|
||||
|
||||
Reference in New Issue
Block a user