ThearchyHelios
|
2fb16c2719
|
设置页加「通用」标签放对外访问地址;环境变量指定时显示「由环境变量指定」不可改,定时任务里的入口跟着认
服务端已经只认一个对外访问地址(core/public_url.py),界面上这一项以前只在定时任务的 Webhook 一节里改得到,叫「服务
访问地址」,和设置接口、通知里的「对外访问地址」两种说法;环境变量设了时那里照样能改,改了也不生效。
- 新增「设置 → 通用」(pages/settings/GeneralTab.tsx):写明它管哪几件事(通知和 Webhook 的链接、单点登录的回调、来源
核对);管理员能改,保存前先重读 notify 一组、只换这一项,末尾的 / 去掉,带 ? 或 # 的当场标错;改了没保存离开先问;
环境变量指定了的只显示它、写明「由环境变量 AGENTLAB_PUBLIC_URL 指定」,不给输入框;搭建者只看。使用者看不到这一页
- 定时任务 Webhook 一节的快捷入口改叫「对外访问地址」,按 GET /api/settings 的 public_url 一组认:环境变量指定的只显示、
不给修改按钮,设置里存着的旧值不再冒充生效的那个;地址校验和「通用」同一个(lib/publicUrl.ts)
- 文案进 lib/terms.ts(GENERAL_SETTING_TEXT,SCHEDULE_TEXT 的 linkBase 一组改说法)
检查:check-manage 加「设置 · 通用:对外访问地址」一节(标签、说明、校验、离开先问、只写 notify 一组、环境变量只读、
搭建者只读);check-schedules 加「对外访问地址由环境变量指定」一节。check-manage、check-schedules 在隔离的一套后端 +
vite 上全部通过,tsc、check-copy 通过。
|
2026-10-16 10:31:26 +08:00 |
|
ThearchyHelios
|
4c0e83bc80
|
目录视图接缝 data/catalog_view.py(细案 01 做法 5,总方案 X7):读目录的四处统一经它,「开目录 / 关目录 / 只用已核实的项 / 目录快照」的对照才做得了
- CatalogView{mode: live | snapshot | off, statuses: all | reviewed, snapshot}:缺省 live + all,行为和以前一样;reviewed 只留已核实、已确认的项(驳回的项原样留着交给各处,照旧经 visible_notes 去掉,冻结快照和 SQL 检查靠驳回的关系编号认出不该现推的关系——为此在 catalog.py 加 restrict_notes,没给 visible_notes 加参数)
- 视图从哪来:运行从 Run.options['catalog_view'] 读(catalog_view.of_run:RunContext.extra 里的发起快照,审批恢复、续跑沿用),ToolContext 多一个 catalog_view,节点(调用工具、llm/agent、多 agent)构造时带上;生成过程从参数读(下一个提交接 answer_ops)
- 四处消费一律经它:运行时 db_schema / db_query(tools/datasource._catalog_of,冻结进表结构快照的也是这一份)、look 表详情(TableKind.load、copilot_context.look_service 收 catalog_view)、自查的 SQL 检查器(sqlcheck.load_checkers 收 catalog_view,改用 catalog.read_catalogs 一次读出)、双盲复算(_Sources 带视图,交给盲算的目录和比较 SQL 用的中文名都按它;核查 agent、反方审稿的 db_schema 也按这次运行的视图)
- 冻结快照:不是缺省视图的在引用 meta 里记下 catalog_view(不进内容哈希,缺省视图不记,快照和以前一字不差),证据面板据此写得出「本次运行目录:关」
- snapshot 模式只定读法(kind=eval_catalog_snapshot 的工件,{sources: {源 id: {tables: {表: {version, notes}}}}}),内容由第 2 波的题集包写;快照不在了照实报错(CatalogSnapshotMissing),不悄悄退回当前目录
- 新增 tests/test_catalog_view.py:四种视图在四处给的是同一份、缺省等于当前目录、运行从 options 读且冻结 meta 记下、lint(消费模块不许直接 read_catalog / read_entry / 查 CatalogNote);去掉 _catalog_of 里的视图回跑两项失败
|
2026-10-16 10:28:01 +08:00 |
|
ThearchyHelios
|
ee7b8b2f97
|
剖析与探查的方言修正(C1)和没有真库时的方言验证(C2)
为什么:剖析是全站唯一主动查业务库的地方,以前只在守卫放行和字符串片段两层上测过,从没在真库上跑过。
本机四个容器(PG 16、MySQL 8.4、MariaDB 11、Oracle Free 23)实测,旧的 IN 列表写法在 PostgreSQL 上整数子列
对文字主键直接报 operator does not exist: character varying = integer,关系一条都核对不了。
C1 方言修正:
- IN 列表的字面量按被指向列的类型族写(key_literals):父列文字写 '12',父列数字只收整数写法的值,父列是时间、
对不上的不拼并在备注里写「两端类型不同」;子表是 CHAR(n) 时去掉补齐的尾随空格。
- 列类型改存按方言编译的完整写法(VARCHAR2(20 CHAR)、NUMBER(10, 0)、ENUM('a','b')、TIMESTAMP WITH TIME ZONE),
编译不了退回 str()。SQLAlchemy 把 Oracle 的 VARCHAR2 反射成通用 VARCHAR(容器实测),照数据字典写成 VARCHAR2。
ENUM / SET 另记 enum_values;Oracle 小写带引号的表和列记 quote_name;各索引(含主键)的首列记进
index_first_columns(下一波取值观察判断能不能对大表发窗口查询)。新探查的快照哈希会变,旧运行封存的不受影响。
- catalog._type_family 认 ENUM / SET 是文字、INTERVAL 不是数字,去掉引号里的取值再认;新增 column_family
(有 enum_values 的是文字,PostgreSQL 枚举编译出来只有类型名);is_date_column 不再把 ENUM('date') 认成日期列。
- 码值候选:ENUM / SET 不看列名直接算候选,ENUM 列定义里这次没出现的取值也写进码值(含义待填);VARCHAR2(20 CHAR)
的长度按 20 算;CHAR 码值去尾随空格;MySQL 上写明按排序规则分组、比较(可能不分大小写)。
- 统计信息估出的行数不超过整表统计上限时再跑一次有上限的计数确认,统计过期的大表不再被当成小表做整表统计。
- 日期列的最小值、最大值只看 0001-01-02 到 9999-12-31 之间的值,零日期、占位日期、PG 的 ±infinity 不计入,
照实写「另有 N 个无效日期未计入」,日期范围里带 invalid 个数(界面显示)。
- 新增取值观察用的方言方法 date_literal / day_trunc / sample_from,以及按日行数、时间窗口里的取值分布、块采样三类
查询的拼法(窗口上端截在 9999-12-31 之前,不让 infinity 多出一天)。
- 说明文字不再说「抽样」:大表看的是「按存储顺序取前 N 行」;设置项「抽样键值数」改叫「核对键值数」。
C2 验证:
- tests/test_profile_dialect_golden.py:五种方言 × 全部剖析和观察查询的完整 SQL 钉在 tests/fixtures/dialect/,
sqlglot 逐条解析、过只读守卫,再用 qualify + annotate_types 核对 IN 两边类型族一致(附旧写法的对照)。
- scripts/dialect-it.sh(不进 CI):本机起四个容器,建虚构夹具(保留字列、Oracle 小写带引号的表、CHAR 码值、
MySQL ENUM、零日期 / infinity / 占位日期、做旧的统计信息、超上限的大表、带索引的日期列),用 AgentLab 自己的
探查和剖析代码跑全部查询,断言零报错、结论和手算一致。四种库都通过;MariaDB 插入时自己更新行数估算,统计信息
做不旧,照实打印。把 IN 列表改回旧写法回跑,PG 上照样报出上面那条错误。跑完删容器、留镜像。
|
2026-10-16 10:25:28 +08:00 |
|
ThearchyHelios
|
a59409cc85
|
使用者选人(后端):按用途给候选池,开登录时入口表单、待办表单的选人控件按同一个池核对
为什么:使用者在选人控件里没有候选(名录只给搭建者),服务端也不核对。填错的名字原样派下去,待办给了一个不存在的人,
没人能处理、也不报错(05-已知遗留 (b))。名录又不能整份放开给使用者(只读与最小可见)。
做了什么:
- auth/directory 新增候选池:form 用途缺省是「能用这个应用的人」——使用及以上的授权(人;组列出组本身并展开成员),
加上管理它的人(管理员、建应用的人);应用授权给了所有人时池是全部启用的人(open),不带前缀 q 不列(needs_query)。
字段可以声明 x-principal: {pool: app | group:<组> | slot:<岗位>}(slot 按这次用到的应用版本的 bindings 展开)。
review 用途是启用的搭建者和管理员(同 personal._review_targets)。停用的人一律不列。
- GET /api/directory/candidates(任何登录的人;main.py 路由清单只加一行):purpose=form 带 app_id+entry 或 task_id、field,
调用的人不能用这个应用 403;只回 {users:[{username, display_name}], groups, truncated, needs_query?},不给停用、角色、
邮箱、组成员;q 按用户名或显示名开头筛,limit 最多 50。/api/directory 仍只给搭建者。
- 开了登录时 start_entry 和待办表单提交按同一个池核对,不在池里 422,errors 的 code=principal(FORM_ERROR_CODES 加一项),
话写成「「x」不在可选的人里,请从候选中选择」(单点登录另说要先登录一次才进名录)。直接生效(遗留-Q4 按推荐)。
关登录照旧手填、不核对;不属于应用的待办(试运行、画布)没有池,不核对。
- apps/forms:x-principal 进 _FIELD_KEYS,validate_form_schema 查写法(只能写在选人控件上、只能是三种池)。
搭建者没有授权时按 apps/access 只能「查看全部实例」,不算池里的人——池按「能用」算,这一点写进了 app_pool 的说明。
测试:test_directory_candidates(只给名字、停用的不列、前缀筛、没使用权 403、名录仍 403;授权给所有人要前缀、截断;review
只出搭建者和管理员;入口表单不在池 422、停用的 422、组名和池里的人放行;待办表单同一个池;声明 group:<组> 收窄;关登录
任何名字照收;x-principal 写法校验)。
|
2026-10-16 10:24:22 +08:00 |
|
ThearchyHelios
|
e82d7fa55d
|
集成接口补齐错误码,开登录时收起 /docs、/redoc、/openapi.json(要搭建者登录)
外部系统只能按中文句子认是哪种错,文案一改就悄悄失灵;开了登录,接口说明仍然不用登录就能读,全部接口的结构对匿名的人
敞开(中间件只拦 /api/ 开头的路径)。
错误码(detail 文字一字不改,老前端照常显示;码都登记在 api/coded.py):
- api/apps.py 13 处:应用不存在(app_not_found,同入口发起时的码;没有授权的人也回它)、版本、实例不存在,钩子没声明、
没生成密钥,岗位绑定、个人应用草稿、授权、页面参数不合规;派生时工作流、版本不存在(apps/derive.py 的
DeriveRefused 带上码);视图、入口、补算的拒绝原样带码,只有引擎不发起运行(LaunchRefused)没带码的几种补上
run_launch_refused
- api/tasks.py 3 处:待办不存在、查看全部要搭建者(role_required);服务层没带码的拒绝按状态补上同一类的码
(404 task_not_found、403 task_forbidden、409 task_closed、422 task_invalid),没改 process/tasks.py
- api/artifacts.py 5 处:没有权限、这类原文只给搭建者、不存在、内容和哈希对不上
- api/deps.py 的 _forbidden(run_forbidden)、运行和证据接口的角色拒绝(role_required)、个人运行只给拥有者
(run_private)、问数据(chat_forbidden);ensure_role / 路由级依赖走 auth.require,抽出 auth.refusal 一处判断,
没登录 401 auth_required、角色不够 403 role_required
/docs:开登录时中间件把 /docs(含子路径)、/redoc、/openapi.json 当成 /api 一样拦,和路由级依赖用同一个 auth.refusal:
匿名 401,不到搭建者 403。关登录照旧(test_provenance_contract.py 的断言不受影响)。
测试 tests/test_integration_errors.py:这五个模块里不许再直接抛 HTTPException(静态检查);应用、待办、工件、角色、运行
拒绝逐类核对 code 和原 detail;/docs 关登录照旧 200,开登录匿名 401、使用者 403、搭建者 200。去掉中间件的改动回跑,
开登录时匿名打开 /docs 是 200,测试失败。
|
2026-10-16 10:19:50 +08:00 |
|
ThearchyHelios
|
dd00234622
|
系统派生的运行不进使用统计(总方案 X1、X2,细案 01 做法 4):评测一跑,聚类、白名单、目录使用热度都会被刷高
- engine/origin.py:SYSTEM_ORIGINS = (eval, reconcile, recall) 和 counted_runs()(写法同 hidden_runs,coalesce 防 NULL:来源为空的老运行、外连接没对上运行的行照常计入);ledger_issue 是替用户正式出具,照常计入
- 取问题、聚类全站只留一份:新增 app/chat/questions.py(recent_questions / cluster_questions)。只取问题原文、不取整份输入(以前把含 history 的 input JSON 拿去聚,同一段对话里的不同问题会聚成一类);问数据按轮次一轮一条(conversation_turns.question),同一轮里的自动重来只是换了挂着的运行,不多算;别的探索运行取 input.question;排除系统运行和别人的私有运行。/governance/exploratory-clusters 改用它,多给 turn_ids 和 embedder(本地哈希向量的结果只是下限)
- 工具白名单衰减、目录的使用次数和「被哪些运行用过」、审阅队列的使用权重(都走 catalog.query_snapshot_tables)只算 counted_runs 圈进来的运行
- 记录页:没按来源筛时默认不列这三类,按来源点名就列;新增 GET /api/runs/unlisted(同一份筛选,_filtered 和列表共用)照实给出没列出几次、各是哪种来源。界面在列表底下(空列表时也写)写「另有 N 次系统运行未列出(评测 2 次、口径对账 1 次)」,来源下拉的「全部」改说「全部来源(不含系统运行)」;文案进 lib/terms.ts 的 SYSTEM_RUNS_TEXT;check-runs 补一段
- test_personal_apps 里代表「别的探索运行」的两条运行改成画布试跑:问数据的问题按轮次取,没挂在任何一轮上的问数据运行不单独算
- 新增 tests/test_eval_origin.py(去掉 counted_runs 的过滤回跑,5 项都会失败)
|
2026-10-16 10:18:12 +08:00 |
|
ThearchyHelios
|
d8034ca71a
|
对外访问地址只留一个:core/public_url.py 的 public_base_url(),通知、Webhook 链接、OIDC 回调、来源核对都改用它
以前有两个「对外地址」:环境变量 AGENTLAB_PUBLIC_URL 只管 OIDC 回调和 Origin 核对,设置里 notify.public_base_url 只管
通知里的链接。只配了环境变量的部署,通知里不带链接;只在设置里填了的,回调又按请求的 Host 拼——违背「一种说法」。
- 新增 core/public_url.py:环境变量优先,其次设置(沿用 notify.public_base_url 这个键),都没有是 None。设置的值缓存在
进程里(中间件按请求核对来源,不能每次查库):启动时 refresh 一次,PUT /api/settings 写完库就 remember,不用重启;
通知、定时任务 Webhook 手里本来就有会话,用 refresh 取,顺手按库里的值对齐缓存
- 地址的形状检查和规范化只有一份(url_problem / normalize),设置接口的中文报错和环境变量的启动校验都用它;环境变量
写错了(没有 http:// 或 https://、带 ? 或 #)启动时就报错,不再拼出坏的回调地址
- GET /api/settings 另给只读的 public_url 一组 {value, env_locked},设置页据此显示「由环境变量指定」;环境变量设了时
PUT 把这一项改成别的值回 409(public_url_env_locked,field 指到这一项),原样写回不算改;public_url 一组写不进库
- notify/service 取地址的那一处、scheduler/webhook 链接里的地址、api/auth 的 OIDC 回调、auth/middleware 的 Origin 核对
都改走 public_base_url;deploy/agentlab.env 把这个变量的说法改成全站唯一的对外访问地址
测试 tests/test_public_url.py:先后顺序(环境变量 > 设置 > 无)、规范化、启动校验、PUT 刷新缓存、环境变量锁定(409、
不挡原样写回)、只配环境变量时通知带链接、OIDC 回调和 Origin 核对认设置里的地址。去掉修复回跑,只配环境变量的通知
链接、按设置核对 Origin 两条都会失败。设置页把它挪到「通用」在后面的前端提交里。
|
2026-10-16 10:18:12 +08:00 |
|
ThearchyHelios
|
a05efbf27a
|
安全响应头:所有 HTTP 响应补 nosniff、Referrer-Policy 和 CSP frame-ancestors,页面只上报严格的 script-src
以前服务端一个安全头都不发,任何站点都能把 AgentLab 嵌进 iframe:同站门户(Lax 会话 cookie 会随请求带上)和关登录的部署
都有被点击劫持的可能,也没有「允许谁嵌」的白名单可配。
- 新增 app/web_security.py,纯 ASGI 中间件,main.py 里加在最外层:CORS 预检、登录检查自己回的 401 / 403 也带上;
WebSocket 不经过它;接口自己设过的同名头(文件下载的 nosniff)不覆盖、不重复
- frame-ancestors 缺省只有 'self',这时另加 X-Frame-Options: SAMEORIGIN;AGENTLAB_FRAME_ANCESTORS 配了同站门户的白名单时
只发 CSP(XFO 写不了白名单,两个都发会让只认 XFO 的老浏览器把门户也拦掉)
- 分享页 /s 只认 AGENTLAB_EMBED_ORIGINS、Referrer-Policy 用 no-referrer。分享链接第 3 波才加,这一波先把配置读进来、
头的规则写好
- 严格的 script-src 先只发 Content-Security-Policy-Report-Only:mount_web 启动时给构建产物 index.html 里的内联主题
脚本算 sha256,只在页面响应上发;接口返回的 HTML(导出的报告自带 meta CSP)不发、不动。观察一个版本没有误报再强制执行
- HSTS 交给终结 https 的反向代理
- 两个白名单只收「协议://主机[:端口]」(可以 *. 开头),带路径、裸 *、没写协议的启动时就报错;deploy/agentlab.env 写明
两个变量和缺省行为
测试 tests/test_web_security.py:页面、/api、中间件自己的 401、CORS 预检都带头;白名单生效时不发 XFO;/s 的规则;
上报策略只在页面上、哈希对得上;已有的头不重复;WebSocket 不受影响;白名单写错启动报错;子进程起真实的 app.main 核对
环境变量接线。
|
2026-10-16 10:17:37 +08:00 |
|
ThearchyHelios
|
ec5d9398b5
|
导入清单、累积快照清单、作废记录、清除原件记录如实写「是否认证」
为什么:这四处的 signed_by.verified / signed_by_verified 写死 False。开了登录时署名就是登录的人,封存证据里却记着
「未认证」,和审计表、待办派单、run.origin 的 verified 口径对不上——留痕记错了事实(05-已知遗留 (c))。
做了什么:api/deps 新增 signer_verified()(开了登录、这次请求的身份认证过时为真;关登录、不在请求里为假),和 signer_of
配对。表格导入提交、按期移除 / 作废接受、清除原件三个写接口在请求那一刻算好,和 signed_by 一起往下传到
recipe_imports._manifest、source_versions.manifest_doc / _revoked_record、table_versions.purge_import_raw;没有署名的
(退回暂存区上记的那个)照实记未认证。新参数都带默认值 False:运行里按配方导入一期(files/imports.py,署名取动作确认人
或发起人)没有请求身份,照旧记未认证。已封存的旧清单不改写,读取复验照旧。
测试:test_signer_verified(signer_verified 跟请求身份走;作废记录照给的写;开登录首次导入的清单 verified=True、清除原件
记录 signed_by 是登录的人且 verified=True,请求体里填的名字不看)。关登录的老断言(False)照旧通过。
|
2026-10-16 10:14:43 +08:00 |
|
ThearchyHelios
|
845809486a
|
驳回不再记成失败(后端):人的驳回收成 cancelled + end_reason=rejected,消费方都读这一个字段
为什么:动作确认、工具 / 代码审批、审批驳回即终止、填写 / 编辑被驳回、双盲裁决的驳回以前抛普通 NodeError,运行记成 failed。
通知推「实例失败」,定时推「运行失败」,发布单把驳回过的试运行说成「试运行失败了」并挡住发布,记录页还给「继续运行」
(接着跑只会读到同一个驳回答复、再停一次)。人的决定被说成故障,每个消费方各写一份映射,已经漏了四处(05-已知遗留 (a)、总方案 X9)。
做了什么:
- engine/context 新增 NodeRejected(NodeError),带 node_id、kind、decision(reject / expired_reject)、actor、note;六处驳回改抛它,
原话一字不变。待办超时驳回的答复带 expired,Decision.expired 据此记成 expired_reject。
- runner._drive 在通用 except 之前单独接住:status=cancelled、end_reason=rejected、error 写原话、error_node 写那一步,
run.cancelled 带 reason/node_id/label/kind/decision/actor/note;关审批、回收沙箱、关流、封存走取消的那一套。手动停止
(执行中取消、放弃断点上的运行)写 end_reason=stopped,run.cancelled 带 reason=stopped。
- 继续运行:被驳回的 409 code=run_rejected「被驳回的运行不能接着跑:改好内容后重新发起」;存量 failed+驳回(失败那一步上
最近一条处理完的待办是驳回,和实例页同一份判断 resolve.legacy_rejected)也拒。RunOut 带 end_reason。
- apps/resolve.instance_state:cancelled+rejected 和存量 failed+驳回说同一句(「「付款」未确认(被驳回)」「「x」被驳回」)。
- notify_run:状态那一句取自 instance_state,被驳回的走「实例结束」、ok=False,走到「已退回」成果的不再写「已完成」;
手动停止照旧不推。顺带修 04-对外集成与触达 B1:发起人是认证身份(run.origin.actor_verified)时 users 传 [started_by],
个人渠道订阅了实例完成 / 失败终于收得到;自报署名不算。
- 定时 webhook:cancelled+rejected 按「运行结束」推「未出具(被驳回)」、写驳回的那一步,不写备注和原话、不画成功色;
手动停止仍不推。
- 发布单:试运行被驳回不算 plan.trial_failed,记 warning plan.trial_rejected「最近一次试运行在「x」被驳回、没有走完」(带白话)。
- (h) 重启时排队中的运行改成 failed 时补发 run.failed(同一句原因),时间线里有了失败原因这一行;不写结束时间、不封存,同以前。
- (f) tasks.tick / actions.tick 交回这一拍处理过的 id 列表(调度循环只记条数),测试改成只断言自己造的待办;先加了预置
一条无关到期待办的 fixture,旧的按条数断言当场失败(3 == 1),改完通过。
已封存的老运行不改写。测试:新增 test_run_rejected(五种关卡参数化、超时驳回、继续运行拒绝含存量、手动停止、补发 run.failed、
instance_state 新老形状同一句)、test_notify_run(驳回走实例结束、手动停止不推、已退回不写已完成、个人渠道 B1 两条);
webhook、发布单、动作确认、双盲、审批的老断言跟上。去掉 runner 里接 NodeRejected 的分支回跑,新测试 8 条失败。
|
2026-10-16 10:14:27 +08:00 |
|
ThearchyHelios
|
e3d0fe618c
|
定时目标的底座(总方案 X4,细案 01 做法 15):定时只有一套,目标种类在 scheduler/service 里一处封装
- service.target_of / target_columns:读写目标只经这里。workflow 目标 target_id 同 workflow_id;非工作流目标 workflow_id 存空串(老表的非空约束,只加不改的迁移放宽不了),这条规矩不散到别处
- fire_once 按目标种类分派:工作流那段原样搬进 _fire_workflow(重叠跳过、渲染输入、记触发、发起一字不变);这一波别的种类照实记「未能发起」并写明是哪类目标,不发起运行、不把空串当工作流去跑
- 建任务、PATCH 改工作流经 target_columns 一起写两列;存量任务(target_id 为空)照旧按 workflow_id 发起
- 接口和界面这一波不暴露新种类(第 3 波开放),返回的形状不变
- 新增 tests/test_schedule_target.py
|
2026-10-16 10:07:15 +08:00 |
|
ThearchyHelios
|
0ce272e94b
|
每日账泛化成 Ledger(key)(细案 01 做法 17):核查、裁判以前各写一份一模一样的预留、找补、按日滚动,评测再抄就是第三份
- engine/spend.py:Ledger(key) 一套代码,三个实例各记各的键——verify_spend(核查)、judge_spend(裁判)、eval_spend(评测,预留,设置和接口第 3 波加);锁按(事件循环, 键)各一把,一本触顶不挤占另外两本
- 核查的模块函数(SPEND_KEY、daily_spend、charge、settle)照旧,委托给 verify_spend
- engine/judge.py:_charge / _settle 和它自己那份 _today、_spend_of、模块级锁去掉,改用 spend.judge_spend;SPEND_KEY、daily_spend 照旧,裁判的预留、找补、上限行为不变
- 三本账按同一个本地日期滚动(spend._today):test_evidence_judge 里模拟跨天改成换 spend._today(以前换的是裁判自己那份时钟,已经不在了)
- 新增 tests/test_spend_ledger.py(三本账三个键、预留找补与上限、跨天、互不挤占、同一个时钟)
|
2026-10-16 10:02:53 +08:00 |
|
ThearchyHelios
|
3565227748
|
后台任务运行时上移到 core/job_runtime.py(总方案 X5):评测、后台探查都要用它,从 data 包里导入一个「数据目录的」运行时说不通
- data/catalog_job_runtime.py 只留一个老路径:sys.modules 指向 core.job_runtime,同一个模块对象、同一条队,起草、剖析和测试里的 import 一个字不用改
- 同源队里的事做成开放的:运行时不再认具体几种,各模块 register_lane_kind 登记(起草这边 draft / sync_draft / import,剖析 profile),进队只核对登记过;第 2 波的后台探查登记一行就排进同一条队,拼错的 kind 当场报错
- JobRun 多一个 lane_of 钩子(缺省 job.source_id):以后不占源的任务(评测)返回 None 就不进队,现有起草、剖析行为不变
- 新增 tests/test_job_runtime.py
|
2026-10-16 09:59:44 +08:00 |
|
ThearchyHelios
|
4819b21269
|
下一轮第 1 波的契约骨架:运行加 end_reason(人工驳回 / 手动停止),定时任务加目标种类和 id、触发记录加评测 id(定时只有一套),运行来源登记 eval、ledger_issue、reconcile、recall(都只能由服务端写);迁移只加不改
|
2026-10-16 09:43:08 +08:00 |
|
ThearchyHelios
|
d135a17f72
|
合入数据剖析逐表后台任务:剖析从一次同步请求改成逐表的后台任务,每张表看得到检查项进度、查询数、用时和正在核对哪一项,关掉对话框照常进行,可以停止、只重试没做完的表,服务重启标中断不续跑;预算按表算(缺省每张表 40 条查询、60 秒,用完只停这张表),整次不设上限,靠连续 3 条失败、最近 10 条 7 条超时两条止损和手动停止;同一个数据源上起草和剖析排队串行,范围在开始剖析时按当时的目录定(起草完接着剖析不再漏掉只靠关系才有检查项的表);缺省剖析「需要剖析的表」(从没剖析过、上次没做完、之后又有待核实关系或新的码值、日期列);发过的每条查询留痕(取值换成「?」,遮罩列不进查询);表清单「剖析」一列、表详情「数据剖析」一节;起草和剖析共用抽出的后台任务运行时(起草行为不变);去掉同步剖析接口,设置的两项旧预算启动时删掉、换成按表的两项;停止刚被认领的任务不再 500(起草一并修)。验收:后端全量测试、check-catalog-profile / catalog / catalog-loop、真实后端用虚构店铺库走完排队、预算、停止重试、强杀重启、设置迁移
|
2026-10-15 20:13:30 +08:00 |
|
ThearchyHelios
|
68f521c000
|
README:数据剖析一行按逐表后台任务重写(按表预算、止损、排队、留痕、开始时定范围),导入在剖析时也不行;check-all 改成 38 项,补上 catalog-profile 和此前没列上的 blueprint、personal、records、files
|
2026-10-15 19:50:14 +08:00 |
|
ThearchyHelios
|
fa9739d0d8
|
行数的来源分清「逐行数出来的准数」和「数到整表统计行数上限为止」:以前没超过上限、已经数全的表也写「数到上限为止」,读着像被截断了
|
2026-10-15 19:48:11 +08:00 |
|
ThearchyHelios
|
ff278afd7e
|
剖析的范围在开始时定:排在起草后面的剖析任务,开始时按起草后的目录重挑要剖析的表
真实后端验收里「起草完接着剖析」这条主路走不通:剖析任务建的那一刻就按当时的目录定了表单,可它排在起草后面,起草还没提出
关系,只靠关系才有检查项的表(链接表、明细表)一张都挑不进来,起草写完关系后剖析照旧跳过它们。
- 开始剖析时(_ProfileRun._rescope)按那一刻的目录重定:需要剖析的表、全部表整份重挑(这个任务的表都还没开始);指定的表里
建任务时判为「没有可剖析的项」的再看一次,现在有了就排上。
- 排在起草后面时挑不出表也照建,不再 409(起草多半会提出关系);开始时还挑不出来,任务以 0 张表结束,提醒里写明为什么。
- 界面:排队时写明要剖析哪些表开始时按起草后的目录再定,开始前的张数是按现在的目录算的。
- 新测试在去掉重挑的代码上两条都失败。
|
2026-10-15 19:43:29 +08:00 |
|
ThearchyHelios
|
90fa83d807
|
check-catalog-profile 跟上「需要剖析」的新说法(多出码值、日期列的也算,上次是空表的不算)
|
2026-10-15 19:35:01 +08:00 |
|
ThearchyHelios
|
4c4fa8e4e9
|
「需要剖析」多认一种:上次剖析之后多出了码值、日期检查(new_checks);停止排队任务时不再读过期的 job(起草、剖析两处)
- 以前只认从没剖析过、上次没做完、又冒出了待核实关系三种:上次剖析时没有可剖析的项(指定了表、记为跳过),后来有人把一列
记成状态类,或者日期列变了,「需要剖析的表」永远漏掉它。现在按当前要做的检查对上次剖析的检查项(kind、target),多出了
码值、日期检查就要剖析,原因 new_checks;上次是空表而跳过的仍不算(不发查询不知道有没有数据),界面和 409 的说法写明。
due_reason 改收 plan_checks 列出的检查,没人用的 profile_checks 去掉。
- 停止一个排队中的任务时,排队那一步没停成(刚被后台认领)要回滚,回滚让读到的 job 属性全部过期,再读 job.id 就在异步会话里
同步加载(MissingGreenlet),接口 500。起草的 cancel 在 main 上就是这样写的,剖析照抄了;两处都先把 id、状态取出来。
新测试在旧代码上复现了这个 500。
|
2026-10-15 19:28:17 +08:00 |
|
ThearchyHelios
|
057f6abd3e
|
合入剖析前端:剖析对话框看得到每张表的进度、可以停止和重试,表清单的「剖析」列、表详情的「数据剖析」一节、按表的设置;新增浏览器检查 check-catalog-profile
|
2026-10-15 19:21:51 +08:00 |
|
ThearchyHelios
|
7a7c0708d7
|
合入剖析后端:抽出数据目录后台任务的共用运行时(起草任务改用它,行为不变),数据剖析改成逐表的后台任务(逐表预算、任务级止损、排队、停止、重启标中断、重试、查询留痕、保留),设置换成按表的两项,去掉同步剖析接口
|
2026-10-15 19:21:51 +08:00 |
|
ThearchyHelios
|
6c728aaacd
|
数据剖析按复核意见修三处:没来得及收尾的表照实说、停止中的说法、展开的进行中一行不跟着查询数重取
- 服务重启的说明不再一律说「做完的项已写进数据目录」(R1 前端这一侧)。目录只在一张表结束时和它的结果一起写:停止、关停
服务时正在剖析的那张来得及收尾,做完的项照常写进去(服务端记部分完成,原因写「已做完的 N 项照常写进了数据目录」);进程
被杀、下次启动时才标中断的那张没来得及收尾,这次的结论一项都没写进去,服务端把它记成已停止、查完的项改记跳过。界面按逐表
的状态认出这样的表(已停止却有开始时刻:正常收尾的表不会是已停止,没开始的表没有开始时刻),服务重启、停止的说明里点名它
「剖析到一半服务就停了,没来得及收尾,这次的结论没有写进目录,保留原来的结论」,有别的表收了尾才说「其余做完的项已写进数据
目录」;逐表一行用服务端给这张表的原话(查完的几项没写进目录),一项都还没查完、原因就是任务那一句时写「没来得及收尾」。
不说「做完的项没写进去」:被杀时它可能一项都还没查完。
- 「正在停止」不再说等正在执行的那条查询结束(R4)。停止时服务端不等这条查询(它在发过的查询里记失败),库那边按单条时限截止
它,收尾写完停止就答;单条时限设得长时,旧说法会让人以为要等满时限。改成「正在执行的那条查询不再等待,由数据库按单条时限
截止;已做完的项照常写进目录…」,和服务端的说法一致;接口、停止逻辑的注释同步改。
- 展开进行中的那一行,只在一项检查开始、结束时重取这张表的完整结果(R5)。服务端只在这两个时刻写检查清单、正在做哪一项和发过
的查询,其间每发一条查询只加查询数和用时;以前重取的依据带着查询数,进行中几乎每次轮询(1.5 秒)都多取一份没变的结果,
一张 40 条查询的表约多 40 次。依据改成状态、结束的项数和正在做哪一项。
检查脚本 check-catalog-profile:伪造的停止照服务端分「来得及收尾」(正在剖析的那张记部分完成、原因写做完的已写进目录)和
「没来得及收尾」(记已停止、查完的项改记跳过、说法照服务端)两种;停止那一节跟着改(正在剖析的那张是部分完成,汇总
「完成 1,部分完成 1,已停止 3」),「正在停止」的说法改查新句子;服务重启一节加关停时收了尾、进程被杀(查完一项、一项都
没查完)三种;表详情一节加剖析到一半进程被杀;进行中一节加一条:展开进行中的一行后只多发查询时不再请求 tasks/{seq},一项
结束、换下一项时重取一次。先在改动前的代码上跑过,这几条照复核说的那样不通过(展开后多取了 2~3 次、停止中还是旧说法、
服务重启一律说已写进),改完通过。
|
2026-10-15 19:18:17 +08:00 |
|
ThearchyHelios
|
4f0b60df03
|
导入、同步起草撞上剖析、起草任务时,说法按这次要做的事说下一步
复核 R3。导入目录、同步起草撞上剖析任务回 409 profile_busy 时,原话来自 busy_message,结尾固定是「请等这次剖析结束
(或先停止它)再开始新的剖析」;使用者这时是在导入、起草,不是要开始新的剖析,导入对话框原样显示这句。导入撞上起草
任务时同样说「再开始新的起草」(这是改造前就有的,同一类问题一起改了)。
- catalog_profile_jobs.busy_message / ensure_free 加 then(缺省 THEN_PROFILE「再开始新的剖析」,建剖析任务、重试照旧)。
- catalog_jobs.busy_message / sync_busy_message / ensure_draft_free 同样加 then(缺省 THEN_DRAFT「再开始新的起草」);
ensure_idle 和 _lane_busy 按这次要做的事(kind)选:导入撞上什么都是「再导入」;同步起草撞上剖析是「再起草」,撞上
起草仍是「再开始新的起草」(和建起草任务同一句话,test_catalog_draft_jobs 钉着这一点,没动那个文件)。
- 导入接口的说明补上撞上剖析任务回 profile_busy。
测试:剖析时导入、同步起草、再建剖析任务三句结尾各自对得上;队被剖析占着时(任务刚好在收尾)同样按这次要做的事说。
|
2026-10-15 19:12:48 +08:00 |
|
ThearchyHelios
|
7ee820f0f5
|
表的「上次剖析」取真正开始过的那一次:没开始就停了的、还排着的不再挡掉上一次真正剖析,保留也不清它
复核 R2。以前每张表的「最近一次剖析」只按任务的建立先后取,没开始就结束了的那一项(停在前面的表上、任务止损或整体
出错后没轮到)、排队中还没轮到的那一项也算。于是表详情、表清单的上次剖析变成一条没有行数、没有发过的查询的「已停止」;
prune 只保护排第一的那一项,上一次真正剖析所在的任务就会被清掉——行数估算、日期范围、发过的查询只存在剖析任务里
(设计文档 §5 否决了写进目录),删了就找不回来,和 §4.8「表详情的上次剖析永远有」相抵。建一个排队任务时顺手的 prune
就能清掉它。
- _ranked(替代 _latest_per_table)一个子查询给两个排名:shown 是真正开始过(started_at 有值;收过尾的表都有)的最近
一项,一次都没开始过才退回最近一项;latest 是最近一项,只用来看这张表是不是已经排在进行中的任务里。
- last_profiles、last_detail、prune 的保护都按 shown。表还排在进行中的任务里时,表详情给的是上一次真正剖析的明细,
排队、在做由页面跟着的任务说(前端 profileCell / ProfileSection 的 live 本来就这样)。
- due_reason 也按 shown(加上 queued:已经排在进行中的任务里不算要剖析),不照复核建议看最新一项:不然表清单一边显示
「上次剖析:完成」,一边说「上次剖析没做完」。真正没剖析完整的表照样 due——上次真正剖析是 partial 的仍是 unfinished,
从没开始过的退回最近一项(cancelled)仍是 unfinished,剖析之后冒出的待核实关系仍是 new_relations。
测试:新增先剖析 channels、再在 [visits, channels] 停在 visits 上——channels 的上次剖析仍是第一次(行数、发过的查询
都在),不算要剖析;prune(keep=1) 不删;保留数为 0 时再建一个排队任务也不删。
|
2026-10-15 19:11:59 +08:00 |
|
ThearchyHelios
|
35c83d3001
|
剖析收尾照实说:没写进目录的检查项不再标「完成」,目录和表的剖析结果同一个事务提交
复核 R1。目录只在一张表结束时由 _record 写一次,进程被杀(启动时标中断)、任务整体出错(剖析到一半快照被改动)时,
正在剖析的那张表没走到这一步,可它已经做完的检查项仍记 done:检查清单上标着完成,findings 是空的,目录里那几条关系
还是推断。_close_tasks 只改 pending / running,于是把没写进去的结论说成了做完。
- _close_tasks:还没结束的表上 done 的检查项也记为跳过,原因同这张表(中断 cancelled、出错 error),说明是
「{原因},查完了但结论没有写进数据目录」,算进 unfinished,重试时带上这张表;这张表的 error 写明「已查完的 N 项
没有写进数据目录,剩下 M 项没查」。跳过的项按检查项列全:进行中的表只随时落了检查项,按规则不查的(遮罩……)以前
收尾时不进跳过的项。优雅停止、关停不走这条路,正在剖析的那张表做完的项照常写进目录(error 说「照常写进了数据目录」),
前端可以据此分开说。
- 目录和这张表的剖析结果改成同一个事务:catalog.write_entry 加 commit=False(只写进事务、冲突照样回滚),
catalog_profile._record 写目录不提交,recorded(_save_table)也不提交,最后一起提交。以前是两次提交,进程在中间没了
会出现目录写了、剖析记录却说没写的情形,上面那句「没写进目录」就不照实。
- 不改成每项做完就写目录:每写一次目录升一个版本,表结构快照的哈希跟着变,和人工编辑撞乐观锁的机会也成倍增加;
设计文档定的是整张表结束时并一次。
测试:启动标中断那条改断言(查完的码值记 skipped / cancelled、error 带「已查完的 1 项」);新增剖析到一半快照被改动
(4 条关系查过了、全记 skipped / error、目录不动、重试带上 visits);新增记结果那一步出错时目录跟着回滚(换回两次提交
这条就挂)。
|
2026-10-15 19:11:28 +08:00 |
|
ThearchyHelios
|
f375101c5e
|
补齐剖析任务的测试(设计文档 §7 后端那一串),顺手改掉几处过时的说明
新增 tests/test_catalog_profile_jobs.py,用很小的 SQLite 夹具和假的查询层让超时、失败、停在哪一条都可控:
- 同源排队:起草在跑时剖析建成 queued、waiting_for = draft,起草结束后自动开始;剖析在跑时建起草任务不 409、排在后面(waiting_for = profile),同种任务照旧 409;停掉排队中的剖析任务(在队里等着的一起停掉,检查项不留「排队」);导入目录、同步起草在剖析时 409 profile_busy;同步起草、导入期间建的剖析任务排在它后面,导入期间再导入一次 409
- 停止:停在 visits 的码值上,做完的 4 项照常写进目录、没做的记 cancelled 且目录不动,后面的表 cancelled,正在等的那条查询留痕写明没等结果;已结束的再停 409 catalog_profile_finished
- 关停标中断、启动标中断不续跑(进行中那张表的检查项转成跳过);重试只带没做完的表、设置取当前的,没有可重试的 422,正忙 409
- 任务级止损:连续 3 条失败(error 带驱动报错第一行)、最近 10 条 7 条超时(停下、后面的表带同一句原因);提醒在好转后清掉,成功一条重置连续失败数
- 每张表开始前重读数据源:停用、关掉剖析就停;遮罩按最新的设置
- 范围:全部 / 需要剖析 / 指定(视图、表结构里没有、没有可剖析的项建成 skipped),有待核实关系的在前;profile_due 的 never / unfinished / new_relations;挑不出表 409 profile_nothing;超 500 张 422;空表一条查询记 skipped
- 留痕:IN 列表里抽到的键值(文字键)不出现在库里的 query_log;表清单、表详情带上次剖析
- 设置迁移:启动时删掉旧键,老页面带旧键保存只摘掉;保留:超过保留数删旧的,不删某张表最近一次剖析所在的任务,建任务时顺手清
剖析停在一张表中途时,那张表的 error 改说「已做完的 N 项照常写进了数据目录」;engine.py、catalog_transfer.py、catalog_jobs.py 里还写着查询次数上限、只看起草任务的几处说明跟上。
|
2026-10-15 18:40:19 +08:00 |
|
ThearchyHelios
|
e3bd8e3d19
|
表清单的「需要剖析」开关只在服务端给了 profile_due 时出现
老服务端(或检查脚本里没给新字段的假清单)每行没有 profile_due:开着剖析的源以前也会出一个「需要剖析 0」的开关,点了
就筛空清单,像是所有表都不用剖析。改成服务端给了这个口径才出(地址里已经带着 profile=due 时照样出,好让人关掉)。
|
2026-10-15 18:38:52 +08:00 |
|
ThearchyHelios
|
e7ab6a14c5
|
数据剖析的浏览器检查:新建 check-catalog-profile,check-catalog 里同步接口那套剖析检查删掉
check-catalog-profile 照 check-catalog 的写法:数据源、目录、剖析任务、起草任务都用 page.route 伪造(虚构的网店业务库,
表名 orders、customers、visits 这类),任务怎么往前走由检查自己推,没配的写请求一律 503,最后核对真库没变。查的是:
范围与个数(按清单行上的 profile_due、profile_checks、视图算)、按表写的预算和这次最多约几条查询、只读一条一条发可随时
停止的说明、进行中逐表行和各类检查进度、页头进度入口和提醒、停止、展开逐表的检查清单和发过的查询、结束后的汇总筛选和
重试、止损和服务重启、409 六种情况加老服务端没带机读码、和起草互相排队的说法、表清单的「剖析」一列和「需要剖析」筛选、
表详情的一节和「剖析这张表」(含正忙时说清这张表在不在那个任务里)、设置两项新字段和被拒时报错落到那一项、窄屏。
同步接口那一节里顺带查的码值弹窗(光标落在空着的码值上、回车保存只换那一列、填完回到结果接着下一列)一并搬过来。
check-catalog 删掉旧的剖析设置、剖析、剖析 409 三节,假服务端的同步剖析接口换成剖析任务(取进行中、最近一次答空,
建任务一律 503);其余各节不动。check-all 的 ORDER、ESTIMATE 登记 catalog-profile。
界面顺带改三处(截图里看出来的):结束后的进度写做完了几张(同起草,停止、失败、跳过的不算);没开始就停下的表不写
各类检查的 0/N;表详情一节里码值候选不在目录里时不给「填写含义」(码值弹窗改的是目录里那一项)。
|
2026-10-15 18:33:46 +08:00 |
|
ThearchyHelios
|
6b3c737fb8
|
数据剖析改成逐表的后台任务:引擎改编排、剖析任务、接口、设置换新键
以前剖析是一次同步长请求,预算按整次算(max_queries 60、max_total_s 120),选 50 张表只做得完前两三张,其余整张记「查询次数用完」;不能停,关掉页面报告就没了,对业务库查了什么无从查。
- data/catalog_profile.py:检查逻辑和 _apply 并入规则原样保留,只换编排。公开的逐表入口 profile_table:先列全检查项(plan_checks,纯函数,范围的 profile_checks、建任务时列的检查项、执行用同一份;遮罩、多列、不在表结构里、指向视图的关系在这里就列成按规则跳过),第一条查询估行数(确知空表整张表跳过),逐项执行、进度回调,整张表结束写目录并和回调在同一次库操作里;停止时做完的项照常写、没做的记 cancelled 保留旧结论。_Runner 拆成整个任务一个的 SourceRunner(只读守卫、单条时限、任务级止损:连续 3 条失败、最近 10 条 7 条超时;最近 6 条 4 条超时提醒;每条查询留痕,SQL 经 normalize_sql 去掉字面量)和每张表一个的 TableBudget(用完只停这张表)。删掉同步的 profile_catalog、挑表前批量估行数(_skip_empty、PROFILE_DEFAULT_TABLES、PROFILE_PROBE_TABLES)和进程内 _RUNNING。设置换成 table_max_queries(1–200,缺省 40)、table_max_s(10–600,缺省 60),旧键 max_queries、max_total_s 启动时从库里删掉(migrate_settings,不折算:旧值按整次算,含义不同),保存时只摘掉不报错(without_legacy)。表助手的 run_query 和起草时核对有效记录条件改走单条查询入口 run_single_query,行为不变。
- data/catalog_profile_jobs.py:剖析任务的建(selected / needed / all 三种范围,排序同前:有待核实关系的在前、使用次数、表结构顺序;挑出 0 张 ProfileNothing)、排队(和同源起草按建立先后串行,waiting_for)、执行(每张表开始前重读数据源:停用或关掉剖析就停下;遮罩按最新设置)、停止、重试、启动标中断不续跑、保留最近 50 个结束的任务(某张表最近一次剖析所在的不删)、last_profile / profile_due 的查询、任务和逐表的接口形状。
- api/catalog.py:加 /profile-jobs(建、active、latest、{job_id}、tasks/{seq}、cancel、retry),登记在 /{table} 前面;删掉 POST /catalog/profile;清单每行加 last_profile、profile_due、profile_due_reason、profile_checks,顶层加 active_profile_job;单表加 last_profile;导入目录、同步起草遇到剖析任务 409 profile_busy。api/coded.py 加 profile_nothing、catalog_profile_finished;api/datasources.py 保存时摘掉旧键;main.py 启动时标中断加设置迁移,关停时停掉进行中的剖析。
- 测试:test_catalog_profile.py、test_catalog_profile_units.py、test_catalog_semantics.py 里打同步接口和旧设置键的改走任务和新键,检查逻辑的断言保留;同步接口的整次总量上限一条改成逐表次数、逐表时长两条。
|
2026-10-15 18:30:48 +08:00 |
|
ThearchyHelios
|
03a9684a18
|
数据剖析前端改成逐表的后台任务:对话框看得到每张表的进度,可以停止、重试没做完的表
以前剖析是一次同步长请求,进行中只有一条已用时长的横条、停不下来,关掉页面报告就没了;预算按整次剖析算,几十张表
往往只做完前两三张。服务端改成逐表的后台任务(profile-jobs)后,界面照起草任务的做法重做:
- types、api:按接口约定加剖析任务、逐表行、逐表详情(检查清单、发现、发过的查询)、清单行上的最近一次剖析和
profile_due / profile_checks、目录顶上的 active_profile_job,起草任务加 waiting_for;删掉同步接口 profile() 和只给它用的
类型;设置换成每张表最多查询数、每张表时长上限两项新键
- profileJob.ts(新):useProfileJob,进行中每 1.5 秒取一次,状态只往前走,关掉对话框照常进行,结束时右下角提示
- ProfileDialog 重做:开始前四种范围和个数、按表写的预算和这次最多约几条查询、只读一条一条发可随时停止的说明,同源有
起草任务时「排队剖析」;进行中逐表一行(状态、各类检查进度、查询数、用时、正在做哪一项),点开看检查清单、发现和发过的
查询;结束后汇总、止损和停止的原因照实写、按有发现 / 有跳过 / 失败筛、重试没做完的表;409 六种情况各有说法和下一步
- 目录页头部起草、剖析各一个进度入口;表清单加「剖析」一格和「需要剖析」开关(地址里记 profile=due);表详情加
「数据剖析」一节和「剖析这张表」
- 起草排在剖析后面时写「排在剖析任务后面,剖析结束后自动开始」
- 文案:去掉「剖析无法中途停止」「总时长上限」等已不成立的说法,补上新的跳过原因和任务状态的叫法
|
2026-10-15 18:14:14 +08:00 |
|
ThearchyHelios
|
1e58862bf0
|
抽出数据目录后台任务的共用运行时,起草任务改用它:为剖析改成逐表的后台任务做准备
data/catalog_job_runtime.py 从 catalog_jobs.py 抽出进程内任务的执行与停止(JobManager:start / stop(grace) / wait / running / shutdown;JobRun 把进队、等轮到自己、执行、按停止原因收尾、出队写一次)、同一任务的库写入一条一条来并 shield(SerialWriter)、启动时标中断(interrupt_on_startup、close_job)、状态词常量,以及每个源一条先来先到的队(SourceLanes:任务阻塞地占,同步写操作不阻塞地试占)。剖析和起草是同一类问题(关页面就没了、不能停、不留痕),生命周期各写一份迟早一边修了另一边没修;共用的是生命周期代码,表各建各的。
起草的行为不变(test_catalog_draft_jobs.py 一条不改全过),只是:ensure_idle 拆成「同种任务互斥」(ensure_draft_free,建起草任务、重试用,剖析任务不挡起草,起草任务排在它后面)和「同步写操作要求源空闲」(ensure_idle,同步起草、导入用,剖析任务也算);同步起草、导入目录执行期间占着这个源的队,期间新建的任务排在后面;任务和清单顶上的进度带 waiting_for(起草排在剖析后面时为 profile);排队中被停止的任务连同在队里等着的后台执行一起停掉、出队。
db/models.py 加 CatalogProfileJob、CatalogProfileTask 两张表(create_all 建,同源排队或进行中的部分唯一索引照起草的写法);catalog_profile_jobs.py 先放剖析任务的忙碌判定,下一步补全。
|
2026-10-15 18:10:50 +08:00 |
|
ThearchyHelios
|
96934ce7ef
|
合入普通用户建应用:说需求 → 蓝图(白话卡片,每项带来源和状态,bp_* 操作逐卡白名单,授权和派活给谁只由人定)→ 场景模板填关节(周期看板、审批、异常处理、填报登记、核对写回五个模板加自由形,骨架锁住,助手只填取数 SQL 和指标式,各组并行)→ 用真数试运行(探索运行,草稿应用按这次运行预览,流程类的待办派给试运行的人自己)→ 搭建者一次确认的发布单(九步,预检只读,问题按你来定 / 助手可以修 / 要找管理员分栏,停下可接着做),使用者存成个人应用(只自己可见,遮罩、只读,可提交搭建者审核);平台托管的记录表(只追加,按高水位固定数据,行级可见,表单不兼容地改出新一版,跨版本汇总)与文件(按哈希存,两步上传,提交时绑定运行,按读权限下载);应用页面上直接改(改文字、隐藏、挪动、删除、加数据卡片,自动存草稿)。试用后的修正:「看哪些数」对到的数据源和表必须存在;平台能力的治理默认在没人治理过时一直生效;发布摘要分清挡不挡发布;按需求挑选放宽输出额度、照实分开截断和格式不对;卡片「确认全部」,「改」改成「修改」;取数 SQL 不把数据源名写成库名,最近一次试运行失败的蓝图不能发布;写回卡片加「结果不明时谁去核实」。验收:后端全量测试;蓝图、应用页浏览器检查
|
2026-10-15 17:36:44 +08:00 |
|
ThearchyHelios
|
d2b398563b
|
写回卡片加「结果不明时谁去核实」:写回的目标能力没登记查询时,结果不明(请求发出去了、没拿到答复)平台查不了、也不自动重发,要有人去目标系统里核实;以前发布单报「写入结果不明时没人核实」「有一步还没指定谁来做」却在卡片上找不到地方改。
- 蓝图格式:写回卡片多一项 reconciler(一组人或组),旧蓝图没有这一项照旧可读;只收用户的操作(同「谁能看」),助手整张换写回卡片时留着用户选好的人
- 是否需要(templates/_common.needs_reconciler,和应用骨架加核实岗位同一个判断):模板用到写回卡片、选了目标能力、能力没登记查询;交给前端的蓝图带 reconciler_needed,界面不自己判
- 蓝图检查 bp.reconciler_unbound:试运行只提醒(待办派给试运行的人自己),发布挡住;发布单上应用检查说同一件事的 app.reconciler_unbound 和核实岗位的 app.slot_unbound 不再重复列
- 岗位绑定:选了的人绑到应用的核实岗位;能力补登了查询就不再要、也不再绑,卡片上留着的人照样摆出来、写明用不上
- 卡片:需要时摆这一项,标「缺」、写明为什么要人核实,选人控件只能选人或组;「缺」只挡发布;蓝图助手的提示词写明这一项由用户定
- 示例蓝图(核对写回)补上核实人,审批、核对写回的卡片说明写上这一项;测试和检查脚本跟上
|
2026-10-15 17:31:20 +08:00 |
|
ThearchyHelios
|
7fc3488b55
|
取数 SQL 不再把数据源名写成库名,试运行失败的蓝图不能发布:填关节的说明以前把表写成「数据源名.表名」,模型照抄进 SQL,数据库把数据源名当成库名(MySQL 报 Unknown database),应用每次出数都失败;说明改成只写数据源里的表名,并写明不要加数据源名。助手自查加 sql_source_prefix:表名前面写了数据源名就交回模型改(认列的检查找表时去掉前缀,拦不住它;数据源名恰好是库名、schema 的不报)。发布单遇到最近一次试运行失败改为挡住(plan.trial_failed,带出错的那一句),不再只是「还没有成功的试运行」的提醒
|
2026-10-15 17:31:20 +08:00 |
|
ThearchyHelios
|
1e707c43c5
|
蓝图卡片加「确认全部」:一张卡片上待确认、有值的项不止一项时,卡头摆「确认全部(N)」,一次修改带上这几项的状态(只改状态、来源不变,服务端整批落或整批不落),不用再一项一项点;只有一项的用它自己的「确认」。按钮「改」改成「修改」,页面编辑的「改文字」改成「修改文字」;检查脚本跟上
|
2026-10-15 15:03:43 +08:00 |
|
ThearchyHelios
|
fcbf711941
|
按需求挑选不再总是「没挑出来,已把表目录交给助手」:挑选以为能关掉思考、只给 1024 的输出额度,可经 OpenAI 兼容接入的推理模型(DeepSeek、GLM、Kimi 这一类)收不到 thinking=off,想完就没额度写结果,回复是空的或 JSON 只写了一半,又被报成「不是约定的格式」。额度改成和证据裁判、核查同一档 16384,服务方嫌大时退回 4096(按接入和模型记在进程里、互相认),时限 20 秒放宽到 45 秒;结构化输出带原始回复,正文、工具调用参数里的 JSON 也认,<think> 里的草稿不算,正文里顺手写的 [1] 不算空结果;没成的原因照实分开说:被截断(带额度)、回复是空的、写了字却不是约定的格式,认不出的回复开头记进日志
|
2026-10-15 14:59:40 +08:00 |
|
ThearchyHelios
|
f0b66c2551
|
发布单的问题照实分清挡不挡发布:平台能力的治理默认在没人治理过时一直生效(在默认写好之前登记的 records_append 会停在「不许无人值守、没有查询能力」,填报登记出发布单时报写入不经确认、结果不明没人核实、要找管理员登记查询能力;管理员改过的同步不动);发布摘要的三栏只列挡发布的问题,只是提醒的(视图要等第一次正式运行才有数之类)另列「提醒(不挡发布)」;确认按钮「每周一 09:00 自动出数」补上空格;检查脚本和测试跟上
|
2026-10-15 14:44:26 +08:00 |
|
ThearchyHelios
|
be845bb823
|
蓝图「看哪些数」对到的数据源和表要真的存在:卡片上照实说是哪一项、怎么改(bp.data_source_unknown / bp.data_table_unknown,带白话),挡住试运行和发布单,助手自查也拿得到;填报登记里本应用的记录表写 @records、表名固定,提示词和模板说明写明这个约定;「对到的表」改成从已接入的数据源和表里选,填报登记多一项「本应用的记录表」,卡片上照白话显示(以前要到试运行才报「绑定的工具不存在」,用户找不到在哪改)
|
2026-10-15 14:32:25 +08:00 |
|
ThearchyHelios
|
7739340607
|
普通用户建应用集成收尾:
- 问数据和个人应用的图放行绑定只读查询等合规工具的调用工具节点,只读和遮罩在这条路径上生效;被治理成写入的工具在只读运行里直接拒;知识库范围在工具层固定(图级默认值、参数名纠错、Agent 都改不了)
- 个人应用的刷新和个人蓝图的试运行只有拥有者能读:运行、事件、证据、工件、文件、运行与审批列表、对比、可验证报告、质询、假设分析、提取工作流一并收紧;个人蓝图的试运行不论谁发起都按个人应用约束
- 共享蓝图只给拥有者、对应应用的管理者、管理员,看不到的一律 404;审核副本归审核人;管理员看别人的个人应用只有元数据、可以归档
- 记录表跨版本汇总(只读挂载旧版本、按当前列 UNION ALL、各版本各自固定高水位,缺的版本照实写进印章);停用前发起的运行可以继续写旧版本;更正沿用原提交人、更正人记审计
- 约定收口:待办种类 review、事件 file.extracted、表单错误 file、模板定义带示例与预置;前端类型一次补齐、去掉临时的局部类型;审核待办卡不再给打不开的链接;读附件事件有中文说法;检查脚本补断言
|
2026-10-15 13:55:19 +08:00 |
|
ThearchyHelios
|
a702a5c14b
|
普通用户建应用(前端):新建应用的三个起点(说需求、场景模板、从已有的开始);蓝图页(对话加卡片、反问选项、关节逐组进度、试运行、发布摘要按你来定 / 助手可以修 / 要找管理员分栏、逐步打勾、接着做);问数据「做成应用」改走蓝图;问数据和画布的反问收尾;页面上直接改(选中、改字、隐藏、挪动、删除、加数据卡片、自动存草稿);文件控件;我的记录列表;个人应用的界面(我的应用、刷新与剩余次数、提交审核、审核待办卡);设置页的个人应用开关;四个新检查脚本并加进完整关口
|
2026-10-15 12:09:29 +08:00 |
|
ThearchyHelios
|
277982ead3
|
普通用户建应用(后端):
- 蓝图:bp_* 操作和逐卡白名单、蓝图检查、留痕、按蓝图判权限;五个场景模板加自由形(骨架、关节、应用骨架、定时任务),实例化与骨架比对;BlueprintApplier / TemplateApplier(只收模板声明过的关节)与自查;look 新类别口径卡;蓝图对话和填关节两个流式接口,不同组的关节并行填、出错的组串行重试;模板列表
- 试运行与发布单:四种起点(对话、模板、问数据的一轮、已发布版本);试运行是探索运行,草稿应用按这次运行解析、印章写试运行,流程类派给自己、不触发升级;发布单九步、预检只读、每步留痕、停下后接着做、核对卡片指纹和应用管理权、启动时整理中断的单;白话层覆盖全部问题编号
- 记录表与文件:平台托管只追加的记录表、按高水位固定数据、连接上的临时视图做行级可见、写入走动作(records_append)、表版本在发布时切换、草稿不影响线上、记录列表遮敏感列;文件按哈希存、两步上传、提交时绑定运行、下载按读权限、清理、file_text、按配方导入一期(table_import_period)
- 个人应用:存成个人应用(问数据的约束)、刷新(遮罩、只读、每日上限)、只有拥有者看得见、提交审核与共享副本、开关下发到认人接口;页面编辑的候选;隐藏组件不下发;三条新检查
|
2026-10-15 12:09:29 +08:00 |
|
ThearchyHelios
|
7088f4557e
|
普通用户建应用的契约骨架(docs/design/normal-user-apps.md 第五部分):蓝图、蓝图留痕、发布单、文件、记录表的模型和迁移,应用的 scope / owner / blueprint_id;运行来源加 trial、personal_app;应用描述的固定版本可以没有版本号(试运行派生的草稿)或改钉蓝图(个人应用),视图来源加 exploratory,组件加 hidden,表单加文件控件;agentlab.blueprint/1 与 bp_* 操作、agentlab.template/1 与关节类型的定义;实例化、试运行、发布单、个人应用、记录表、文件、白话层的接口签名;蓝图、模板、文件、个人应用、蓝图助手的路由桩(501);前端约定 typesBlueprint.ts、接口桩、新建应用与蓝图页的占位路由、termsBlueprint.ts
|
2026-10-15 09:49:45 +08:00 |
|
ThearchyHelios
|
69c5c74806
|
合入应用平台与助手按需查看:已发布工作流版本的使用面——应用(入口、视图、实例、待办、动作)钉住已发布且未退役的版本,可信组件目录 + 服务端解析(界面层不放逻辑、文字里的数要有出处),视图只读封存运行(最近封存、按需、本实例)并盖印章;流程 = 正式运行 + 待办(会签 any / all / quorum、时限与升级、永不自动批准、入站签名钩子);对外写入只经调用工具节点,生效记录带幂等键、按引用确认、结果未知自动核实不重发、探索运行走测试环境或演练;能力登记与端点(测试 / 生产、内网只给登记的端点、服务凭据 + 身份断言);身份 off / local / oidc,角色 admin ⊇ builder ⊇ user 与应用授权;确定性派生 + 助手润色;口径升版的被迫处置与按新口径补算;指标出具(纯指标看板按指标判档);助手按需查看(look:表、能力、工作流版本三类对象,点名查不到时按需求挑);修四个和不可回退决定冲突的旧缺陷(正式运行只认当前发布版、带图接着跑改写正式运行、口径升版把草稿算进去、删除工作流级联删版本)。验收:后端全量测试、check-all 33 项、check-auth、真实模型 V4、真浏览器端到端 V1–V3 与复测
|
2026-10-15 08:42:09 +08:00 |
|
ThearchyHelios
|
e182c2d214
|
复测收尾:账号密码登录时应用检查和授权接口核对名录(没有的、已停用的报错或拒收,单点登录只提醒),名录口径收成 auth/directory 一处;受管发布版在页头、版本历史、选择器、发布前检查里按发布级别写,草稿和发布版内容相同时照实说;写入能力在工具库写「只演练」;印章的「截至」只写一次;走驳回出口到达的结局不用成功样式;停着等人时说在等哪一步,同页已有会签进度时待办状态不再画一遍,名单写显示名;应用编辑器可以归档(写清后果),已归档的应用拒收草稿修改和发布;受管发布成功的提示写明受管;权限测试按 id 取应用,不撞别的测试留下的同名应用
|
2026-10-15 08:35:28 +08:00 |
|
ThearchyHelios
|
77cd95901a
|
完整关口收尾:端点认证头重名只标后加的那一行(原有的那行本身没错);check-apps 实例状态只认状态标签本身(标签里嵌着带 data-status 的图标);check-app-editor 选人输入框挂了候选列表,角色是 combobox,按输入框定位
|
2026-10-15 07:27:57 +08:00 |
|
ThearchyHelios
|
941723b17c
|
端到端验收修复与指标出具:
- 身份与工具:登录页建第一个管理员(认人接口的 401 说明能不能建);搭建者有只读的人和组名录,选人给候选并核对名字;授权三行带标题;端点请求头名校验(空名、非法名存不进、发不出时说清原因);写入能力在工具页试运行一律演练、不发送,HTTP 状态照实说成败;写记忆不算只读、查询能力只能选同一端点上的只读能力;审批与遮罩的说法和实际规则一致;开登录时不要署名、导入和发布记登录的人;使用者不显示推演等只给搭建者的操作,403 按是否开登录说话;登录页只认一次人
- 流程与实例:图里用到的岗位(派给谁、超时升级给谁、发送确认派给谁)全部派生、没绑人的发布时报错;写外部系统的参数按能力声明的类型收拢后再算哈希和发送,收不成就不发;发起人的实例页只看这一步的状态,处理人才给待办卡;会签进度带登录核实和时间,升级后照实写规则;实例状态写流程的结论(已退回、未确认、等待核实写入结果),核实生效后不再挂失败原因;流程应用首页不派生最近封存运行的结果块,看板没数据时是安静的空态;样例⑩的金额带类型和下限、待办标题带金额,表单上下限前后端一起生效
- 看板与证据:定时任务模板加 ISO 周、上一 ISO 周、本月、上月;出处链穿过原样解析查询结果的整形节点,追不到原始数据的照实说停在哪里,样例⑨改用 cell();应用首页和版本历史都能做成应用;指标块单位不重复;版本列表带退役说明;定时任务页头跟着刷新;删视图要确认、新视图能起名;编辑器属性用中文名、术语带解释
- 指标出具(用户 2026-10-15 拍板):契约只写「指标来自」、上游没有报告撰写节点、成果里没有模型写的话时按指标出具——必需指标齐、指标输入追到原始数据、成果字段里的数回指得上才完整出具;受管级要求每个指标静态地追到原始数据(governed.metric_untraced);出具横幅和应用印章写明按指标
- 受管工作流降为已发布只给管理员(Q8 顺延,服务端同样拦);工作流接口带当前发布版的级别,画布上改过之后也认得出受管工作流
|
2026-10-15 07:15:37 +08:00 |
|
ThearchyHelios
|
5d42ffb62b
|
check-auth:会话过期时认人接口也回 401(同服务端,不然登录页认得出人又送回原处、来回跳);过期后点页签只为触发取数,外壳心跳先收到 401 已经跳走时点不到不算错,核对的是跳到了登录页并带上原处
|
2026-10-15 00:07:51 +08:00 |
|
ThearchyHelios
|
bb85fbc3ce
|
应用检查:静态文字里的数和固定版本里节点配置写着的数(审批金额线、时限、会签人数这类流程规则)对得上算有出处,对不上的列出是哪几个数、说明数据要绑定、规则要先写进工作流;应用润色助手的提示词同步:规则在固定的版本里没有就不照写,在说明里告诉用户(真实模型验收发现)
|
2026-10-14 23:58:12 +08:00 |
|
ThearchyHelios
|
e2841cb027
|
助手按需查看:点名的一个都没认出来时(常见的是拿数据源说明里的中文词当表名),同一次查看按需求在那几个来源里挑,不让模型为拿真名再看一次,没认出来的照样写「没找到」;候选库一张表都没探查到时不再说「按需求没挑出来」,照实说尚未探查结构、不交空目录,查看算没完成;点名不在这一轮的数据源不补空目录(真实模型验收发现)
|
2026-10-14 23:58:12 +08:00 |
|