 ThearchyHelios
|
6ed782a84b
|
运行名额改成给交互留底、其余可借（用户拍板）：交互留底缺省全站上限的 1/4、至少 1、至多全站上限减 1，应用、定时、系统三类合起来永远用不到留底；三类各自的上限缺省 = 全站上限 − 留底（设置里可调小），没人问数据时评测能开满；交互上限缺省 = 全站上限；等名额照旧按优先级、同级先来先得。存着的设置原样存、缺省按全站上限和留底现算；留底不小于全站上限时 422。设置页「运行并发」加「给交互留底」一项，写明留底和借用是什么，README 同步。补测试：缺省值、空闲时系统类借满到 全站 − 留底、留底不借给应用类、问数据一来马上拿到留底；多进程端到端加 5b（评测借满时问数据拿留底、不等评测跑完）
|
2026-10-19 12:53:28 +08:00 |
|
|
ThearchyHelios
|
319b787688
|
合入 nr8/l 的 e1ff1c90（问数据事件日志清理不给时间时按当前时间算）
# Conflicts:
# backend/app/chat/log.py
|
2026-10-19 12:48:42 +08:00 |
|
|
ThearchyHelios
|
2935ac5d67
|
合入 nr8/a 的 3403a0b2（文案检查：地址示例的半角标点登记进 copy-allow.json）
|
2026-10-19 12:48:13 +08:00 |
|
|
ThearchyHelios
|
e1ff1c9070
|
问数据事件日志的清理那一拍不给时间时按当前时间算：调度循环的 process_due 不一定给 now，chat/log.purge_tick、purge 以前拿 None 去减保留期就报错（多进程端到端里查出）。补测试
|
2026-10-19 12:37:30 +08:00 |
|
|
ThearchyHelios
|
3403a0b2cc
|
文案检查：应用库、断点库地址写错时报错里给的地址示例（postgresql+asyncpg://用户:密码@主机:5432/库名 等）登记进 copy-allow.json——://、:、@ 是地址语法，用户照着改环境变量，不能换成全角
|
2026-10-19 12:35:04 +08:00 |
|
|
ThearchyHelios
|
e6a3ee8f95
|
转发运行事件时跳过不认识的事件种类（回放照样读得到）；test-multiprocess.sh 不带参数时 macOS 的 bash 3.2 报 args 未定义，参数直接原样交给 pytest
|
2026-10-19 12:30:30 +08:00 |
|
|
ThearchyHelios
|
09907b21f1
|
README：prod.sh 那一句照多进程改；多进程一节补连接数（每个进程多一条收发通知的连接，咨询锁持锁期间占一条；PgBouncer 事务模式下 LISTEN 和会话级咨询锁不成立，多进程建议直连）
|
2026-10-19 12:23:07 +08:00 |
|
|
ThearchyHelios
|
4e3623885b
|
合入 W2-a 的复核修复（nr8/a：导入的 NOT NULL 补值与孤儿行、收尾 dispose、sslmode 换算、PostgreSQL 写入去 NUL、不分大小写搜索 contains_ci、json_eq 两库同语义、JSON 守卫、用户可见列表补决胜键、bubblewrap --clearenv、部署脚本与原子写的几处、README 连接数预算）
# Conflicts:
# backend/app/api/schedules.py
# backend/app/main.py
|
2026-10-19 12:21:38 +08:00 |
|
|
ThearchyHelios
|
89cd135174
|
补多进程协调的单测（两种库）：别的进程用库里的行装出来（登记着的同伴、从没登记过的已经没了的进程）——谁还活着、名额按优先级先给交互类、一类到了上限不挡别的类、没了的进程占着的名额收回而活着的同伴的不碰、同源队几个进程共用且跳过没了的进程的位置、接手运行只碰属主不在了的（升级前没记属主的照不在了处理）、停止和记事件交给活着的属主、属主不在了的停止直接接手放弃、当班到期交接、同一本每日账并发记不越过上限、SQLite 第二个进程（以及 AGENTLAB_WORKERS 大于 1）拒绝启动；评测说明里的并发一段照现在的名额说
|
2026-10-19 12:14:39 +08:00 |
|
|
ThearchyHelios
|
4a80936c38
|
多进程的跑法和说法：prod.sh 加 --workers（AGENTLAB_WORKERS，SQLite 时大于 1 先拦下），Docker 入口按 AGENTLAB_WORKERS 起 uvicorn --workers，dev.sh 写明开发时单进程；README 把各处「单进程前提」改成实话——SQLite 单进程（第二个进程拒绝启动），PostgreSQL 可多进程，新增「多进程」一节：怎么起、配置项、认领和租约与各类接手规矩、跨进程停止、运行并发的四类与缺省、调度当班、实时流、进程里的账和缓存（哪些进了库、哪些留在进程里及其影响）、多台机器的条件（共享存储同一路径、对时、NFS 上 SQLite 文件的实话）、升级要停掉全部进程、多进程端到端测试；deploy/README 补多进程。按需视图的锁改成按应用取（每日上限几个键之间也数得准），出具的锁改成全站一把（每日上限是全站的）
|
2026-10-19 12:08:17 +08:00 |
|
|
ThearchyHelios
|
1ab500dfbd
|
README「用 PostgreSQL」按复核补全：SSL 的写法（sslmode= 自动换、证书走 PGSSLROOTCERT 等环境变量、别的 libpq 参数启动时报错）、没装 [postgres] 的提示、每个进程的连接数预算（应用库最多 30、断点池最多 20，max_connections=100 时起几个进程怎么算、怎么调）、孤儿行和 NOT NULL 空值导入时怎么处理、NULL 排序补写的范围和列表的决胜键、JSON 按类型比、文本列的 NUL、不分大小写的搜索看建库的区域设置、记录表 records/*.db 原地写要停服务或用 SQLite 备份接口拷；.env.example 补 SSL 的写法
|
2026-10-19 12:07:31 +08:00 |
|
|
ThearchyHelios
|
5272d8f028
|
知识库「同时只跑一个重建」的两条测试，放行之后只重建一个空集合：测的是互斥不是重建本身。按全部集合重建要把同一个 xdist 进程里别的测试留下的几百段都重算一遍（这一轮加了测试，分到它那个进程的多了，实测停在 428/431），满载时超过 10 秒的等待，后面一条也跟着撞上「正在重建」
|
2026-10-19 12:07:31 +08:00 |
|
|
ThearchyHelios
|
db328efd21
|
原子写和部署脚本的几处（复核 R-a11、R-a12、R-a13 追加写）
- R-a12 create_bytes：硬链接不了的文件系统（exFAT、一部分 SMB / FUSE，EPERM / ENOTSUP / EXDEV）不再首次启动就崩，退回 O_CREAT | O_EXCL 直接建（仍然只建一次，说明里写了写的那一会儿读的一方可能读到不完整）；建成后 fsync 目录（同 raw_store）
- R-a13 file_write 的追加改回原地追加写（O_APPEND，core/atomic.append_bytes）：不换文件（inode、权限、开着的句柄不变），原有内容不动，文件大了也不用整份读出来重写；取舍写在函数说明里——读的一方最多看到半截新内容。覆盖照旧先写临时文件再改名，并沿用原文件的权限
- R-a11 deploy.sh 改属主前认数据目录收紧：只认 agentlab.db、.secret_key、.agentlab-data 三样之一（不再认 uploads/ 这种普通目录名）；.agentlab-data 是服务启动时（Settings.ensure_dirs）建的标记，只建一次不覆盖，库在 PostgreSQL、密钥由环境变量给的部署也认得出；老部署有 agentlab.db 或 .secret_key。deploy/README 写明这个文件别删
- 测试：模拟不能硬链接仍只建一次、权限 0600、不留临时文件；覆盖沿用原权限；追加不换 inode、权限不变；file_write 追加不换文件、覆盖照常；数据目录里有标记、重复启动不覆盖
|
2026-10-19 12:07:31 +08:00 |
|
|
ThearchyHelios
|
ba87a93ef7
|
bubblewrap 沙箱不再继承后端的环境变量（复核 R-a5）：bwrap 参数最前面加 --clearenv，再按缺省（HOME、TMPDIR、PATH、LANG、PYTHONDONTWRITEBYTECODE）和调用方给的逐条 --setenv；bwrap 进程本身也只拿 PATH
以前被执行的代码看得到后端进程的全部环境变量：模型的 API Key，现在又多一条带密码的 AGENTLAB_DATABASE_URL。local、seatbelt 一直只给最小的一套。调用方给的变量以前插在最前面、会被缺省的盖掉，现在放在最后、能盖过缺省的，同另外两种沙箱。测试（本机没有 bwrap，测参数和进程环境的组装）：--clearenv 在所有 --setenv 前面，AGENTLAB_* / *_API_KEY 的名字和值都不出现，bwrap 进程的环境只有 PATH
|
2026-10-19 12:07:31 +08:00 |
|
|
ThearchyHelios
|
0d9f1d9339
|
用户看得到的列表补决胜键（复核 R-a9）：按名称、时间等可能并列的排序后面补上同一个模型的 id，并列时两种库排出来一样
- 实测 /api/evals/calibers、/api/schedules/trigger-options 按 Workflow.name 排序遇同名并列时 SQLite、PostgreSQL 顺序不同。用 AST 逐个过了一遍 order_by：最后一个排序键是 created_at / updated_at / last_active_at / at / name / 各种 *_at 之类、不唯一的列，又不带 DISTINCT、GROUP BY 的，补「, 模型.id」（降序补 id.desc()），共 104 处，分布在 api、apps、auth、blueprints、chat、data、engine、eval、ledger、look、memory、process、providers、scheduler（runs.py 里的三处在上一个提交里）
- 按唯一列（seq、version、唯一的 name）排的不动；按聚合、coalesce 之类表达式排的说明见 db/postgres
|
2026-10-19 12:07:06 +08:00 |
|
|
ThearchyHelios
|
7febf2bcdb
|
两种库行为再对齐一轮（复核 NUL、R-a4、R-a6、R-a7、R-a10）
- 编排者的决定：PostgreSQL 下文本列写入时去掉 NUL 字符（before_cursor_execute 钩子，只装在应用库引擎上，看所有字符串参数，没有 NUL 的原样交回），SQLite 不变；同 JSON 列的处理
- R-a4 应用库地址里的 sslmode= 换成 asyncpg 的 ssl=（取值同一套），sslrootcert 等证书参数、application_name 这类 asyncpg 不收的参数启动时就报错并说怎么写（证书用 PGSSLROOTCERT 等环境变量）；断点库连接串换回 sslmode=
- R-a6 不分大小写的搜索换成 db/portable.contains_ci：SQLite 上同 ilike（lower LIKE lower），PostgreSQL 上模式带 COLLATE "default"（列是 COLLATE "C"，列上的 ILIKE 只认 ASCII，É/é、Ж/ж、全角Ａ/ａ 匹配不上）；运行列表按名字、对象索引按注释两处都改；改正 db/postgres 里那句说明
- R-a7 JSON 守卫改成编译层：tests/jsonguard 挂在应用库编译器上（conftest，两种库、跑全量时一直生效），整个 JSON 值出现在 = / != / IN / IS DISTINCT FROM / 大小比较、SELECT DISTINCT、GROUP BY、ORDER BY、UNION（去重的几种）里就报错；按类型认，变量别名、跨行 order_by、select(Run.origin).distinct()、JSON 下标的比较都抓得到，测试拿这些反例证明，json_eq、IS NULL、UNION ALL 不受影响。原来的逐行正则测试删掉
- R-a10 json_eq 两种库同一语义、按 JSON 类型比：字符串只等于字符串，数只等于数（1 等于 1.0），True / False 只等于 JSON 的 true / false（SQLite 上用 json_type 分开，以前 1 能匹配 true）；非标量 TypeError。json_text 两种库都是「字符串取本身、别的取 JSON 写法」（SQLite 上同 PostgreSQL 的 ->>），数 1 的 json_text 两边都是 '1'
- db/postgres 说明里写清 NULL 排序补写的范围（只认直接按列排的）
|
2026-10-19 12:06:31 +08:00 |
|
|
ThearchyHelios
|
0e997eb968
|
copy-to-postgres 在真实开发数据上核对不过的几处（复核 R-a1、R-a2、R-a3、R-a8、R-a13）
- R-a1 老库 NOT NULL 列为空：第一版补 schedules.trigger 时没带缺省值，存量定时任务这一列是 NULL，导入 PostgreSQL 撞 NOT NULL，连带触发记录、通知撞外键。迁移表里这一列改成带 DEFAULT '{}'；新增 _NOT_NULL_BACKFILLS，启动时按模型的缺省值把已经补过、留着 NULL 的填上（SQLite 这边也填，两种库存的一样；只更新这一列，不碰 updated_at）；导入时 _Fixer 遇到 NOT NULL、有缺省值的列的 NULL 也填缺省值，计入「转换」。迁移表里的 NOT NULL 列都过了一遍，只有这一列没带缺省值
- R-a2 孤儿行：导入前在快照上按模型外键扫（settle_orphans）：外键是 SET NULL、列可空的置空，计入转换；CASCADE / 不可空的从快照里拿掉、不导入，反复扫到没有为止，报告里单列「孤儿行（SQLite 当时没强制外键）」的表和条数，不算核对失败
- R-a3 停服务后 agentlab.db-wal 还在：lifespan 收尾 dispose 应用库引擎（只加了这几行），SQLite 最后一个连接关掉时并回、删掉 -wal，PostgreSQL 的池子也正常关
- R-a8 自增主键的序列取「目标表 MAX、快照 sqlite_sequence 的计数器、序列现值」三者最大，删过的号不复用（召回按 source_changes.seq 当游标）
- R-a13 插不进的行的原因不再带「<class 'asyncpg.exceptions.…'>:」前缀（errors.first_line 两种写法都去）；设了 AGENTLAB_DATABASE_URL 却没装 [postgres] 时，应用库引擎和断点库都直接说要装什么
- 测试：DROP COLUMN 再按第一版迁移补回造老表、关着外键写孤儿行，迁移填值、快照上置空和拿掉、导入 PostgreSQL 核对通过且重跑一样；NULL 落回模型缺省值；端到端里删掉最后一条变化，导过去新变化从 3 编起；起停一次服务后数据目录里没有 -wal / -shm（去掉 dispose 这条测试就挂）
- PostgreSQL 引擎上另挂了去掉文本参数里 NUL 的钩子（db/postgres.strip_nul，见下一个提交）
|
2026-10-19 12:06:31 +08:00 |
|
|
ThearchyHelios
|
ae254b052e
|
合入遗留收口分支 nr8/l 的复核修复（变化记录先占住那一行再读改写、召回里行序不定的指标、事件触发列表按任务各取上限、选对象按名字查用 ilike、子工作流写入认旧键、几处测试的竞态）
# Conflicts:
# backend/app/ledger/recall.py
|
2026-10-19 12:05:19 +08:00 |
|
|
ThearchyHelios
|
1acf960312
|
多进程端到端验收：scripts/test-multiprocess.sh 用本机 postgres:16 起临时库，tests/test_multiprocess_e2e.py（缺省跳过，AGENTLAB_MULTIPROCESS_E2E=1）在上面起两个 uvicorn 工作进程，用演示模型跑七个场景——两个进程都登记、一个当班；运行由接到请求的进程认领，另一个进程上的流收得到实时事件和流式增量，同一个审批决定同时发给两边只执行一次，两边事件流不重不漏、封存核对得上；跨进程停止；定时只触发一次；全站一个名额时评测的作答运行排着队，后来的问数据运行先拿到名额；两个进程同时记同一本每日账不越过上限；强杀一个进程后在跑的运行被照实标中断、停在审批上的照常在另一个进程上批完、当班交接。顺带修：等名额时被停止也照实收成已取消（以前停在排队中）；当班的本地余量不超过租约的四分之一（租约调短时一直不当班）；启动清理上传半成品时没有别的活着的进程就全清；文件锁守卫的几项测试只在 SQLite 跑；问数据事件日志清理那一拍不带时刻时按现在算
|
2026-10-19 12:03:35 +08:00 |
|
|
ThearchyHelios
|
b1736095a0
|
结果未知自动核实的测试先等排上查询再看记录：运行先挂起、runner 再安排核实（actions.on_unknown），并行跑时测试会在中间读到还没排上查询的记录。测试的竞态，产品行为不动
|
2026-10-19 11:58:45 +08:00 |
|
|
ThearchyHelios
|
b23784d65b
|
动作确认的测试先等运行停到确认上再去确认：待办和审批同一个事务开出来，那一刻运行可能还没收成 interrupted，PostgreSQL、并行跑时偶发「运行正在运行，没有待处理的审批」。测试的竞态，产品行为不动
|
2026-10-19 11:54:48 +08:00 |
|
|
ThearchyHelios
|
b672088fe3
|
召回里行序不定的指标不当「没变」（编排者拍板）：全部指标都行序不定的，结论写「核对不了（行序不定）」（召回批次的新状态 row_order），开召回待办请人核对，待办和通知的标题照实说没能核对，不在原答案上记「已核对，不影响」；部分行序不定的，已判定的照常判，行序不定的那几项在结论里列出（row_order_metrics），数没变时原答案的记账照样列出、问数据的轮次写「其中「x」行序不定，没能核对」。补测试
|
2026-10-19 11:54:08 +08:00 |
|
|
ThearchyHelios
|
c768c56fd7
|
多进程协调补齐几处：执行时长从拿到名额算起（排队等名额不算执行，墙钟本来就从开始执行算）；蓝图留痕、蓝图助手开轮先占住那一行再取最大值往下接；问数据等别的进程接着跑的运行时回库里等封存；按配方导入的 AI 起草、知识库重建索引另取跨进程的锁（多进程时重建进度记在设置表里，别的进程读得到、属主不在了照实说没做完）；调度循环一拍的间隔可配（AGENTLAB_SCHEDULER_TICK_S）
|
2026-10-19 11:51:29 +08:00 |
|
|
ThearchyHelios
|
4ffd9ad431
|
变化记录的 affects 先占住那一行再读改写（复核 L5）：口径试算记没试算的那几版（ledger/recall._probe_skipped）和探查刷新影响面（data/source_changes.record）以前都是先读再整份写，交错时互相盖掉。现在两处都先发一句按条件的 UPDATE（record 顺手记又见到一次，SQLite 上拿到写锁、PostgreSQL 上锁住这一行），再读出来改。补并发测试（六版口径同时记、探查同时刷新，一条不丢）
|
2026-10-19 11:48:43 +08:00 |
|
|
ThearchyHelios
|
4548e8bd25
|
列表上「有几条在等」按任务各取各的上限（复核 L4）：等着的事件按任务、还没派发的事件按（事件种类, 对象）用 ROW_NUMBER 各取前 N 条（同改前每个任务各读的那么多），不再所有任务合起来一个上限——积压多的任务会把别的挤掉，它们的 due_at 为空、未派发数少算。补测试
|
2026-10-19 11:45:55 +08:00 |
|
|
ThearchyHelios
|
20f8eb37e0
|
选对象按名字查改用 ilike（复核 L3）：PostgreSQL 上 LIKE 分 ASCII 大小写、SQLite 不分，两种库说法不一；% 和 _ 照 runs._like 转义、按字面匹配。补测试
|
2026-10-19 11:44:49 +08:00 |
|
|
ThearchyHelios
|
c59b085922
|
子工作流里的写入跨升级认旧键时按事件和内容认是谁的、是哪一笔（复核 L1、L2）：升级前子图里的写入按子图里的 id 记键，和父图同名节点的键一样。以前父图有同名节点时一律不认旧键：子图里结果未知的那一笔核实为已生效后接着跑，用新键又发一笔；父图那个节点按自己的键找到子图那一笔、交回它的回执，自己那笔一直发不出去。现在一条记录是哪个节点写的按它的 action.* 事件上记的节点 id 认（认不出的按能力和内容指纹）：按自己的键找到别人那一笔的换一个只属于自己的键；认旧键时还要内容指纹是这一次的——跨升级的循环第二轮按老算法同样是第 1 次执行，找到的是第一轮那一笔，金额不同就照常发，不再记「已经生效」。去掉不再用的最外层节点 id 传递；改对两处过时的说明（审批恢复时子图从自己的断点接着跑；终态事件的途经驳回含子工作流里的）。补跨版本测试：同一个进程里先装成升级前的代码跑到挂起、再换回现在的代码接着跑
|
2026-10-19 11:43:41 +08:00 |
|
|
ThearchyHelios
|
f2134753a4
|
设置页加「运行并发」一节：全站同时运行的上限，交互、应用、定时、系统四类各自的上限和优先级，旁边写各类现在在执行、在等名额的个数（/system 的 cluster.runs）；管理员可改，搭建者只读，自己读写 concurrency 一组、带离开前确认（同评测那一节）
|
2026-10-19 11:40:53 +08:00 |
|
|
ThearchyHelios
|
87f0d62f9b
|
多进程协调（W2-b）第一步：新增 app/cluster——工作进程在库里登记、心跳续租约（属主随进程，进程没了它认领的行一起到期），调度当班的租约，发给属主进程的停止 / 记事件请求，PostgreSQL 的 LISTEN/NOTIFY 叫醒，跨进程的互斥锁（咨询锁），SQLite 单进程守卫（第二个进程拒绝启动）；运行、问数据一轮、起草 / 剖析 / 探查 / 评测 / 影子起草、文档、发布单记 owner，启动整理改成只接手属主不在了的行，当班进程隔一会儿再接手一次；运行的并发名额改成库里按交互 / 应用 / 定时 / 系统四类发（各有全站上限和优先级，设置里可调），替掉进程内的信号量；同源队记在库里；运行停止、记事件跨进程交给属主；运行事件、问数据事件跨进程转发（库里按 seq 追，不落库的流式增量和保活心跳只转给在看的进程）；每日花费账先占住那一行再读写；访问密钥限流、登录失败计数在 PostgreSQL 时记在库里；登录设置、对外地址、向量模型、能力快照、数据源连接池、应用页面缓存跨进程失效；上传版本库、记录表、按需探查、出具、召回、补算、按需视图、个人刷新、定时发起的锁换成跨进程的锁
|
2026-10-19 11:40:33 +08:00 |
|
|
ThearchyHelios
|
9a0d87aa6e
|
合入遗留收口分支 nr8/l（问数据心跳不落库与事件日志清理、续跑重新核对身份、事件触发批量查询与去抖边界、子图编号与驳回出口等），W2-b 在此之上做多进程协调
|
2026-10-19 10:46:34 +08:00 |
|
|
ThearchyHelios
|
76290baaf1
|
问数据的心跳只落换了阶段的那一拍：浏览器检查发现刷新后过程里「规划」那一行没了——页面按心跳的阶段画那一行，全都不落库就回放不出来。现在换了阶段的那一拍（规划 → 查看 → 搭建……）照落，同一阶段接着的保活心跳才只在流上发、不落库；页面接着的心跳顶替上一拍、不叠成好几条。检查脚本的伪服务端照同一个规矩，「一条只收一份」比心跳之外的操作
|
2026-10-19 10:41:06 +08:00 |
|
|
ThearchyHelios
|
f0c34d790d
|
守着 PostgreSQL 的 json 列：扫应用代码里对整个 JSON 列做 ==、!=、in_、DISTINCT、ORDER BY、GROUP BY 的写法（json 没有相等运算符，SQLite 不报、PostgreSQL 报错），一处都不许有
|
2026-10-19 10:28:18 +08:00 |
|
|
ThearchyHelios
|
5e6ba12678
|
断点库模块去掉没用上的 kind()；test-postgres.sh 的注释照现在的连接池写法改
|
2026-10-19 10:27:17 +08:00 |
|
|
ThearchyHelios
|
b9cfc243e2
|
PostgreSQL 上文本按字节比大小、排序，同 SQLite：应用库建表时文本列带 COLLATE "C"（PostgreSQL 缺省按建库的区域设置比，en_US.UTF-8 下大小写混排、标点被忽略，排出来的先后和 key < '…' 的结果都跟 SQLite 不一样），不看建库时选了什么；驱动报错的第一句去掉 asyncpg 带的「<class '…'>: 」前缀
- 测试：大小写、标点、中文混在一起的排序和比较两种库一样；建表语句里带 COLLATE "C"，SQLite 的不带
- README：和 SQLite 一致的那几条补上排序规则
|
2026-10-19 10:26:45 +08:00 |
|
|
ThearchyHelios
|
b2f6d8d7d2
|
README、部署说明补上用 PostgreSQL：AGENTLAB_DATABASE_URL、断点、连接池（含 PgBouncer）、和 SQLite 一致的那几条、从 SQLite 导入的步骤（copy-to-postgres，先停服务、先 --dry-run）、备份（pg_dump 加数据目录）、多台机器要把数据目录挂在共享存储的同一个路径上，以及实话：数据目录里的 SQLite 文件（记录表原地追加写、上传表格版本库的 flock）在网络文件系统上并发写不安全，眼下仍按单进程部署
- 依赖与锁文件：[postgres] 里装的是什么、为什么 langgraph-checkpoint 单独卡小版本、checkpoint-postgres 锁在 3.1.2；数据位置：PostgreSQL 时不再用 agentlab.db / checkpoints.db；开发与验证：scripts/test-postgres.sh
- environment.yml 带上 [postgres]；.env.example 补应用库一节
- deploy.sh：数据目录里没有 agentlab.db（库在 PostgreSQL）时，认 .secret_key、uploads/ 也算 AgentLab 的数据目录，不再拒绝改属主
- 断点库的连接串不带只给 asyncpg 看的参数（prepared_statement_cache_size 之类，psycopg 不认）；地址规范化、启动日志不带密码的测试
|
2026-10-19 10:13:58 +08:00 |
|
|
ThearchyHelios
|
14001c0900
|
记录页审批之后的横幅按驳回之后去哪说：接了驳回出口的不说「本次运行终止」，没接驳回出口的工具、代码审批照实说终止（按中断内容的 reject_route；老审批照旧按模式）
|
2026-10-19 10:13:04 +08:00 |
|
|
ThearchyHelios
|
2d108d116f
|
表结构变了之后口径凑不齐参数时照实记下：以前不试算、也不记日志，一声不响地跳过。现在记一条日志写缺哪几个参数（必填、没给值也没有缺省值的入口字段）和参数本来从哪来，同时写进变化记录的 affects.probes（同一版只记一条），变化页的「影响」一块写「「x」v3：缺少参数 start、end，没有试算」；同一条变化再被探查到时这份记录不丢。变化接口给的 affects 缺的几项补上空的
|
2026-10-19 10:10:38 +08:00 |
|
|
ThearchyHelios
|
3e922cbefb
|
新增 python -m app.db copy-to-postgres：把 SQLite 数据目录里的应用库和断点导入 PostgreSQL（db/to_postgres.py）
- 先停服务：来源旁边留着 agentlab.db-wal / checkpoints.db-wal（还有连接开着，或者上次是强杀），或者目标库上有 application_name=agentlab 的连接，就拒绝，什么都不写；强杀留下的 -wal 用 --assume-stopped 放过。查不到的（另一台机器上的服务）在说明里写明要自己保证
- 读快照：SQLite 备份接口拷到 --work-dir（缺省系统临时目录），在拷贝上跑一遍启动时的建表补列，老版本的库按当前表结构读；来源按读写打开、只许读（mode=ro 打开 WAL 库会留下它自己建的 -wal，下一次导入就当成服务还开着）
- 目标：同启动时的 create_schema 建表；按外键先后逐表、按主键分批 INSERT … ON CONFLICT DO NOTHING——目标上已有同一主键（或撞了别的唯一约束）的行一律不动，重跑只补没有的；整批撞了外键之类的约束就逐行重试，插不进的列出主键和原因；自增主键的序列接到导入的最大值后面
- 值：按模型的列类型读写（时间、布尔），JSON 原文照搬（SQL 的 NULL 和 JSON 的 null 分开、键的先后不变）；PostgreSQL 不收的（NaN、NUL、整数列里的浮点和数字字符串、文本列里的非文本）换掉并计数打印
- 断点：用两个 saver 的公开接口逐条读出写入（含 pending writes，特殊通道和普通写入分开写，序号同来源），目标上已有的断点不重写；按线程核对断点和 pending writes 的条数
- 核对：每张表按主键数来源的行目标上有没有（导入前已有、这次补上分开数），逐表打印；有没导进去的退出码非零。--dry-run 只核对、不建表不写
- 测试：另起进程在 SQLite 数据目录里跑一次停在审批上的运行（事件、审批、待办、工件引用），导入新建的空库、再导一遍什么都不重复，再另起进程连这个 PostgreSQL、同一个数据目录批掉审批，运行从断点接着跑完、事件序号接着往下编、工件读得到、新的变化记录的序号接在导入的后面；dry-run 不写；目标上服务还连着就拒绝；来源、参数、值转换的单测
|
2026-10-19 10:07:06 +08:00 |
|
|
ThearchyHelios
|
a534af6ea1
|
对账视图测试跟上预选字段：只引用一列、没有逐格比的查询，options.suggested 为空
|
2026-10-19 10:05:38 +08:00 |
|
|
ThearchyHelios
|
71d535c4ce
|
对账要人选对照时按逐格比对的结论预选：这一列单独比和口径取数的某一列等价（ledger/match._cells 证明了），口径卡上只读那一格的指标就是它最可能的对照，409 的 options 里给 suggested；对账框照它预选、标「预选」，人可以改。只是「相关」的那一格不预选（比到的是第一个试的列，不是最像的），一个口径列对上几个指标的也不预选
|
2026-10-19 10:05:04 +08:00 |
|
|
ThearchyHelios
|
f63d037b2c
|
PostgreSQL 上和 SQLite 一致的两处：知识库统计的 sum 转成整数（PostgreSQL 的 sum 交回 numeric，驱动给 Decimal）；对象索引按注释搜索不分大小写（SQLite 的 LIKE 对 ASCII 本来就不分，PostgreSQL 分，改用 icontains）
|
2026-10-19 10:01:20 +08:00 |
|
|
ThearchyHelios
|
dead51ae56
|
数据目录里的文件一律先写临时文件再改名：新增 core/atomic（同目录、带随机后缀的临时文件，写完 os.replace；只该生成一次的用 os.link 建，已有就不动）
- 工件（内容寻址）：以前共用 <id>.tmp，两个进程同时写同一份内容时后到的会截断先到的半成品、先到的改名又让后到的改名失败；现在各写各的临时文件
- 加密密钥 .secret_key、断言签名私钥：几个进程同时第一次启动时只建出一把，后到的读先到的那一把（以前各生成一把，各自加密、签名的东西对方认不得），文件从建出来起就是 0600
- 附件抽出文字的缓存：临时文件名带随机后缀
- 文件工具（file_write）的覆盖和追加、三种系统沙箱写进工作目录的代码和输入文件、seatbelt 的策略文件：先写临时文件再改名
- 上传表格的版本库、原件存档、记录表本来就是这样写的，不动
|
2026-10-19 10:01:20 +08:00 |
|
|
ThearchyHelios
|
aee237f457
|
按行号取多行查询里的一格，重跑、核对时行序不定的照实标出来：sql_semantics.ordered / row_stable 认这一行重跑时还是不是同一行（最外层带 ORDER BY 的按位置认，一定只出一行的第 0 行认得住，别的行序不定）。口径账本的比对记下 ordered、one_row，指标标签按「同一行」认来自口径只在行认得住时成立，行序不定的标相关、写明原因；口径召回里两版都按行号取一格、查询又没有 ORDER BY 的指标记行序不定（changed 为空），召回待办上写「行序不定」，不按位置硬比；对账的多行对齐每一组先核对那一行的维度就是它，重跑时缺了一行、多出一行错位的记空值，不拿别的维度的数冒充
|
2026-10-19 10:01:05 +08:00 |
|
|
ThearchyHelios
|
2e7d6103ea
|
应用库可移植到 PostgreSQL：AGENTLAB_DATABASE_URL 设成 postgresql+asyncpg://… 时整个应用库用 PostgreSQL，断点用官方的 langgraph-checkpoint-postgres（同一个库，AGENTLAB_CHECKPOINT_URL 可另给）；不设时照旧是数据目录里的 SQLite，行为不变
- 配置：database_url、checkpoint_url（启动时校验写法，只认 PostgreSQL）、连接池四项；启动日志写用的是哪种库（主机、库名、用户，不写密码）
- 引擎（db/base.make_engine）：SQLite 照旧 WAL、外键、忙等；PostgreSQL 用连接池、探活、会话时区 UTC，装上方言调整（db/postgres.py）：建表时 String(n) 是不限长的 VARCHAR（SQLite 从不查长度，导过来的存量也可能超长）、ORDER BY 里可空列的 NULL 位置照 SQLite 补写（升序在前、降序在后，窗口函数里同样）；Integer 列在 PostgreSQL 上是 BIGINT（列挂到表上时换成 with_variant，绑定参数跟着列按 BIGINT 转换）；JSON 列两边都存原文（PostgreSQL 的 json，不用 JSONB：JSONB 重排对象里的键，快照的列序、表的先后读回来就变了）；JSON 里的 NaN 写成 null、NUL 去掉（PostgreSQL 不收）
- 迁移按方言：已有的列和索引用 inspector 认；PostgreSQL 上补列的类型取模型里这一列的、缺省值取迁移表里的（布尔 0/1 换成 false/true），ADD COLUMN IF NOT EXISTS；去重语句里的布尔按方言写；部分唯一索引补 postgresql_where；init_db 在 PostgreSQL 上拿咨询锁（几个进程同时启动不撞）
- 应用库上的 SQLite 专用写法改成按方言编译的表达式（db/portable.py）：json_extract 的十几处（口径召回、出具、对账、个人应用、幂等键、访问控制、数据源变化通知、剖析任务、待办超时）换成 json_eq / json_flag / json_text，json_type 换成 json_is_string（两种库同一套带类型的比较）；能力登记的 sqlite insert 换成按会话方言的 insert_ignore；能力使用次数的 json_each 按方言分支；附件「没绑记录」的条件不靠 json 的等号；按报错文字认唯一约束的地方换成 unique_violation（按表和列认，两种库的报错都认得）
- 断点（engine/checkpoints.py）：PostgreSQL 时开 psycopg 连接池、在咨询锁里 setup；runner 只认 BaseCheckpointSaver，读断点仍只走 saver 的公开接口
- 依赖：新 extra postgres（asyncpg、psycopg[binary] 3、psycopg-pool、langgraph-checkpoint-postgres 3.1.2）；langgraph-checkpoint 卡在 <4.3（断点格式就在这个包里，postgres 包新版要 4.3，不动已装的 4.2.0）；锁文件补上新包
- 运行收尾：记 action.unknown、安排核实做完才把运行摘掉（以前先摘掉，等「不在跑了」再读事件的一方在库慢时读不到这一条）
- 测试：AGENTLAB_TEST_DATABASE_URL 时跑在 PostgreSQL 上（每个 xdist 进程建自己的库、按事件循环分的连接池 tests/pgpool.py），不设时盖掉环境里的数据库地址照旧用 SQLite；scripts/test-postgres.sh 起临时的 postgres:16 容器跑全量；sqlite_only 标记；另开连接改库的几个竞态测试、触发器测试改成两种库都能跑（tests/appdb.py）；新增 test_db_portable 守着方言调整、JSON 键序、超长字符串、大整数、NULL 排序、时区、PostgreSQL 老库迁移
|
2026-10-19 09:52:09 +08:00 |
|
|
ThearchyHelios
|
358206312e
|
事件触发的规模：定时任务列表里每个事件触发任务「有几条在等」一次查齐（outbox.pending_for_many：待派发数一条 SQL 按任务分组算，窗口要看的事件一次读出），不再每行查一次；每一拍派发只读触发条件的事件种类、对象对得上的任务（SQLAlchemy 的通用 JSON 访问），保存时查环一层查一次、只顺着「上游工作流运行成功结束」的边找；选对象（trigger-options）按事件、关键字查、一页最多 100 个、more 说还有没有，当前选中的总在里面，编辑页一页没列完时多一个按名称查找。顺带修：等着的时候任务改了条件、最早那条不再合条件时，「什么时候合成触发」按剩下的最早一条算（列表上的时刻和真发起的一致）；一个窗口的结束时刻和这个任务已有的另一次触发撞在同一刻（别的期次早一拍发了）时往后挪，那几条事件照常发起，不再被记到已有的触发上
|
2026-10-19 09:46:47 +08:00 |
|
|
ThearchyHelios
|
fa431da91b
|
问数据接着收尾一轮时按当前账号重新核对身份：服务重启后接手（已发起运行的接着等、复核）以前用的是发起时的身份快照，之后停用了、降了角色不会再核对。现在每次执行开始时按用户名读现在的账号（chat/job.current_principal）：不在了、停用了，或者按现在的角色已经用不了问数据的，照实标中断、写清原因（cause identity），不再往下做；还用得了的按现在的角色、组接着做。已经发起的运行不动。页面照原因说「上次未完成」
|
2026-10-19 09:38:07 +08:00 |
|
|
ThearchyHelios
|
edde451d19
|
问数据事件日志：助手的心跳不落库、已结束的轮次按期清理。心跳（模型几秒没出声时的 heartbeat 操作）是纯保活，以前每 3 秒落一条库；现在只在本进程里记最近的一拍（chat/log.beat），流上发一条不带 seq 的，重连时流先补最近的那一拍，之后落了任何事件就作废；页面照收不带 seq 的心跳、不动收到的最后一个 seq。其余事件照落（第 2 波跨进程从库里按 seq 追）。已结束（成功、失败、取消、中断）超过 14 天的轮次整轮删事件日志（chat/log.purge，挂在调度循环的那一拍里，一小时最多一次）：重开已结束的一轮读的是 conversation_turns 那一行，不读事件日志；任务行留着，seq 接着发号。README 数据位置写明
|
2026-10-19 09:34:14 +08:00 |
|
|
ThearchyHelios
|
8ba0b27097
|
同一个子工作流节点执行多次时子图里的节点分得开：子图这一次跑过的每一步交回父图的 trail（节点 id 接上前缀），下一次执行从那里接着数第几次执行（engine/evidence.next_exec），台账、证据面板不再几条都记第 1 次；写外部系统的幂等键按这次运行里的节点 id 算（「sub/pay」）。以前循环里第二轮的子图写入算出和第一轮同一个键，交回第一轮的回执、外部系统少收一笔，父图里同名的节点、套同一个工作流的两个子工作流节点也撞键。升级前停在子图里的运行恢复时照旧按子图里的 id 认出已经生效的那一笔、不重发（父图里有同名节点时不认）
|
2026-10-19 09:16:14 +08:00 |
|
|
ThearchyHelios
|
d1ad670fb3
|
复核规则对子工作流里失败的那一步只报一条：子图里那一步、子工作流节点各发一条原话相同的 node.failed，以前合成两条「执行失败」（驳回同理两条「被驳回」），问数据的复核提示里同一件事写两遍。现在保留更具体的那一步，名字一层层接上写清在哪个子工作流里（「复核子流程 › 算一下」），不写内部 id；子工作流节点自己失败、原话不同的照报
|
2026-10-19 09:10:27 +08:00 |
|
|
ThearchyHelios
|
04d80472f9
|
子工作流里的反方审稿按全局 id 记它审的报告：审稿记录和工件上的报告写这次运行里的 id（「sub/write」，同 report.checked、报告文档，第 1 波 B1 修过报告节点同样的问题），证据面板连子工作流里的审稿一起认（_Sealed.nodes_of nested），点开子图里那份报告的句子认得出审它的那次审稿；审批卡上的报告按全局 id 记，打开证据面板、审批质询对得上；单句面板的报告名写「子工作流 › 报告」，不写内部 id
|
2026-10-19 09:08:45 +08:00 |
|