 ThearchyHelios
|
39bc76494e
|
测试：随机名字不带数字——新增 tests/fixtures/names.letters（uuid4 的十六进制里数字换成字母，同 test_run_data_versions 的写法），dual_check_shop 的数据源名、盲算的调用编号，评测、应用说明检查、导入、遮罩、通知几处测试里拼进文本的随机名字都改用它（以前带着「330」「300」「48」这类数时撞上「文本里不许出现这个数」的断言）；test_eval_schedule 查通知里有没有数时先去掉 32 位编号和发送时间（随机的编号带过「310」）；test_null_not_null_values_fall_back_to_the_model_default 显式导入 app.db.models（单独跑时 schedules 还没登记进元数据，KeyError）。deploy.sh 注明内置库不用 copy-to-postgres 的 --direct-url
|
2026-10-19 15:16:54 +08:00 |
|
|
ThearchyHelios
|
93cd32bc97
|
启动时等库：PostgreSQL 还连不上（和库的容器一起起、库还在初始化）时按退避重试（1、2、4、5、5… 秒），每次照实打一条「应用库还没就绪」，最多等 AGENTLAB_DB_STARTUP_TIMEOUT（缺省 90）秒再把最后一次的错抛出去；密码不对、库不存在这种等也没用的（SQLSTATE 28、3D、42 类）立刻抛；SQLite 不等。新增 python -m app.ops（部署脚本在容器里以镜像用户调的几件小事，只用标准库）：内置 PostgreSQL 的密码文件和 pgpass（0600，已有就沿用，密码不打印）、数据目录用哪种库的状态（sqlite / builtin / migrating）、SQLite 库的一致备份（备份接口，含 -wal 里的）和只留最近 N 份。copy-to-postgres 连不上目标库、库报错时一句话说清楚、退出码 1，不再甩一屏调用栈
|
2026-10-19 13:43:32 +08:00 |
|
|
ThearchyHelios
|
0e997eb968
|
copy-to-postgres 在真实开发数据上核对不过的几处（复核 R-a1、R-a2、R-a3、R-a8、R-a13）
- R-a1 老库 NOT NULL 列为空：第一版补 schedules.trigger 时没带缺省值，存量定时任务这一列是 NULL，导入 PostgreSQL 撞 NOT NULL，连带触发记录、通知撞外键。迁移表里这一列改成带 DEFAULT '{}'；新增 _NOT_NULL_BACKFILLS，启动时按模型的缺省值把已经补过、留着 NULL 的填上（SQLite 这边也填，两种库存的一样；只更新这一列，不碰 updated_at）；导入时 _Fixer 遇到 NOT NULL、有缺省值的列的 NULL 也填缺省值，计入「转换」。迁移表里的 NOT NULL 列都过了一遍，只有这一列没带缺省值
- R-a2 孤儿行：导入前在快照上按模型外键扫（settle_orphans）：外键是 SET NULL、列可空的置空，计入转换；CASCADE / 不可空的从快照里拿掉、不导入，反复扫到没有为止，报告里单列「孤儿行（SQLite 当时没强制外键）」的表和条数，不算核对失败
- R-a3 停服务后 agentlab.db-wal 还在：lifespan 收尾 dispose 应用库引擎（只加了这几行），SQLite 最后一个连接关掉时并回、删掉 -wal，PostgreSQL 的池子也正常关
- R-a8 自增主键的序列取「目标表 MAX、快照 sqlite_sequence 的计数器、序列现值」三者最大，删过的号不复用（召回按 source_changes.seq 当游标）
- R-a13 插不进的行的原因不再带「<class 'asyncpg.exceptions.…'>:」前缀（errors.first_line 两种写法都去）；设了 AGENTLAB_DATABASE_URL 却没装 [postgres] 时，应用库引擎和断点库都直接说要装什么
- 测试：DROP COLUMN 再按第一版迁移补回造老表、关着外键写孤儿行，迁移填值、快照上置空和拿掉、导入 PostgreSQL 核对通过且重跑一样；NULL 落回模型缺省值；端到端里删掉最后一条变化，导过去新变化从 3 编起；起停一次服务后数据目录里没有 -wal / -shm（去掉 dispose 这条测试就挂）
- PostgreSQL 引擎上另挂了去掉文本参数里 NUL 的钩子（db/postgres.strip_nul，见下一个提交）
|
2026-10-19 12:06:31 +08:00 |
|
|
ThearchyHelios
|
3e922cbefb
|
新增 python -m app.db copy-to-postgres：把 SQLite 数据目录里的应用库和断点导入 PostgreSQL（db/to_postgres.py）
- 先停服务：来源旁边留着 agentlab.db-wal / checkpoints.db-wal（还有连接开着，或者上次是强杀），或者目标库上有 application_name=agentlab 的连接，就拒绝，什么都不写；强杀留下的 -wal 用 --assume-stopped 放过。查不到的（另一台机器上的服务）在说明里写明要自己保证
- 读快照：SQLite 备份接口拷到 --work-dir（缺省系统临时目录），在拷贝上跑一遍启动时的建表补列，老版本的库按当前表结构读；来源按读写打开、只许读（mode=ro 打开 WAL 库会留下它自己建的 -wal，下一次导入就当成服务还开着）
- 目标：同启动时的 create_schema 建表；按外键先后逐表、按主键分批 INSERT … ON CONFLICT DO NOTHING——目标上已有同一主键（或撞了别的唯一约束）的行一律不动，重跑只补没有的；整批撞了外键之类的约束就逐行重试，插不进的列出主键和原因；自增主键的序列接到导入的最大值后面
- 值：按模型的列类型读写（时间、布尔），JSON 原文照搬（SQL 的 NULL 和 JSON 的 null 分开、键的先后不变）；PostgreSQL 不收的（NaN、NUL、整数列里的浮点和数字字符串、文本列里的非文本）换掉并计数打印
- 断点：用两个 saver 的公开接口逐条读出写入（含 pending writes，特殊通道和普通写入分开写，序号同来源），目标上已有的断点不重写；按线程核对断点和 pending writes 的条数
- 核对：每张表按主键数来源的行目标上有没有（导入前已有、这次补上分开数），逐表打印；有没导进去的退出码非零。--dry-run 只核对、不建表不写
- 测试：另起进程在 SQLite 数据目录里跑一次停在审批上的运行（事件、审批、待办、工件引用），导入新建的空库、再导一遍什么都不重复，再另起进程连这个 PostgreSQL、同一个数据目录批掉审批，运行从断点接着跑完、事件序号接着往下编、工件读得到、新的变化记录的序号接在导入的后面；dry-run 不写；目标上服务还连着就拒绝；来源、参数、值转换的单测
|
2026-10-19 10:07:06 +08:00 |
|