8 Commits

Author	SHA1	Message	Date
ThearchyHelios	d117237bbc	配置模板补上 PostgreSQL 和多进程的几项：.env.example 的应用库一节分成应用库、连接池、PgBouncer、多进程、开发用 PostgreSQL 五组，补上 AGENTLAB_DATABASE_DIRECT_URL、AGENTLAB_DB_PGBOUNCER、AGENTLAB_DB_POOL_TIMEOUT、AGENTLAB_DB_POOL_RECYCLE、AGENTLAB_DB_STARTUP_TIMEOUT、AGENTLAB_WORKERS、AGENTLAB_WORKER_LEASE_S、AGENTLAB_WORKER_HEARTBEAT_S、AGENTLAB_SCHEDULER、AGENTLAB_SCHEDULER_TICK_S、AGENTLAB_BUILD 和 dev.sh --postgres 的 AGENTLAB_DEV_PG_*（都注释着，名字、缺省值照 core/config.py 和脚本）；dev.sh 的 AGENTLAB_DEV_PG_* 也认 .env / backend/.env（环境变量优先，和后端的配置同一个规矩，不 source）。deploy/agentlab.env 末尾再追加「外接 PostgreSQL 与多进程（可选）」一段（地址写宿主机网桥 172.17.0.1、放行容器网段，和内置库二选一；断点库、PgBouncer、直连地址、工作进程、租约、连接池、启动时等库），已有的行一行没动。deploy.sh：AGENTLAB_DATABASE_DIRECT_URL 也算外接的库（和内置互斥），只设直连地址不设 AGENTLAB_DATABASE_URL、内置库开 AGENTLAB_DB_PGBOUNCER、SQLite 时 AGENTLAB_WORKERS 大于 1 都在起容器之前照实拦下（migrate-to-postgres 在停服务之前查）。单测：这些 AGENTLAB_* 经 --env-file 进容器、几条拦截、模板两段的项和缺省值、dev.sh 从 .env 读设置，以及守卫——config.py 里应用库、连接池、多进程、调度几类配置每一项都要在 .env.example 里有	2026-10-19 15:41:37 +08:00
ThearchyHelios	39bc76494e	测试：随机名字不带数字——新增 tests/fixtures/names.letters（uuid4 的十六进制里数字换成字母，同 test_run_data_versions 的写法），dual_check_shop 的数据源名、盲算的调用编号，评测、应用说明检查、导入、遮罩、通知几处测试里拼进文本的随机名字都改用它（以前带着「330」「300」「48」这类数时撞上「文本里不许出现这个数」的断言）；test_eval_schedule 查通知里有没有数时先去掉 32 位编号和发送时间（随机的编号带过「310」）；test_null_not_null_values_fall_back_to_the_model_default 显式导入 app.db.models（单独跑时 schedules 还没登记进元数据，KeyError）。deploy.sh 注明内置库不用 copy-to-postgres 的 --direct-url	2026-10-19 15:16:54 +08:00
ThearchyHelios	c842b536f6	内置 PostgreSQL 的四条取舍：agentlab.env 模板末尾追加注释掉的「内置 PostgreSQL（可选）」一段（POSTGRES_IMAGE、POSTGRES_CONTAINER、DOCKER_NETWORK、POSTGRES_VOLUME、BACKUP_KEEP，缺省值写在注释里，已有的行一行没动）；升级前的备份收紧权限——backups/ 起每一层目录 0700、备份文件 0600，属主同数据目录（SQLite 的在 umask 077 下先以 0600 建空文件再交给备份接口写，pg_dump 在 umask 077 下写、目录由 app.ops backup-dir 建和收紧），恢复步骤里写清哪一步要 sudo、内置库的恢复改成在以 10001 运行的临时容器里读备份（不用 sudo）；restart 缺省只重启服务（库停着时先把库起来），restart --postgres 连库一起重启，没用内置库时加 --postgres 照实报错；离线包缺省带 PostgreSQL 镜像不变，deploy/README 写清多出约 160 MB、导入后约 0.7 GB；deploy/README 加「首次在 Linux 上切换前的检查」（docker 版本、属主、权限、磁盘空间、整目录备份）。单测核对权限位、restart 两种用法、模板里的注释和 deploy.sh 的缺省值一致	2026-10-19 13:58:00 +08:00
ThearchyHelios	9e6a6db406	deploy.sh 带内置 PostgreSQL：install --postgres 在旁边再起一个 PostgreSQL 容器（镜像小版本固定 postgres:16.15、可用 POSTGRES_IMAGE 改；同一个 docker 网络、端口不对外；数据在 docker 数据卷；密码第一次自动生成在数据目录的 .postgres/、0600，按 POSTGRES_PASSWORD_FILE 和 PGPASSFILE 传，不进镜像、日志和 docker inspect；agentlab.env 什么都不用填）。用过一次的数据目录记在 .postgres/state，之后 install / upgrade / start 不用再加。start、restart 先起库等 pg_isready 再起服务，stop 先停服务再停库，status 显示两个容器，logs --postgres 看库的，uninstall 连库的容器和网络一起删、数据卷和数据目录留着。和外接 PostgreSQL（agentlab.env 里的 AGENTLAB_DATABASE_URL）互斥，照实报错；已有 SQLite 库的数据目录不许 install --postgres（指向 migrate-to-postgres），别的数据目录留下的数据卷不拿来用。upgrade 先停旧服务、自动备份（SQLite 用备份接口拷到 backups/sqlite/，内置库 pg_dump 到 backups/postgres/，各留最近 BACKUP_KEEP 份），备份没做成就把旧服务起回来不升级；POSTGRES_IMAGE 换了时库的容器按新镜像重建、起不来就换回原来的。新增 migrate-to-postgres：停服务 → 备份 → 起库 → copy-to-postgres 先 --dry-run 再正式导入、核对 → 记下已切换 → 按内置库起服务；记下之前哪一步出错都退回 SQLite（服务原样恢复、库的容器停掉、状态记成 migrating），重跑先清空上次导了一半的再导，已切过的什么都不做，不是这个数据目录留下的数据卷不清空。容器、网络、数据卷、端口等可用 DEPLOY_<名字> 环境变量盖过（测试、并排部署）。package-docker.sh 把同一个标签的 PostgreSQL 镜像导出成 postgres-image.tar 一起打包（--no-postgres 不带），标签只在 deploy.sh 里定一处。单测用假的 docker（tests/fake_docker.py）核对先后顺序、生成的参数、互斥和各条回退	2026-10-19 13:43:52 +08:00
ThearchyHelios	db328efd21	原子写和部署脚本的几处（复核 R-a11、R-a12、R-a13 追加写） ... - R-a12 create_bytes：硬链接不了的文件系统（exFAT、一部分 SMB / FUSE，EPERM / ENOTSUP / EXDEV）不再首次启动就崩，退回 O_CREAT | O_EXCL 直接建（仍然只建一次，说明里写了写的那一会儿读的一方可能读到不完整）；建成后 fsync 目录（同 raw_store） - R-a13 file_write 的追加改回原地追加写（O_APPEND，core/atomic.append_bytes）：不换文件（inode、权限、开着的句柄不变），原有内容不动，文件大了也不用整份读出来重写；取舍写在函数说明里——读的一方最多看到半截新内容。覆盖照旧先写临时文件再改名，并沿用原文件的权限 - R-a11 deploy.sh 改属主前认数据目录收紧：只认 agentlab.db、.secret_key、.agentlab-data 三样之一（不再认 uploads/ 这种普通目录名）；.agentlab-data 是服务启动时（Settings.ensure_dirs）建的标记，只建一次不覆盖，库在 PostgreSQL、密钥由环境变量给的部署也认得出；老部署有 agentlab.db 或 .secret_key。deploy/README 写明这个文件别删 - 测试：模拟不能硬链接仍只建一次、权限 0600、不留临时文件；覆盖沿用原权限；追加不换 inode、权限不变；file_write 追加不换文件、覆盖照常；数据目录里有标记、重复启动不覆盖	2026-10-19 12:07:31 +08:00
ThearchyHelios	b2f6d8d7d2	README、部署说明补上用 PostgreSQL：AGENTLAB_DATABASE_URL、断点、连接池（含 PgBouncer）、和 SQLite 一致的那几条、从 SQLite 导入的步骤（copy-to-postgres，先停服务、先 --dry-run）、备份（pg_dump 加数据目录）、多台机器要把数据目录挂在共享存储的同一个路径上，以及实话：数据目录里的 SQLite 文件（记录表原地追加写、上传表格版本库的 flock）在网络文件系统上并发写不安全，眼下仍按单进程部署 ... - 依赖与锁文件：[postgres] 里装的是什么、为什么 langgraph-checkpoint 单独卡小版本、checkpoint-postgres 锁在 3.1.2；数据位置：PostgreSQL 时不再用 agentlab.db / checkpoints.db；开发与验证：scripts/test-postgres.sh - environment.yml 带上 [postgres]；.env.example 补应用库一节 - deploy.sh：数据目录里没有 agentlab.db（库在 PostgreSQL）时，认 .secret_key、uploads/ 也算 AgentLab 的数据目录，不再拒绝改属主 - 断点库的连接串不带只给 asyncpg 看的参数（prepared_statement_cache_size 之类，psycopg 不认）；地址规范化、启动日志不带密码的测试	2026-10-19 10:13:58 +08:00
ThearchyHelios	78f24dfe3f	Docker 镜像内置 microVM：构建时装好运行时、预拉沙箱镜像；deploy.sh 检测到 KVM 先试启动一台，起得来才交给容器；没有 KVM 时服务端不再选 microVM ... - microvm_sandbox：Linux 上 available() 要求 /dev/kvm 存在且可读写，不可用时给出具体原因（没装、运行时没装、没有 KVM、没有权限） - 新增 app.sandbox.selftest：真起一台 VM 执行一行代码，部署脚本用它判断 - Dockerfile：WITH_MICROVM（默认 1）构建期 install 并 pull python:3.12-slim，自带的 msb、libkrunfw 改为链接，镜像约多 150 MB - deploy.sh：ENABLE_MICROVM=auto|0|1，有 KVM 时用临时容器试启动，成功才加 --device /dev/kvm 和所属组；部署完和 status 打印实际用的沙箱 - package-docker.sh：--no-microvm；部署说明、配置模板、README 同步	2026-09-30 11:19:25 +08:00
ThearchyHelios	6af4e396b9	生产部署：prod.sh 直接运行，package-docker.sh 打 Docker 离线包（镜像 + 一键部署脚本 + 配置 + 说明） ... - 服务端可以托管前端构建产物（AGENTLAB_WEB_DIST）：页面路由回退到 index.html，/api 下不存在的路径照旧是 JSON 404， 挡住路径穿越；index.html 不缓存，assets/ 带哈希的文件长缓存；没设时行为完全不变 - scripts/prod.sh：不用 Docker 的生产运行。按需构建前端，单进程、不热重载，默认只听本机，--host 开放到局域网并提示没有登录 - Dockerfile（多阶段构建，Linux 镜像）：前端在构建机架构上构建，运行阶段用 python:3.12-slim，依赖装进独立的 venv， 以非 root 用户（uid 10001）运行，数据在 /data，带健康检查；.dockerignore 排除 .env、data/、各种库文件，镜像里实测没有密钥和数据库 - scripts/package-docker.sh：构建指定平台的镜像（默认按本机架构，可选 linux/amd64），打成 release/agentlab-<版本>-linux-<架构>.tar，里面有 image.tar、deploy.sh、agentlab.env、README.md、SHA256SUMS - deploy/deploy.sh：目标机上只依赖 Docker，离线可用。install / start / stop / restart / status / logs / upgrade / uninstall； 检查架构和配置，自动导入镜像，替换容器时保留旧容器以便回退，数据永远保留，日志轮转 - 修正 bubblewrap 的可用性判断：以前只看有没有装 bwrap，容器里和 Ubuntu 24.04 默认配置下装了却建不了命名空间， 每次执行代码都失败；现在真起一次试，不能用就退回下一个后端，并写明原因 - README 增加「生产部署」一节，部署细节见 deploy/README.md	2026-09-30 09:48:16 +08:00