yilunjiang/AgentLab
1
0
Fork 0
mirror of https://github.com/ThearchyHelios/AgentLab.git synced 2026-11-15 03:31:58 +00:00
Code Issues Packages Projects Releases Wiki Activity
967 Commits 4 Branches 0 Tags
db328efd2191dd88a14fbc00fb0a7d36951a6e1e
Commit Graph

8 Commits

Author SHA1 Message Date
ThearchyHelios db328efd21 原子写和部署脚本的几处（复核 R-a11、R-a12、R-a13 追加写） 
- R-a12 create_bytes：硬链接不了的文件系统（exFAT、一部分 SMB / FUSE，EPERM / ENOTSUP / EXDEV）不再首次启动就崩，退回 O_CREAT | O_EXCL 直接建（仍然只建一次，说明里写了写的那一会儿读的一方可能读到不完整）；建成后 fsync 目录（同 raw_store）
- R-a13 file_write 的追加改回原地追加写（O_APPEND，core/atomic.append_bytes）：不换文件（inode、权限、开着的句柄不变），原有内容不动，文件大了也不用整份读出来重写；取舍写在函数说明里——读的一方最多看到半截新内容。覆盖照旧先写临时文件再改名，并沿用原文件的权限
- R-a11 deploy.sh 改属主前认数据目录收紧：只认 agentlab.db、.secret_key、.agentlab-data 三样之一（不再认 uploads/ 这种普通目录名）；.agentlab-data 是服务启动时（Settings.ensure_dirs）建的标记，只建一次不覆盖，库在 PostgreSQL、密钥由环境变量给的部署也认得出；老部署有 agentlab.db 或 .secret_key。deploy/README 写明这个文件别删
- 测试：模拟不能硬链接仍只建一次、权限 0600、不留临时文件；覆盖沿用原权限；追加不换 inode、权限不变；file_write 追加不换文件、覆盖照常；数据目录里有标记、重复启动不覆盖
 2026-10-19 12:07:31 +08:00
ThearchyHelios b2f6d8d7d2 README、部署说明补上用 PostgreSQL：AGENTLAB_DATABASE_URL、断点、连接池（含 PgBouncer）、和 SQLite 一致的那几条、从 SQLite 导入的步骤（copy-to-postgres，先停服务、先 --dry-run）、备份（pg_dump 加数据目录）、多台机器要把数据目录挂在共享存储的同一个路径上，以及实话：数据目录里的 SQLite 文件（记录表原地追加写、上传表格版本库的 flock）在网络文件系统上并发写不安全，眼下仍按单进程部署 
- 依赖与锁文件：[postgres] 里装的是什么、为什么 langgraph-checkpoint 单独卡小版本、checkpoint-postgres 锁在 3.1.2；数据位置：PostgreSQL 时不再用 agentlab.db / checkpoints.db；开发与验证：scripts/test-postgres.sh
- environment.yml 带上 [postgres]；.env.example 补应用库一节
- deploy.sh：数据目录里没有 agentlab.db（库在 PostgreSQL）时，认 .secret_key、uploads/ 也算 AgentLab 的数据目录，不再拒绝改属主
- 断点库的连接串不带只给 asyncpg 看的参数（prepared_statement_cache_size 之类，psycopg 不认）；地址规范化、启动日志不带密码的测试
 2026-10-19 10:13:58 +08:00
ThearchyHelios f759c5c82d W3-d 分享链接（后端）：只读、不用登录、必设到期、只显示定时出数的视图 
为什么做（04 细案 C2，集成-I6）：会话 cookie 是 SameSite=Lax，跨站的 iframe 里带不上，想把看板放进别的门户只能每人开账号且
必须同站；分享链接是跨站嵌入唯一走得通的办法。它把数据交出了授权范围，所以每一步往窄处取：
- view_shares（db/models_apps.ViewShare）：只存 key 的 sha256 和开头 6 位；latest 跟着最近一次封存走，fixed 存建分享那一刻
  每个视图的运行 id、按建分享时的应用版本解析；到期必填；打开只计数
- POST / GET / DELETE /api/apps/{id}/shares：要应用的 manage，建要管理员开了 apps.share_links（缺省关）；个人应用、没发布、
  归档的不能分享；这一页没有最近封存的视图不收；到期最长 90 天；key 只在建的时候交回一次（/s#<key>）；建、撤销写审计
- GET /api/shares/page、/api/shares/report.html 是公开路由（中间件把 /api/shares/ 当公开前缀），只认请求头
  X-AgentLab-Share，地址里带的 key 不认；撤销、到期回 410 写明；开关关掉时已有的一并 403；应用归档、页面没了 410
- apps/resolve.resolve_page 加 share 旁路：只解析 latest_sealed 视图（fixed 用存下的运行，趋势也停在那一期），按需、实例、
  探索视图写明原因、从不发起运行（auto 的也不）；流程组件和报告换成写明原因的说明块；页面缓存键另加分享的标识；out 另给
  各视图取到的运行和可下载的报告
- 下载报告只认这条分享此刻解析出来的运行，内部就是 export_report_html（同样遮过、照常记导出审计，导出人记成不冒充任何人的
  分享身份）
- 分享接口都不放给访问密钥（不在 KEY_ROUTES，门禁 403）

安全头：/s 用 AGENTLAB_EMBED_ORIGINS 和 no-referrer（第 1 波 web_security 预留的规则，这次在真实页面托管下测）。C3 同站门户
嵌整站只做配置和文档：写进 web_security 的模块说明和 deploy/agentlab.env 的「嵌入」一节，「分享链接还没有上线」那句改掉。
 2026-10-16 16:30:42 +08:00
ThearchyHelios d8034ca71a 对外访问地址只留一个：core/public_url.py 的 public_base_url()，通知、Webhook 链接、OIDC 回调、来源核对都改用它 
以前有两个「对外地址」：环境变量 AGENTLAB_PUBLIC_URL 只管 OIDC 回调和 Origin 核对，设置里 notify.public_base_url 只管
通知里的链接。只配了环境变量的部署，通知里不带链接；只在设置里填了的，回调又按请求的 Host 拼——违背「一种说法」。

- 新增 core/public_url.py：环境变量优先，其次设置（沿用 notify.public_base_url 这个键），都没有是 None。设置的值缓存在
  进程里（中间件按请求核对来源，不能每次查库）：启动时 refresh 一次，PUT /api/settings 写完库就 remember，不用重启；
  通知、定时任务 Webhook 手里本来就有会话，用 refresh 取，顺手按库里的值对齐缓存
- 地址的形状检查和规范化只有一份（url_problem / normalize），设置接口的中文报错和环境变量的启动校验都用它；环境变量
  写错了（没有 http:// 或 https://、带 ? 或 #）启动时就报错，不再拼出坏的回调地址
- GET /api/settings 另给只读的 public_url 一组 {value, env_locked}，设置页据此显示「由环境变量指定」；环境变量设了时
  PUT 把这一项改成别的值回 409（public_url_env_locked，field 指到这一项），原样写回不算改；public_url 一组写不进库
- notify/service 取地址的那一处、scheduler/webhook 链接里的地址、api/auth 的 OIDC 回调、auth/middleware 的 Origin 核对
  都改走 public_base_url；deploy/agentlab.env 把这个变量的说法改成全站唯一的对外访问地址

测试 tests/test_public_url.py：先后顺序（环境变量 > 设置 > 无）、规范化、启动校验、PUT 刷新缓存、环境变量锁定（409、
不挡原样写回）、只配环境变量时通知带链接、OIDC 回调和 Origin 核对认设置里的地址。去掉修复回跑，只配环境变量的通知
链接、按设置核对 Origin 两条都会失败。设置页把它挪到「通用」在后面的前端提交里。
 2026-10-16 10:18:12 +08:00
ThearchyHelios a05efbf27a 安全响应头：所有 HTTP 响应补 nosniff、Referrer-Policy 和 CSP frame-ancestors，页面只上报严格的 script-src 
以前服务端一个安全头都不发，任何站点都能把 AgentLab 嵌进 iframe：同站门户（Lax 会话 cookie 会随请求带上）和关登录的部署
都有被点击劫持的可能，也没有「允许谁嵌」的白名单可配。

- 新增 app/web_security.py，纯 ASGI 中间件，main.py 里加在最外层：CORS 预检、登录检查自己回的 401 / 403 也带上；
  WebSocket 不经过它；接口自己设过的同名头（文件下载的 nosniff）不覆盖、不重复
- frame-ancestors 缺省只有 'self'，这时另加 X-Frame-Options: SAMEORIGIN；AGENTLAB_FRAME_ANCESTORS 配了同站门户的白名单时
  只发 CSP（XFO 写不了白名单，两个都发会让只认 XFO 的老浏览器把门户也拦掉）
- 分享页 /s 只认 AGENTLAB_EMBED_ORIGINS、Referrer-Policy 用 no-referrer。分享链接第 3 波才加，这一波先把配置读进来、
  头的规则写好
- 严格的 script-src 先只发 Content-Security-Policy-Report-Only：mount_web 启动时给构建产物 index.html 里的内联主题
  脚本算 sha256，只在页面响应上发；接口返回的 HTML（导出的报告自带 meta CSP）不发、不动。观察一个版本没有误报再强制执行
- HSTS 交给终结 https 的反向代理
- 两个白名单只收「协议://主机[:端口]」（可以 *. 开头），带路径、裸 *、没写协议的启动时就报错；deploy/agentlab.env 写明
  两个变量和缺省行为

测试 tests/test_web_security.py：页面、/api、中间件自己的 401、CORS 预检都带头；白名单生效时不发 XFO；/s 的规则；
上报策略只在页面上、哈希对得上；已有的头不重复；WebSocket 不受影响；白名单写错启动报错；子进程起真实的 app.main 核对
环境变量接线。
 2026-10-16 10:17:37 +08:00
ThearchyHelios c86e58f464 README 与部署说明：应用（怎么生成、能做哪几类、视图与印章、流程与待办、写外部系统、入站钩子、按新口径补算、升级安全）、身份与权限（三种登录方式、会话、找回、角色与授权、使用者的问数据、遮罩的边界）、能力登记与端点、助手按需查看；默认不开登录的说法、核心能力表、数据目录与遮罩、节点类型、安全边界、检查项（33 项另加 check-auth）、从旧版本升级；部署配置模板加登录一节 2026-10-14 22:12:01 +08:00
ThearchyHelios 78f24dfe3f Docker 镜像内置 microVM：构建时装好运行时、预拉沙箱镜像；deploy.sh 检测到 KVM 先试启动一台，起得来才交给容器；没有 KVM 时服务端不再选 microVM 
- microvm_sandbox：Linux 上 available() 要求 /dev/kvm 存在且可读写，不可用时给出具体原因（没装、运行时没装、没有 KVM、没有权限）
- 新增 app.sandbox.selftest：真起一台 VM 执行一行代码，部署脚本用它判断
- Dockerfile：WITH_MICROVM（默认 1）构建期 install 并 pull python:3.12-slim，自带的 msb、libkrunfw 改为链接，镜像约多 150 MB
- deploy.sh：ENABLE_MICROVM=auto|0|1，有 KVM 时用临时容器试启动，成功才加 --device /dev/kvm 和所属组；部署完和 status 打印实际用的沙箱
- package-docker.sh：--no-microvm；部署说明、配置模板、README 同步
 2026-09-30 11:19:25 +08:00
ThearchyHelios 6af4e396b9 生产部署：prod.sh 直接运行，package-docker.sh 打 Docker 离线包（镜像 + 一键部署脚本 + 配置 + 说明） 
- 服务端可以托管前端构建产物（AGENTLAB_WEB_DIST）：页面路由回退到 index.html，/api 下不存在的路径照旧是 JSON 404，
  挡住路径穿越；index.html 不缓存，assets/ 带哈希的文件长缓存；没设时行为完全不变
- scripts/prod.sh：不用 Docker 的生产运行。按需构建前端，单进程、不热重载，默认只听本机，--host 开放到局域网并提示没有登录
- Dockerfile（多阶段构建，Linux 镜像）：前端在构建机架构上构建，运行阶段用 python:3.12-slim，依赖装进独立的 venv，
  以非 root 用户（uid 10001）运行，数据在 /data，带健康检查；.dockerignore 排除 .env、data/、各种库文件，镜像里实测没有密钥和数据库
- scripts/package-docker.sh：构建指定平台的镜像（默认按本机架构，可选 linux/amd64），打成
  release/agentlab-<版本>-linux-<架构>.tar，里面有 image.tar、deploy.sh、agentlab.env、README.md、SHA256SUMS
- deploy/deploy.sh：目标机上只依赖 Docker，离线可用。install / start / stop / restart / status / logs / upgrade / uninstall；
  检查架构和配置，自动导入镜像，替换容器时保留旧容器以便回退，数据永远保留，日志轮转
- 修正 bubblewrap 的可用性判断：以前只看有没有装 bwrap，容器里和 Ubuntu 24.04 默认配置下装了却建不了命名空间，
  每次执行代码都失败；现在真起一次试，不能用就退回下一个后端，并写明原因
- README 增加「生产部署」一节，部署细节见 deploy/README.md
 2026-09-30 09:48:16 +08:00