yilunjiang/AgentLab
1
0
Fork 0
mirror of https://github.com/ThearchyHelios/AgentLab.git synced 2026-11-15 04:11:58 +00:00
Code Issues Packages Projects Releases Wiki Activity
1,296 Commits 4 Branches 0 Tags
feat/caliber-querycore-foundation
Commit Graph

12 Commits

Author SHA1 Message Date
ThearchyHelios e15e94f93e 口径工作台：结构化语义导入、起草续跑恢复与本体关系编排 
- 新增口径结构化语义定义、分批解析与 SQL 生成管道（semantic / semantic_import / semantic_sql）
- 支持起草断点续跑恢复、指标自动匹配对齐与存量口径语义迁移面板（MigrationPanel / SemanticPanel）
- 口径草稿与变更流程接入候选本体边提议、审阅确认与一键修改保护，同步更新可移植 SQLite 基线校验
 2026-11-12 12:58:12 +08:00
ThearchyHelios 9d8b41430e 完善口径管理、主动调查与后台任务，修复通用问题 
- 完善口径编辑、只读试运行、统一质量验证与执行语义指纹
- 增加可执行指标约束、有预算的主动调查和过程评测
- 提取发布检查、证据读取与起草服务，支持任务停止、重试和检查点恢复
- 增加版本传递影响分析，修复并发覆盖、敏感值遮罩、异常评分及页面状态问题
- 修复 SQLite 复合查询追溯和 microVM 可选依赖缺失处理
- 纳入当前设计文档及部署配置调整

验证：相关主回归 3822 项通过，4 项跳过、8 项预期失败；补充回归通过。
前端构建、文案检查及 git diff --check 通过。
全量检查仍有环境权限、PostgreSQL 可选依赖和既有部署配置、SQLite 文件基线差异导致的未通过项。
 2026-11-06 17:14:45 +08:00
ThearchyHelios af919a88aa 合入编排完善第 2 波（集成）：应用库可移植到 PostgreSQL（nr8/a）、第 1 波与下一轮遗留收口（nr8/l）、多进程协调（nr8/b）、部署时 PostgreSQL 一起起（nr8/d） 2026-10-19 15:45:16 +08:00
ThearchyHelios d117237bbc 配置模板补上 PostgreSQL 和多进程的几项：.env.example 的应用库一节分成应用库、连接池、PgBouncer、多进程、开发用 PostgreSQL 五组，补上 AGENTLAB_DATABASE_DIRECT_URL、AGENTLAB_DB_PGBOUNCER、AGENTLAB_DB_POOL_TIMEOUT、AGENTLAB_DB_POOL_RECYCLE、AGENTLAB_DB_STARTUP_TIMEOUT、AGENTLAB_WORKERS、AGENTLAB_WORKER_LEASE_S、AGENTLAB_WORKER_HEARTBEAT_S、AGENTLAB_SCHEDULER、AGENTLAB_SCHEDULER_TICK_S、AGENTLAB_BUILD 和 dev.sh --postgres 的 AGENTLAB_DEV_PG_*（都注释着，名字、缺省值照 core/config.py 和脚本）；dev.sh 的 AGENTLAB_DEV_PG_* 也认 .env / backend/.env（环境变量优先，和后端的配置同一个规矩，不 source）。deploy/agentlab.env 末尾再追加「外接 PostgreSQL 与多进程（可选）」一段（地址写宿主机网桥 172.17.0.1、放行容器网段，和内置库二选一；断点库、PgBouncer、直连地址、工作进程、租约、连接池、启动时等库），已有的行一行没动。deploy.sh：AGENTLAB_DATABASE_DIRECT_URL 也算外接的库（和内置互斥），只设直连地址不设 AGENTLAB_DATABASE_URL、内置库开 AGENTLAB_DB_PGBOUNCER、SQLite 时 AGENTLAB_WORKERS 大于 1 都在起容器之前照实拦下（migrate-to-postgres 在停服务之前查）。单测：这些 AGENTLAB_* 经 --env-file 进容器、几条拦截、模板两段的项和缺省值、dev.sh 从 .env 读设置，以及守卫——config.py 里应用库、连接池、多进程、调度几类配置每一项都要在 .env.example 里有 2026-10-19 15:41:37 +08:00
ThearchyHelios e8743aa8c4 更新 agentlab.env 配置：将 HOST_PORT 修改为 8080，DATA_DIR 修改为 ~/agentlab_data 2026-10-19 15:30:45 +08:00
ThearchyHelios c842b536f6 内置 PostgreSQL 的四条取舍：agentlab.env 模板末尾追加注释掉的「内置 PostgreSQL（可选）」一段（POSTGRES_IMAGE、POSTGRES_CONTAINER、DOCKER_NETWORK、POSTGRES_VOLUME、BACKUP_KEEP，缺省值写在注释里，已有的行一行没动）；升级前的备份收紧权限——backups/ 起每一层目录 0700、备份文件 0600，属主同数据目录（SQLite 的在 umask 077 下先以 0600 建空文件再交给备份接口写，pg_dump 在 umask 077 下写、目录由 app.ops backup-dir 建和收紧），恢复步骤里写清哪一步要 sudo、内置库的恢复改成在以 10001 运行的临时容器里读备份（不用 sudo）；restart 缺省只重启服务（库停着时先把库起来），restart --postgres 连库一起重启，没用内置库时加 --postgres 照实报错；离线包缺省带 PostgreSQL 镜像不变，deploy/README 写清多出约 160 MB、导入后约 0.7 GB；deploy/README 加「首次在 Linux 上切换前的检查」（docker 版本、属主、权限、磁盘空间、整目录备份）。单测核对权限位、restart 两种用法、模板里的注释和 deploy.sh 的缺省值一致 2026-10-19 13:58:00 +08:00
ThearchyHelios f759c5c82d W3-d 分享链接（后端）：只读、不用登录、必设到期、只显示定时出数的视图 
为什么做（04 细案 C2，集成-I6）：会话 cookie 是 SameSite=Lax，跨站的 iframe 里带不上，想把看板放进别的门户只能每人开账号且
必须同站；分享链接是跨站嵌入唯一走得通的办法。它把数据交出了授权范围，所以每一步往窄处取：
- view_shares（db/models_apps.ViewShare）：只存 key 的 sha256 和开头 6 位；latest 跟着最近一次封存走，fixed 存建分享那一刻
  每个视图的运行 id、按建分享时的应用版本解析；到期必填；打开只计数
- POST / GET / DELETE /api/apps/{id}/shares：要应用的 manage，建要管理员开了 apps.share_links（缺省关）；个人应用、没发布、
  归档的不能分享；这一页没有最近封存的视图不收；到期最长 90 天；key 只在建的时候交回一次（/s#<key>）；建、撤销写审计
- GET /api/shares/page、/api/shares/report.html 是公开路由（中间件把 /api/shares/ 当公开前缀），只认请求头
  X-AgentLab-Share，地址里带的 key 不认；撤销、到期回 410 写明；开关关掉时已有的一并 403；应用归档、页面没了 410
- apps/resolve.resolve_page 加 share 旁路：只解析 latest_sealed 视图（fixed 用存下的运行，趋势也停在那一期），按需、实例、
  探索视图写明原因、从不发起运行（auto 的也不）；流程组件和报告换成写明原因的说明块；页面缓存键另加分享的标识；out 另给
  各视图取到的运行和可下载的报告
- 下载报告只认这条分享此刻解析出来的运行，内部就是 export_report_html（同样遮过、照常记导出审计，导出人记成不冒充任何人的
  分享身份）
- 分享接口都不放给访问密钥（不在 KEY_ROUTES，门禁 403）

安全头：/s 用 AGENTLAB_EMBED_ORIGINS 和 no-referrer（第 1 波 web_security 预留的规则，这次在真实页面托管下测）。C3 同站门户
嵌整站只做配置和文档：写进 web_security 的模块说明和 deploy/agentlab.env 的「嵌入」一节，「分享链接还没有上线」那句改掉。
 2026-10-16 16:30:42 +08:00
ThearchyHelios d8034ca71a 对外访问地址只留一个：core/public_url.py 的 public_base_url()，通知、Webhook 链接、OIDC 回调、来源核对都改用它 
以前有两个「对外地址」：环境变量 AGENTLAB_PUBLIC_URL 只管 OIDC 回调和 Origin 核对，设置里 notify.public_base_url 只管
通知里的链接。只配了环境变量的部署，通知里不带链接；只在设置里填了的，回调又按请求的 Host 拼——违背「一种说法」。

- 新增 core/public_url.py：环境变量优先，其次设置（沿用 notify.public_base_url 这个键），都没有是 None。设置的值缓存在
  进程里（中间件按请求核对来源，不能每次查库）：启动时 refresh 一次，PUT /api/settings 写完库就 remember，不用重启；
  通知、定时任务 Webhook 手里本来就有会话，用 refresh 取，顺手按库里的值对齐缓存
- 地址的形状检查和规范化只有一份（url_problem / normalize），设置接口的中文报错和环境变量的启动校验都用它；环境变量
  写错了（没有 http:// 或 https://、带 ? 或 #）启动时就报错，不再拼出坏的回调地址
- GET /api/settings 另给只读的 public_url 一组 {value, env_locked}，设置页据此显示「由环境变量指定」；环境变量设了时
  PUT 把这一项改成别的值回 409（public_url_env_locked，field 指到这一项），原样写回不算改；public_url 一组写不进库
- notify/service 取地址的那一处、scheduler/webhook 链接里的地址、api/auth 的 OIDC 回调、auth/middleware 的 Origin 核对
  都改走 public_base_url；deploy/agentlab.env 把这个变量的说法改成全站唯一的对外访问地址

测试 tests/test_public_url.py：先后顺序（环境变量 > 设置 > 无）、规范化、启动校验、PUT 刷新缓存、环境变量锁定（409、
不挡原样写回）、只配环境变量时通知带链接、OIDC 回调和 Origin 核对认设置里的地址。去掉修复回跑，只配环境变量的通知
链接、按设置核对 Origin 两条都会失败。设置页把它挪到「通用」在后面的前端提交里。
 2026-10-16 10:18:12 +08:00
ThearchyHelios a05efbf27a 安全响应头：所有 HTTP 响应补 nosniff、Referrer-Policy 和 CSP frame-ancestors，页面只上报严格的 script-src 
以前服务端一个安全头都不发，任何站点都能把 AgentLab 嵌进 iframe：同站门户（Lax 会话 cookie 会随请求带上）和关登录的部署
都有被点击劫持的可能，也没有「允许谁嵌」的白名单可配。

- 新增 app/web_security.py，纯 ASGI 中间件，main.py 里加在最外层：CORS 预检、登录检查自己回的 401 / 403 也带上；
  WebSocket 不经过它；接口自己设过的同名头（文件下载的 nosniff）不覆盖、不重复
- frame-ancestors 缺省只有 'self'，这时另加 X-Frame-Options: SAMEORIGIN；AGENTLAB_FRAME_ANCESTORS 配了同站门户的白名单时
  只发 CSP（XFO 写不了白名单，两个都发会让只认 XFO 的老浏览器把门户也拦掉）
- 分享页 /s 只认 AGENTLAB_EMBED_ORIGINS、Referrer-Policy 用 no-referrer。分享链接第 3 波才加，这一波先把配置读进来、
  头的规则写好
- 严格的 script-src 先只发 Content-Security-Policy-Report-Only：mount_web 启动时给构建产物 index.html 里的内联主题
  脚本算 sha256，只在页面响应上发；接口返回的 HTML（导出的报告自带 meta CSP）不发、不动。观察一个版本没有误报再强制执行
- HSTS 交给终结 https 的反向代理
- 两个白名单只收「协议://主机[:端口]」（可以 *. 开头），带路径、裸 *、没写协议的启动时就报错；deploy/agentlab.env 写明
  两个变量和缺省行为

测试 tests/test_web_security.py：页面、/api、中间件自己的 401、CORS 预检都带头；白名单生效时不发 XFO；/s 的规则；
上报策略只在页面上、哈希对得上；已有的头不重复；WebSocket 不受影响；白名单写错启动报错；子进程起真实的 app.main 核对
环境变量接线。
 2026-10-16 10:17:37 +08:00
ThearchyHelios c86e58f464 README 与部署说明：应用（怎么生成、能做哪几类、视图与印章、流程与待办、写外部系统、入站钩子、按新口径补算、升级安全）、身份与权限（三种登录方式、会话、找回、角色与授权、使用者的问数据、遮罩的边界）、能力登记与端点、助手按需查看；默认不开登录的说法、核心能力表、数据目录与遮罩、节点类型、安全边界、检查项（33 项另加 check-auth）、从旧版本升级；部署配置模板加登录一节 2026-10-14 22:12:01 +08:00
ThearchyHelios 78f24dfe3f Docker 镜像内置 microVM：构建时装好运行时、预拉沙箱镜像；deploy.sh 检测到 KVM 先试启动一台，起得来才交给容器；没有 KVM 时服务端不再选 microVM 
- microvm_sandbox：Linux 上 available() 要求 /dev/kvm 存在且可读写，不可用时给出具体原因（没装、运行时没装、没有 KVM、没有权限）
- 新增 app.sandbox.selftest：真起一台 VM 执行一行代码，部署脚本用它判断
- Dockerfile：WITH_MICROVM（默认 1）构建期 install 并 pull python:3.12-slim，自带的 msb、libkrunfw 改为链接，镜像约多 150 MB
- deploy.sh：ENABLE_MICROVM=auto|0|1，有 KVM 时用临时容器试启动，成功才加 --device /dev/kvm 和所属组；部署完和 status 打印实际用的沙箱
- package-docker.sh：--no-microvm；部署说明、配置模板、README 同步
 2026-09-30 11:19:25 +08:00
ThearchyHelios 6af4e396b9 生产部署：prod.sh 直接运行，package-docker.sh 打 Docker 离线包（镜像 + 一键部署脚本 + 配置 + 说明） 
- 服务端可以托管前端构建产物（AGENTLAB_WEB_DIST）：页面路由回退到 index.html，/api 下不存在的路径照旧是 JSON 404，
  挡住路径穿越；index.html 不缓存，assets/ 带哈希的文件长缓存；没设时行为完全不变
- scripts/prod.sh：不用 Docker 的生产运行。按需构建前端，单进程、不热重载，默认只听本机，--host 开放到局域网并提示没有登录
- Dockerfile（多阶段构建，Linux 镜像）：前端在构建机架构上构建，运行阶段用 python:3.12-slim，依赖装进独立的 venv，
  以非 root 用户（uid 10001）运行，数据在 /data，带健康检查；.dockerignore 排除 .env、data/、各种库文件，镜像里实测没有密钥和数据库
- scripts/package-docker.sh：构建指定平台的镜像（默认按本机架构，可选 linux/amd64），打成
  release/agentlab-<版本>-linux-<架构>.tar，里面有 image.tar、deploy.sh、agentlab.env、README.md、SHA256SUMS
- deploy/deploy.sh：目标机上只依赖 Docker，离线可用。install / start / stop / restart / status / logs / upgrade / uninstall；
  检查架构和配置，自动导入镜像，替换容器时保留旧容器以便回退，数据永远保留，日志轮转
- 修正 bubblewrap 的可用性判断：以前只看有没有装 bwrap，容器里和 Ubuntu 24.04 默认配置下装了却建不了命名空间，
  每次执行代码都失败；现在真起一次试，不能用就退回下一个后端，并写明原因
- README 增加「生产部署」一节，部署细节见 deploy/README.md
 2026-09-30 09:48:16 +08:00