yilunjiang/AgentLab
1
0
Fork 0
mirror of https://github.com/ThearchyHelios/AgentLab.git synced 2026-11-15 17:12:00 +00:00
Code Issues Packages Projects Releases Wiki Activity
579 Commits 4 Branches 0 Tags
89a4bc8cfcfbc7ddf27461aa0f00a77d8be16102
Commit Graph

10 Commits

Author SHA1 Message Date
ThearchyHelios a3058e7df8 复核套件骨架（后端）：先把后续几个工作包要用的位置占好，各包只改自己的文件。节点类型加双盲复算 dual_check、反方审稿 challenge，执行器是占位（记一条 info 日志后跳过，产出 skipped 和原因），校验按普通节点走，叫法进 labels，暂不写进助手的节点说明。出具契约留一个通用口子：成果节点上游任何节点产出里的 issuance_gaps（字符串列表）收进缺口，前面加上「节点类型「节点名」：」，出具随之降档、不会升档；只认这个成果的上游，写坏的条目跳过。路由先登记 schedules、compare、bundle、inquiry、whatif 五个空前缀，挂在 /api/runs 下的四个排在 runs.router 之前，以后加固定路径不会被 /{run_id} 吃掉。定时任务的调度先放空的 start / stop，AGENTLAB_SCHEDULER 默认开、0 / false / off 关，写进设置；启动时开着才 start，测试环境默认关 2026-10-04 23:40:20 +08:00
ThearchyHelios 6af4e396b9 生产部署：prod.sh 直接运行，package-docker.sh 打 Docker 离线包（镜像 + 一键部署脚本 + 配置 + 说明） 
- 服务端可以托管前端构建产物（AGENTLAB_WEB_DIST）：页面路由回退到 index.html，/api 下不存在的路径照旧是 JSON 404，
  挡住路径穿越；index.html 不缓存，assets/ 带哈希的文件长缓存；没设时行为完全不变
- scripts/prod.sh：不用 Docker 的生产运行。按需构建前端，单进程、不热重载，默认只听本机，--host 开放到局域网并提示没有登录
- Dockerfile（多阶段构建，Linux 镜像）：前端在构建机架构上构建，运行阶段用 python:3.12-slim，依赖装进独立的 venv，
  以非 root 用户（uid 10001）运行，数据在 /data，带健康检查；.dockerignore 排除 .env、data/、各种库文件，镜像里实测没有密钥和数据库
- scripts/package-docker.sh：构建指定平台的镜像（默认按本机架构，可选 linux/amd64），打成
  release/agentlab-<版本>-linux-<架构>.tar，里面有 image.tar、deploy.sh、agentlab.env、README.md、SHA256SUMS
- deploy/deploy.sh：目标机上只依赖 Docker，离线可用。install / start / stop / restart / status / logs / upgrade / uninstall；
  检查架构和配置，自动导入镜像，替换容器时保留旧容器以便回退，数据永远保留，日志轮转
- 修正 bubblewrap 的可用性判断：以前只看有没有装 bwrap，容器里和 Ubuntu 24.04 默认配置下装了却建不了命名空间，
  每次执行代码都失败；现在真起一次试，不能用就退回下一个后端，并写明原因
- README 增加「生产部署」一节，部署细节见 deploy/README.md
 2026-09-30 09:48:16 +08:00
ThearchyHelios 3e311ec551 第三波收尾：跨模块整合、全站扫尾、检查脚本整合；网页工具认得本机代理的 fake-ip 
整合（3c-integrate）
- 公共层：跨天时长（formatSpan / formatOffset / formatLapse）、本机署名（lib/actor）、检索分类色令牌、
  数据源目录（useDatasources）收进公共层；失败说明能一次列出多个写坏的自定义工具，查询超时指到数据源的查询时限
- 管理页收尾：设置页接入统一的离开前确认；检查脚本不再把沙箱里的真实值打进输出
- 画布 ↔ 右栏：点出具印章、点节点能跳到右栏对应位置；「定位」直接聚焦到出问题的字段
- 回答流 / 问数据 / 记录页：失败信息带「去哪修」且不再被翻译两遍；协作团队的结局按执行截取；
  等审批时断流重连、而运行已在空档里跑完的，补全事件

扫尾（3c-sweep）
- 术语统一：开始运行 / 继续运行、工作流最大步数；未保存的运行统一叫「未保存的工作流」（后端新运行同步）
- 沙箱报错不再带 Python 异常类名；新增 check-tokens，未定义的 CSS 变量为 0，两个旧别名迁移后删除

检查脚本（3c-checks）
- check-ui 跟上新界面（运行列表按 data 属性找行），加上令牌与选中态的回归断言，输出里的名字打码
- 新增 check-all：按顺序跑全部检查、汇总退出码，--repeat 列出偶发项
- 单节出错只记这一节失败、不再带崩整个脚本；外壳遥测浮层「重新检测」时焦点不再掉到 body

网页工具与 fake-ip
- Clash / mihomo 一类代理开 TUN + fake-ip 时，查什么都先拿到 198.18 段的假地址，被当成内网拦截。
  新增 AGENTLAB_HTTP_TOOL_FAKE_IP_RANGES（默认空）：落在段里的解析结果改向公共 DNS（DoH）核实真实地址，
  公网放行、内网照拦、核实不了按拦截处理。DoH 默认先问境外的，境内公共 DNS 会对被封锁的域名返回污染结果
- 列表型环境变量接受逗号分隔（原来注释说逗号分隔、实际只认 JSON 数组）；域名解析改为异步，不再阻塞事件循环

验证（沙箱）：tsc 干净，pytest 866 passed（两遍），检查脚本全绿。
 2026-09-27 23:37:32 +08:00
ThearchyHelios 5928cc052e 三道只配不管的护栏开始干活：运行时限、模型超时、清单核对 
显示成生效却没生效，比明说没有更危险——它让人以为有东西在兜底。

1. max_run_seconds 只存在于配置和设置接口里，没有任何代码执行它：一个挂住的
   模型或工具能把运行和它占着的并发名额一直拖着。现在 runner 用 asyncio.timeout
   强制执行，按"一段执行"计（等人工审批时 _drive 已结束，不算）；超时判 failed、
   说清是哪道上限，可以接着跑。别处抛的 TimeoutError 不冒充这道上限（看
   Timeout.expired()）。

2. 模型调用从来没设过超时：ModelSpec.timeout 从没被赋值，那条传参分支一次都没
   执行过，所有调用走 SDK 默认的 10 分钟外加重试。新增 model_timeout_seconds
   （默认 300 秒）作为缺省，节点显式配的仍优先；已确认 ChatAnthropic / ChatOpenAI
   都接这个参数。

3. manifest 哈希只写不验，而且是在 run.finished 落库之前算的——清单里恰恰少了
   宣布"跑完了、成果是什么"的那条，改成果清单照样对得上。现在终态事件落库之后
   再封存，并记下封到哪一条（manifest_seq，新列）；新增 verify_manifest 与
   GET /api/runs/{id}/verify，运行详情页加了核对按钮。封存之后追加的事件不算篡改。
   老运行没有 manifest_seq，按当时的口径还原范围——开发库里 300 条带哈希的历史
   运行全部核对通过（成功 / 失败 / 取消各类都有），没有一条误报。

设置页「运行环境」补上单次执行时限和模型调用超时两项，README 加了对应的常见问题。

顺带修了一个被 _seal 放大的老问题：_drive 的收尾被打断时（关停取消、库连接出错）
漏掉 _tasks.pop，留下的任务让下一次 shutdown 的 gather 在别的事件循环里抛
"future belongs to a different loop"——测试里表现为每八九轮一次、一出就是几十个
teardown error。pop 移进内层 finally，shutdown 只等未结束的任务并清空。修后全量
连跑 12 轮 12 轮全绿。

test_guardrails.py 8 例：超时中止（挂住的节点 1 秒后被停下）、缺省模型超时、封存覆盖
run.finished、改成果被戳穿、事后追加不误报、老运行按旧口径核、中断态未封存、接口
404。414 → 422 passed。
 2026-09-25 15:59:32 +08:00
ThearchyHelios 4057cdc35f 步数用尽时先收个尾，别把半截过程当答案交出去 
走到步数上限一定意味着最后那步**要求了工具**（不要工具的话循环早 break 了），
也就是说模型从来没拿到过"说结论"的那一轮——它只是被掐断在半路。交出去的
是它上一句中间过程的话，末尾补一句"步数不够，请调大"。

实测这条线是绷紧的：库里 116 个 agent 节点，87% 在 10 步内收口，11 步只有
1 个，**正好 12 步的有 11 个**。1 跳到 11 是被截断的特征，不是自然分布。

所以补上那一轮：不给工具，让它基于已经查到的收口，并说清哪些没查到、
结论因此有什么局限。用 base_model 而不是绑过工具的 model——收尾轮必须在
结构上发不出 tool_call，靠提示词请它别调是约束不住的。

两种收场发不同的 code：收上来了是 step_limit_settled（DEGRADED），
收不上来仍是 step_limit（BROKEN）。不复用同一个 code：库里那 8 条老事件
的含义确实是硬截断，改语义等于把历史运行重新解释成另一回事。

顺带修掉一个一直在白烧钱的 bug：chat.ts:440 的注释说自动重试能"调大最大
步数"，而 copilot.py 明确禁止模型写 max_steps。两边对不上，于是 step_limit
的重试是用同一个默认 12 再跑一遍，必然撞同一堵墙。现在那条禁令改成有条件
的——只有上一次死于步数不够时才准显式写大值。改完两条路各自成立：收尾
成功走 DEGRADED，闸门不开、不重试（对的，同配置再跑还是撞墙）；收尾失败
仍是 BROKEN，而这次 Copilot 真能把步数调大。

硬顶 25 → 100，画布滑块跟着放开，**节点默认仍是 12**：要更多的人调得动，
不知情的人不会突然多花十倍。

新增 tests/test_agent_steps.py，顺带补回 agent 循环的集成测试（原来那个
文件在脱敏那轮被整个删掉了）。两条反向断言是重点：正常收口的 agent 一次
调用都不该多花，以及收尾轮发不出工具调用。两者都做过变异验证——把收尾
结果丢弃、把收尾轮换成绑工具的 model，各自都能让对应的断言变红。

273 passed（去掉一个会真连 api.openai.com 的既有慢测试是 238 passed / 9.4s）。
 2026-09-24 16:38:26 +08:00
ThearchyHelios 6a46e4b55c 大文件传得进来了：分批算向量、上传转后台、边读边数大小 
压测量出来的三个问题，10MB 文本（切 7914 段）：

    上传耗时  150s（本地哈希）   换成 Qwen3-Embedding-4B 要 40 分钟以上
    而这 150 秒是压在一个 HTTP 请求里同步跑完的

浏览器和反向代理的默认超时都在 60 秒上下，也就是 5MB 以上的文件用户必然
看到超时——而后端其实还在跑，跑完文档也确实入了库。界面显示失败、数据其实
成功，比直接拒绝还糟。

**分批算向量。** 原来 ingest 是 embed_texts(pieces) 一次全发。本地哈希只是慢，
换成远端模型就是必挂：近八千段一次请求塞不下（OpenAI 单次上限 2048）。
reindex 那边早就分批了，ingest 这条一直漏着——而我上一轮刚把"换真模型"做成
设置页里点两下的事。

**上传转后台。** create_document / process_document 拆开，上传立刻返回
status=processing，切块和算向量在后台跑，进度写回文档行，前端轮询显示
"正在切块并算向量… 4288/7914 段"。实测上传返回 0.07 秒。

进度这件事返工过一次：先用另一个 session 单独写，结果整个过程界面上都是空的、
只在结束时闪一下——SQLite 只允许一个写者，主事务开着的时候那次写被堵住了。
改成主事务自己按批提交，顺手把进度写进去。

失败要写回 failed，否则永远停在"处理中"转圈。服务重启时也把残留的
processing 收尾成 failed——和 runner 对 running 的 run 是同一个道理。

**边读边数大小。** 原来是 raw = await file.read() 读完再判断，传个 1GB 的
文件内存在报 413 之前就吃掉了——那个检查拦的是"入库"，不是"占内存"。改成
按块读、超了立刻停。上限从写死的 10MB 变成配置项，默认 50MB。

端到端验过：10MB 上传返回 0.07s，后台进度 768→1472→…→7914 实时可见，
最终 ready / 7914 段。
 2026-09-20 09:47:02 +08:00
ThearchyHelios a16cdf3ab1 修两条 critical：文件工具可读任意路径、并发代码节点互相覆盖 
## 文件工具可读任意文件（含加密主密钥）

sandbox_session 从请求体直接拼进工作区路径，没有任何净化。传 ".." 就能把
根目录挪出工作区，之后 _resolve 的越界检查是在这个被挪走的根下做的，等于失效：

  curl -X POST /api/tools/file_read/run -d '{"sandbox_session":"..","args":{"path":".secret_key"}}'
  → {"ok":true,"content":"8UygDbx9..."}    # 加密所有 provider Key 的 Fernet 主密钥

根因是同一段净化逻辑被抄了五遍：四个沙箱后端各一份，文件工具那份漏抄了。
所以提到 config.sanitize_session 统一一份，五处共用；RunToolIn.sandbox_session
再加 pattern 做纵深防御——畸形 session 直接 422，而不是悄悄净化成 default。

## 并发代码节点互相覆盖入口脚本

同一 run 的节点共用一个沙箱会话，而入口脚本写死 main.py。README 主打的
"连线即并行"会让并排的代码节点在同一 superstep 并发执行，都写 main.py 就
互相覆盖——后写的赢，每个节点却都拿到 ok=True 和"自己的"返回值。

  8 路并发同 session：7/8 执行了别人的代码，error 全为 None

改成每次执行生成唯一入口脚本（__entry_<uuid>.py），跑完即删。共享工作区语义
保留，跨节点传文件照常。四个后端同构改造，实测 8/16 路并发均 0 串味。

## 顺带修掉两个自己埋的坑

- conda 迁移把沙箱解释器隔离弄丢了：conda 环境 sys.prefix == sys.base_prefix，
  于是"干净解释器"挑出来的就是项目环境自己，沙箱代码能 import cryptography
  直接解密落库的 Key。改成实际探测候选解释器是否看得见敏感包，都不干净就
  退回 -S 关掉 site-packages。README 那句承诺现在重新成立了。
- -I 在 3.11+ 隐含 -P，脚本目录不进 sys.path，代码节点的 files 参数（多文件）
  在 seatbelt/bubblewrap 下一直是坏的，import helper 直接 ModuleNotFoundError。
  换成 -s -E，隔离意图不变，同目录 import 恢复。
- microvm 的 files_written 取 FsEntry.name（不存在），塞进去的是对象 repr。
  改取 path 的尾段。

沙箱回归 16 项通过（两档各 8 项）。
 2026-09-14 15:22:58 +08:00
ThearchyHelios 7d00c24ab1 microVM 沙箱后端：内存限额终于真限得住，但网络关不干净 
Seatbelt 在 macOS 上最难受的缺口是 RLIMIT_AS 不被强制——设 256MB 仍能分配
900MB。microVM 不是"更严格的访问控制"，是换了一类边界：宿主 Darwin 27.0.0，
VM 里 Linux 6.12.99（libkrunfw），PID 1 是 init.krun，/Users 根本不存在，
free 只看得见 512MB。申请 900MB 会被 OOM killer 杀掉而 VM 照常存活。

实现按实测契约写，不按别的 SDK 的惯例推断：create() 直接返回已启动的
Sandbox，没有 handle/connect 两层；cwd/env/timeout 都是 exec 的原生参数；
超时抛 ExecTimeoutError 而不是返回非零码。

必须写明的缺口：network=false 时 HTTP/HTTPS 与域名解析都断得掉，但 UDP/53
拦不住，手写 DNS 包仍能拿到真实响应。default_egress=DENY、Rule.deny_dns()、
显式 deny UDP、max_connections=0 全试过都堵不上——deny_dns 生成的规则只针对
宿主，DNS 出口在 microsandbox 网络栈里是硬编码放行的。所以 health 里 network
标成 partial 而不是 true，设置页对应显示黄色「部分生效」：拦了一半要是显示成
全绿，比显示成全红更危险。

成本也照实说：首次拉 OCI 镜像实测 54.5s，之后热启动 0.19s、执行 7~30ms。
贵的只是第一次，所以 auto 在镜像没缓存时先用 Seatbelt，不让人干等一分钟；
显式选 strict 档不受此限——那是使用者自己要的硬隔离。

端到端 17 项验证通过：隔离、内存拦截、超时 124、退出码透传、多文件与 env、
会话间互不可见、VM 回收。Seatbelt 那档回归未受影响。
 2026-09-14 14:10:10 +08:00
ThearchyHelios dd57c12016 沙箱改用系统自带的隔离原语，移除 Docker 依赖 
跑一段不可信代码不需要一整套容器运行时。macOS 用 Seatbelt
（sandbox-exec，系统自带），Linux 用 bubblewrap；冷启动从 ~250ms
降到 ~25ms，且不再需要装任何东西。

守住三件事：默认断网、家目录不可读、只有工作区可写。策略由内核
强制且对子进程继承——沙箱内 subprocess 出来的 cat 读家目录同样是
Operation not permitted。解释器改用 sys.base_prefix 下那个干净的
Python，沙箱代码因此 import 不到后端的 FastAPI、SQLAlchemy 和凭据
处理代码。

如实标注能力边界，不给虚假的安全感：
- macOS 不强制 RLIMIT_AS，内存限不住（实测设 256MB 仍可分配 900MB），
  health 接口申报 enforced 字段，界面把限不住的项划掉
- Seatbelt 是访问控制而非虚拟化：进程表共享，以当前用户身份运行
- bubblewrap 侧多隔离 PID/IPC/挂载视图，内存限额真实生效

顺带修两个 bug：
- LocalSandbox 设 RLIMIT_NPROC=64 会误伤——macOS 上它按 uid 全局
  计数，用户已有上千进程时沙箱内任何 fork 都失败，连 bash 都起不来
- 模型所属 provider 被停用时，原先静默换一家继续用原模型名，必然
  404 且报错指不到原因；改为直接说清是哪个 provider 被停用了

写 SBPL 的坑记在注释里：(deny default) 会让 Python 直接 SIGABRT，
改用「默认允许 + 精确拒绝」。

7 个模板全部回归通过。
 2026-09-13 18:04:36 +08:00
ThearchyHelios 964eeaa829 AgentLab：可视化 Agent 编排实验台 
在画布上拖拽编排 agent 工作流，并实时看着它执行。

后端 FastAPI + LangGraph：把画布 JSON 编译成 StateGraph，15 种节点
（模型/Agent/多Agent、工具/沙箱、分支/循环/子图、记忆/检索/整形、
人工介入/结构校验）。选 LangGraph 是因为可视化编排真正难的是暂停、
恢复和回放，而 checkpointer + interrupt() 正好把这几件事做在了底层。

前端 React + React Flow：节点元数据驱动属性面板与连接桩，运行时
节点高亮、边流动画、卡片内流式 token 全部由同一份事件流驱动。

关键实现：
- Agent 内工具审批用 @task 缓存模型调用，interrupt 重放时不重复计费
- 沙箱保持只读根文件系统，代码经 exec+base64 写入（put_archive 会被
  只读容器拒绝），断网、非 root、内存/CPU/超时限额
- 检索为向量与 BM25 混合，本地哈希 embedding 零配置可用
- 分支条件走 AST 白名单求值器；HTTP 工具逐 IP 拦截内网与元数据地址
- Mock provider 让无 API Key 也能跑通完整链路

7 个内置模板全部冒烟通过，含真实模型端到端验证。
 2026-09-13 17:27:00 +08:00