mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-17 00:51:58 +00:00
6a46e4b55c
压测量出来的三个问题,10MB 文本(切 7914 段):
上传耗时 150s(本地哈希) 换成 Qwen3-Embedding-4B 要 40 分钟以上
而这 150 秒是压在一个 HTTP 请求里同步跑完的
浏览器和反向代理的默认超时都在 60 秒上下,也就是 5MB 以上的文件用户必然
看到超时——而后端其实还在跑,跑完文档也确实入了库。界面显示失败、数据其实
成功,比直接拒绝还糟。
**分批算向量。** 原来 ingest 是 embed_texts(pieces) 一次全发。本地哈希只是慢,
换成远端模型就是必挂:近八千段一次请求塞不下(OpenAI 单次上限 2048)。
reindex 那边早就分批了,ingest 这条一直漏着——而我上一轮刚把"换真模型"做成
设置页里点两下的事。
**上传转后台。** create_document / process_document 拆开,上传立刻返回
status=processing,切块和算向量在后台跑,进度写回文档行,前端轮询显示
"正在切块并算向量… 4288/7914 段"。实测上传返回 0.07 秒。
进度这件事返工过一次:先用另一个 session 单独写,结果整个过程界面上都是空的、
只在结束时闪一下——SQLite 只允许一个写者,主事务开着的时候那次写被堵住了。
改成主事务自己按批提交,顺手把进度写进去。
失败要写回 failed,否则永远停在"处理中"转圈。服务重启时也把残留的
processing 收尾成 failed——和 runner 对 running 的 run 是同一个道理。
**边读边数大小。** 原来是 raw = await file.read() 读完再判断,传个 1GB 的
文件内存在报 413 之前就吃掉了——那个检查拦的是"入库",不是"占内存"。改成
按块读、超了立刻停。上限从写死的 10MB 变成配置项,默认 50MB。
端到端验过:10MB 上传返回 0.07s,后台进度 768→1472→…→7914 实时可见,
最终 ready / 7914 段。
130 lines
4.7 KiB
Python
130 lines
4.7 KiB
Python
from __future__ import annotations
|
|
|
|
from functools import lru_cache
|
|
from pathlib import Path
|
|
|
|
from pydantic_settings import BaseSettings, SettingsConfigDict
|
|
|
|
BACKEND_DIR = Path(__file__).resolve().parents[2]
|
|
PROJECT_DIR = BACKEND_DIR.parent
|
|
|
|
# session_id 拼进路径前必须过这一关。允许的字符刻意收得很窄:字母数字加
|
|
# 连字符下划线——点号也不放行,免得出现 ".." 这种能往上走的名字。
|
|
_SESSION_MAX = 64
|
|
|
|
|
|
def sanitize_session(session_id: str | None) -> str:
|
|
"""把任意字符串收敛成一个能安全当目录名的 token。
|
|
|
|
以前这段逻辑在四个沙箱后端里各抄了一遍,而文件工具那条路径漏抄了,
|
|
结果 sandbox_session 传 ".." 就能读到工作区外的文件(连加密主密钥都
|
|
读得到)。所以统一收到这里,只此一份。
|
|
"""
|
|
safe = "".join(c for c in (session_id or "") if c.isalnum() or c in "-_")
|
|
return safe[:_SESSION_MAX] or "default"
|
|
|
|
|
|
class Settings(BaseSettings):
|
|
"""全局配置。所有项都可以用 AGENTLAB_ 前缀的环境变量覆盖。"""
|
|
|
|
model_config = SettingsConfigDict(
|
|
env_prefix="AGENTLAB_",
|
|
env_file=(PROJECT_DIR / ".env", BACKEND_DIR / ".env"),
|
|
extra="ignore",
|
|
)
|
|
|
|
# --- 服务 ---
|
|
host: str = "127.0.0.1"
|
|
port: int = 8000
|
|
cors_origins: list[str] = ["http://localhost:5273", "http://127.0.0.1:5273"]
|
|
|
|
# --- 存储 ---
|
|
data_dir: Path = PROJECT_DIR / "data"
|
|
|
|
# --- 密钥加密 ---
|
|
# 用于加密落库的 provider api key。留空则自动生成并存到 data_dir/.secret_key。
|
|
secret_key: str = ""
|
|
|
|
# --- 沙箱 ---
|
|
sandbox_backend: str = "auto" # auto | microvm | seatbelt | bubblewrap | local | off
|
|
sandbox_timeout: int = 30
|
|
sandbox_memory_mb: int = 512
|
|
sandbox_cpus: float = 1.0
|
|
sandbox_network: bool = False
|
|
sandbox_max_output: int = 20_000
|
|
|
|
# --- microVM(硬件级隔离,独立内核)---
|
|
# 跑代码用的 OCI 镜像。首次使用会拉取并缓存到 ~/.microsandbox。
|
|
microvm_image: str = "python:3.12-slim"
|
|
# microVM 是长驻的:同一 session 的多次执行复用同一台,省掉重复冷启动。
|
|
# 空闲超过这个秒数就回收,避免闲置 VM 一直占着内存。
|
|
microvm_idle_seconds: int = 300
|
|
# 单次启动(含首次拉镜像)的等待上限
|
|
microvm_boot_timeout: int = 300
|
|
|
|
# --- 执行引擎护栏 ---
|
|
max_run_seconds: int = 600
|
|
max_graph_steps: int = 200
|
|
max_agent_steps: int = 25
|
|
#: 上传文件的大小上限(MB)。原来写死 10,而且是读完整个文件才检查——
|
|
#: 传一个 1GB 的文件,内存在报 413 之前就吃掉了
|
|
max_upload_mb: int = 50
|
|
max_concurrent_runs: int = 20
|
|
|
|
# --- 工具 ---
|
|
http_tool_timeout: int = 20
|
|
http_tool_max_bytes: int = 2_000_000
|
|
# 逗号分隔的域名白名单;为空表示不限制(仅拦截内网地址)
|
|
http_tool_allowlist: list[str] = []
|
|
|
|
@property
|
|
def db_path(self) -> Path:
|
|
return self.data_dir / "agentlab.db"
|
|
|
|
@property
|
|
def db_url(self) -> str:
|
|
return f"sqlite+aiosqlite:///{self.db_path}"
|
|
|
|
@property
|
|
def checkpoint_path(self) -> Path:
|
|
"""LangGraph checkpointer 用独立的库文件,避免和业务表抢写锁。"""
|
|
return self.data_dir / "checkpoints.db"
|
|
|
|
@property
|
|
def workspace_dir(self) -> Path:
|
|
"""沙箱与文件工具的可写根目录,一切文件访问都被限制在这里面。"""
|
|
return self.data_dir / "workspace"
|
|
|
|
def session_dir(self, session_id: str | None, *, sub: str = "") -> Path:
|
|
"""会话工作目录。session_id 一律先净化再拼路径。
|
|
|
|
这个函数存在的理由:session_id 有些调用点是外部可控的(工具 API 的
|
|
请求体就能指定),拿它直接拼路径就等于把工作区根目录交给调用方摆布,
|
|
后面再怎么做越界检查都是在被挪走的根下面做的,形同虚设。
|
|
"""
|
|
safe = sanitize_session(session_id)
|
|
root = (self.workspace_dir / (sub or "") / safe).resolve()
|
|
base = self.workspace_dir.resolve()
|
|
# 净化之后理应不可能跑出去,这里再断言一次:这条路径值得多一道保险
|
|
if root != base and base not in root.parents:
|
|
raise ValueError(f"非法的 session 目录:{session_id!r}")
|
|
return root
|
|
|
|
@property
|
|
def uploads_dir(self) -> Path:
|
|
return self.data_dir / "uploads"
|
|
|
|
def ensure_dirs(self) -> None:
|
|
for d in (self.data_dir, self.workspace_dir, self.uploads_dir):
|
|
d.mkdir(parents=True, exist_ok=True)
|
|
|
|
|
|
@lru_cache
|
|
def get_settings() -> Settings:
|
|
s = Settings()
|
|
s.ensure_dirs()
|
|
return s
|
|
|
|
|
|
settings = get_settings()
|