题集定时的测试不依赖同进程里的数据源个数(同 843be9a5 对评测执行测试的做法):题目是不限数据源的问数据题,评测按全部启用的数据源拍目录快照,别的测试留下的数据源超过上限时整次评测按设计失败,状态成了 failed 而不是 partial(全量并行时分到同一个进程复现);这里不测这个上限,把上限放大

This commit is contained in:
ThearchyHelios
2026-10-21 18:30:08 +08:00
parent 94a6eb9c64
commit 5d53ed7332
+6 -1
View File
@@ -39,7 +39,12 @@ URL = "https://hooks.example.com/agentlab/eval-7c2a"
@pytest.fixture(autouse=True) @pytest.fixture(autouse=True)
async def engine_up(): async def engine_up(monkeypatch):
# 题目是不限数据源的问数据题:评测按全部启用的数据源拍目录快照。同一个测试进程里别的测试建的数据源可能超过它的上限
# (app/eval/snapshots.MAX_SOURCES),评测会按设计报「数据源超过 20 个」整次失败——这里不测这个上限(同 test_eval_runner)
from app.eval import snapshots
monkeypatch.setattr(snapshots, "MAX_SOURCES", 10_000)
await run_manager.setup() await run_manager.setup()
async with SessionLocal() as session: async with SessionLocal() as session:
await session.execute(delete(Schedule)) await session.execute(delete(Schedule))