定时评测的测试不依赖同进程里的数据源个数(同 843be9a5 对评测执行测试的做法):别的测试留下的数据源超过评测拍目录快照的上限时,评测在作答前就按设计失败,「连续 3 题止损、部分完成」那两条就判不出;加了几个测试文件、测试分进程的方式变了以后,全量时这两条稳定复现(把上限压到 0 也能复现)。这里的评测不测这个上限,夹具里把上限放大

This commit is contained in:
ThearchyHelios
2026-10-21 18:33:17 +08:00
parent ab65b6032d
commit f293904cdd
+6 -1
View File
@@ -39,7 +39,12 @@ URL = "https://hooks.example.com/agentlab/eval-7c2a"
@pytest.fixture(autouse=True)
async def engine_up():
async def engine_up(monkeypatch):
# 同 test_eval_runner:同一个测试进程里别的测试建的数据源可能超过评测拍目录快照的上限(app/eval/snapshots.MAX_SOURCES),
# 评测会按设计在作答前就失败(「数据源超过 20 个」),止损那两条就判不出「部分完成」。这里的评测不测这个上限
from app.eval import snapshots
monkeypatch.setattr(snapshots, "MAX_SOURCES", 10_000)
await run_manager.setup()
async with SessionLocal() as session:
await session.execute(delete(Schedule))