评测的模块说明补分析期望:judgements.py 管什么、有分析期望的题集开评时拍一份分析设置(算期望、作答都按它,记进指纹,别的题集不拍)

This commit is contained in:
ThearchyHelios
2026-10-21 18:23:57 +08:00
parent 9358d9ec48
commit 078c2c4d97
2 changed files with 5 additions and 0 deletions
+2
View File
@@ -8,6 +8,8 @@
- answer.py:无头地走一遍问数据页那一轮(answer_ops → chat/turn 的决定 → 运行 → 复核 → 要的话重来一次);
- runner.py:后台评测(并发、预算、止损、停止、只重试没做完的、重启标中断);
- score.py、judging.py、rescore.py:评分(五种结论、维度配对、逐题 E1)、结论裁判和文字要点(模型判断,单列)、按新规则重评;
- judgements.py:分析期望(贡献、判定):在期望 SQL 的结果上用平台的分析方法算期望的判定,答案里的分析结论和正文的判断词按
同一套判定类、同一张说法表比(docs/design/analysis-round/00-总方案.md §3.8);
- stats.py、compare.py:总表与区间、和上一次比、A/B 配对表与精确 McNemar;
- cleanup.py:按保留规则清理明细、回收工件;scheduled.py:题集的定时。
+3
View File
@@ -12,6 +12,9 @@ EvalResult:建评测时就全部建好(pending),进度、「正在做什
snapshot 视图):起草、剖析照常进行,也不影响这次评测的可比性。各数据源的上传表格版本、表结构哈希开始和结束各记一次,
变了在指纹里标出(sources_changed)。
**分析设置。** 题集里有分析期望(贡献、判定)的,开评时拍一份分析设置(判定用的阈值):算期望、各臂作答的运行都按这一份,
记进指纹(和上一次比时阈值变了照实标出),重试沿用。别的题集不拍,指纹、作答运行的选项和以前一样。
**并发。** 同时最多 max_parallel 题,且所有臂合起来不超过全局运行并发的四分之一。评测发起的作答、算期望的运行归「系统」类
(app/cluster/slots.py):全站的名额按类别有上限和优先级,评测再多也只占得到系统那一类的名额,问数据、试跑优先,不被挤占。
A/B 的同一题几臂同时开跑。每题时限 per_case_timeout_s:作答一臂超时就取消它正在跑的运行、记超时;