mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-15 00:51:59 +00:00
ThearchyHelios
2371e75f17
为什么：第 2 波只有题集和期望答案的来源，评测本身跑不起来。这一段把细案 01 做法 9–12、16、17 的后端接上， 量的是用户在问数据页拿到的同一轮，而不是另抄一份编排。 - eval/answer.py：无头作答，串起 answer_ops → chat/turn 的决定 → launch_run(origin=eval，带目录视图、只读、遮罩) → 等终态（停在审批的取消、记「评测不代批」；驳回记路径「被驳回」）→ review_of_run → 按同一规则重来一次； 工作流题按钉住版本的图跑探索运行（不发正式运行，免得被 pick_base 和应用视图取到）。用量按角色记 - eval/runner.py：用 core/job_runtime，一次评测一个任务，题 × 重复 × 臂一项；A/B 几臂共用期望、同一题同时开跑； 开评拍目录快照、记上传表格版本和表结构哈希的前后；并发不超过 max_parallel 和全局并发的四分之一；每题时限； 评测单独一本账（开跑前估算、每题预留后找补、触顶不再开新题）；止损；能停、只重试没做完的、重启标中断不续跑 - eval/score.py：六种期望、五种结论（量纲不同单列）、维度配对与弱匹配、路径不对直接不通过、口径 dual 两版都报； 逐题 E1 用口径账本的 compare_queries（总方案 X2，不另写 signals）；SCORER_VERSION 可重评（eval/rescore.py，只读封存） - eval/judging.py：结论裁判走按需裁判同一条路（evidence._judge_now），文字要点由裁判判、单列不计准确率；花费经 judge.charged_to 记在评测那本账上（engine/judge.py 只加了一个上下文变量和取账本的一处） - eval/stats.py、eval/compare.py：准确率与可追溯准确率 + Wilson 区间、各项分布、P50/P90、按角色成本、引用率、逐题 E1； 选基准、逐题转移与归因、指纹差异、A/B 配对表与精确 McNemar；「目录贡献」预设对照（当前 vs 关，可加只用已核实） - eval/cleanup.py + core/artifact_store.forget：保留最近 N 次 + 钉住的基线 + A/B 另几臂，删结果、明细工件、底下的运行和 引用行，工件文件一条引用都不剩才删；总表永久保留 - engine/tolerance.py：双盲复算的 _agree / _delta_pct 原样搬来共用（dual_check 改 import，行为不变） - 设置加 eval 一组（builder 读、admin 写）和 GET /api/settings/eval/spend；题集预算在全站缺省上覆盖，每日上限只能往下收 - api/evals.py：发起（单臂 / A/B / 目录贡献预设）、估算、进度、逐题、停止、重试、重评、钉基线、和上一次比、配对表、清理 - main.py 的 lifespan：影子起草和评测的启动整理、关停（评测先于运行停，停时取消自己发起的运行） - 测试：test_eval_e2e（dual_check_shop + 剧本模型：按支付日 330 通过且 SQL 等价，按下单日 310 不通过、差在 time； 目录对照 1:0；和上一次比找到退步、归因做法变）；通知事件、定时接口形状的老测试按新事件和新字段更新
46 lines
2.1 KiB
Python
46 lines
2.1 KiB
Python
"""两个数算不算对得上：「允许的相对误差」只有这一种比法（docs/design/next-round/01-效果度量与回归评测.md 做法 10）。
|
||
|
||
双盲复算（engine/nodes/dual_check.py）比原流程值和盲算值，评测（app/eval/score.py）比期望值和答案里的数，用的是同一个
|
||
函数、设置里也叫同一个名字「允许的相对误差」：两处各写一份，迟早一边改了另一边没改，同一对数在核查里算一致、在评测里
|
||
算错。所以从双盲复算里原样搬到这里（行为不变），两边都 import。
|
||
|
||
- agree：按相对误差比（|b − a| ≤ tolerance × |a|）；原值为 0 时按绝对误差（|b| ≤ tolerance）。值完全相等的直接算对得上
|
||
（文字也行）；有一边不是有限的数就对不上。
|
||
- delta_pct：相差比例，口径同运行对比：(b − a) ÷ |a| × 100，两位小数；原值为 0、有一边不是数时为 None。
|
||
"""
|
||
from __future__ import annotations
|
||
|
||
import math
|
||
from typing import Any
|
||
|
||
|
||
def is_finite_number(value: Any) -> bool:
|
||
"""有限的数（布尔不算，NaN、无穷不算）。"""
|
||
if not isinstance(value, (int, float)) or isinstance(value, bool):
|
||
return False
|
||
try:
|
||
return math.isfinite(value)
|
||
except OverflowError:
|
||
return False
|
||
|
||
|
||
def agree(original: Any, other: Any, tolerance: float) -> bool:
|
||
"""按相对误差比（原值为 0 时按绝对误差）。"""
|
||
if original == other:
|
||
return True
|
||
if not (is_finite_number(original) and is_finite_number(other)):
|
||
return False
|
||
if original == 0:
|
||
return abs(other) <= tolerance
|
||
return abs(other - original) <= tolerance * abs(original)
|
||
|
||
|
||
def delta_pct(original: Any, other: Any) -> float | None:
|
||
"""相差比例：(other − original) ÷ |original| × 100，两位小数；original 为 0 时为 None。"""
|
||
if not (is_finite_number(original) and is_finite_number(other)) or original == 0:
|
||
return None
|
||
return round((other - original) / abs(original) * 100, 2)
|
||
|
||
|
||
__all__ = ["agree", "delta_pct", "is_finite_number"]
|