Files
AgentLab/backend/app/eval/suites.py
T
ThearchyHelios 2b9dcc55e3 评测题集与期望答案(第 2 波 W2-c)第一步:模型、派生图、期望的三种来源、目录快照与影子起草
- db/models_eval.py:EvalSuite、EvalCase、EvalRun、EvalResult 一次定全(第 3 波的执行、评分直接用),另加
  EvalCatalogSnapshot 登记目录快照(谁、何时、来源、影子起草的进度和用量)。EvalResult.job_id 是 eval_run_id 的
  别名:后台任务运行时的收尾按 task_model.job_id 认逐项。预算缺省按评测-D9(同时 2 题、每题 900 秒、单次 2 美元、
  每日 5 美元),这一波只定字段。
- app/ledger/derive.py:全站唯一的「从钉住版本派生只读图」的生成器(总方案 X3)。这一波实现口径探针:拷出口径卡读
  的取数节点(id、配置、图级 defaults 原样)+ caliber_from 固定到那一版的口径卡;只认可复用的源头卡,取数节点只许
  引用入口字段,别的照实拒收。对账(这次的取数 + 口径 + 对账卡)、召回(新旧两版带前缀、caliber_from.nodes 改名
  映射)的扩展点写在模块说明里,assemble / caliber_block 直接可用。
- app/eval/cases.py、suites.py:题目和题集的形状与校验。数值期望不许人填(评测-D4,写了 value 一类的键一律拒收),
  文字要点单列、不计入准确率;只做单轮(评测-D12,history 必须为空);变量只认定时任务那份 {{ schedule.* }};
  题目指纹去掉确认人、出处运行、升版处置这些记录项。
- app/eval/gold.py:SQL 题、口径题、从运行认定三种期望。每次都以来源 eval、只读 + 遮罩的探索运行重算,期望值取封存的
  查询快照(或口径卡的指标集);只读守卫拒写语句、用到遮罩列的拒收(认法同证据面板的派生遮罩)、取不到值 / 失败 /
  超时 / 停在人工确认上各写各的原因。口径升版用和正式运行同一个 unresolved_caliber_upgrades 判、退役按
  subgraph_pin_problems 判,待处置就跳过;recompute / dual / incomparable 三选一、没有缺省。作答前后各算一次
  (bracket / settle)给第 3 波的执行调。
- app/eval/snapshots.py:目录快照存成 kind=eval_catalog_snapshot 的内容寻址工件(读法即 data/catalog_view.py 定的
  那一种);影子起草是不占数据源队的后台任务,起草写进内存里的目录副本,不调 write_entry、不碰线上目录、不查业务库,
  只起草题集用得到的表,开始前估算花费;停止、出错的不出快照。
- data/catalog_draft.py 只加入口 run_shadow_draft(同一个起草引擎,唯一不同是不去业务库数有效行过滤的排除比例);
  data/catalog.py 把写库前的并入抽成纯函数 merge_draft、建起草模型抽成 build_draft_model(行为不变,影子起草和写库
  用同一套并入规矩、同一个模型建法)。
2026-10-16 13:49:53 +08:00

107 lines
5.3 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""题集的形状与校验(细案 01 做法 7、17;评测-D9)。
题集:name(必填)、description、timezone(题目里的 {{ schedule.* }} 按它算)、default_variant(发起评测时缺省用的变体,
第 3 波解析;这里只要求是对象)、budget(只存改过的项)、archived。改题集带上读到的 version(乐观锁,接口回 409)。
**预算**(评测-D9,用户拍板):缺省见 db/models_eval.DEFAULT_BUDGET——同时 2 题、每题 900 秒、单次评测 2 美元、评测每日
5 美元。daily_max_usd 是评测那本账(engine/spend 的第三本,第 3 波接上)的当日上限:评测单独记账,不挤占裁判、核查的额度。
这一波只定字段和取值范围,执行(预留、找补、触顶不再开新题)在第 3 波。
"""
from __future__ import annotations
from collections.abc import Mapping
from typing import Any
from app.db.models_eval import DEFAULT_BUDGET
from app.eval.cases import CaseInvalid
#: 题集不合规(422)的机器码
SUITE_INVALID = "eval_suite_invalid"
NAME_MAX = 200
DESCRIPTION_MAX = 2000
#: 变体存成 JSON:太大的多半是传错了东西
VARIANT_MAX = 20_000
#: 预算每一项的取值范围:(说法, 整数还是金额, 下限, 上限)。下限都大于 0:0 美元、0 秒的上限只会让评测一题都开不了
BUDGET_RULES: dict[str, tuple[str, type, float, float]] = {
"max_parallel": ("同时评几道题", int, 1, 8),
"per_case_timeout_s": ("每题时限(秒)", int, 30, 7200),
"per_run_max_usd": ("单次评测的金额上限(美元)", float, 0.01, 1000),
"daily_max_usd": ("评测每日的金额上限(美元)", float, 0.01, 10_000),
}
def _invalid(message: str, field: str) -> CaseInvalid:
return CaseInvalid(message, field, SUITE_INVALID)
def normalize_budget(raw: Any) -> dict[str, Any]:
"""题集里改过的预算项 → 规范化(只留认识的、和缺省不同的)。"""
if raw in (None, {}):
return {}
if not isinstance(raw, Mapping):
raise _invalid("预算需要是一个对象", "budget")
unknown = sorted(set(raw) - set(BUDGET_RULES))
if unknown:
raise _invalid(f"预算里不认识这些项:{'、'.join(unknown)}(认识的:{'、'.join(BUDGET_RULES)})", f"budget.{unknown[0]}")
out: dict[str, Any] = {}
for key, value in raw.items():
label, kind, low, high = BUDGET_RULES[key]
if value is None:
continue
ok = not isinstance(value, bool) and isinstance(value, (int, float)) and (kind is float or isinstance(value, int))
if not ok or not low <= value <= high:
unit = "整数" if kind is int else "数"
raise _invalid(f"{label}需要是 {low:g} 到 {high:g} 之间的{unit}", f"budget.{key}")
value = kind(value)
if value != DEFAULT_BUDGET[key]:
out[key] = value
if out.get("per_run_max_usd", DEFAULT_BUDGET["per_run_max_usd"]) > \
out.get("daily_max_usd", DEFAULT_BUDGET["daily_max_usd"]):
raise _invalid("单次评测的金额上限不能高于评测每日的上限", "budget.per_run_max_usd")
return out
def effective_budget(stored: Mapping[str, Any] | None) -> dict[str, Any]:
"""生效的预算:缺省加上题集改过的项。"""
return {**DEFAULT_BUDGET, **{k: v for k, v in (stored or {}).items() if k in DEFAULT_BUDGET}}
def normalize_suite(body: Mapping[str, Any], *, current: Mapping[str, Any] | None = None) -> dict[str, Any]:
"""请求体(改的时候和库里的合起来:没带的项照旧)→ 题集各列的值。不合规抛 CaseInvalid(code=eval_suite_invalid)。"""
from app.core.artifact_store import canonical_json
from app.scheduler import cron
if not isinstance(body, Mapping):
raise _invalid("题集需要是一个对象", "name")
cur = dict(current or {})
def pick(key: str, default: Any = None) -> Any:
return body[key] if key in body else cur.get(key, default)
name = pick("name", "")
name = name.strip() if isinstance(name, str) else ""
if not name:
raise _invalid("请填写题集的名称", "name")
if len(name) > NAME_MAX:
raise _invalid(f"题集的名称不能超过 {NAME_MAX} 个字符", "name")
description = pick("description", "") or ""
if not isinstance(description, str) or len(description.strip()) > DESCRIPTION_MAX:
raise _invalid(f"说明需要是不超过 {DESCRIPTION_MAX} 个字符的文字", "description")
try:
timezone = cron.timezone_name(pick("timezone", "Asia/Shanghai") or "")
except cron.TimezoneError as e:
raise _invalid(str(e), "timezone") from e
variant = pick("default_variant", {}) or {}
if not isinstance(variant, Mapping) or len(canonical_json(variant)) > VARIANT_MAX:
raise _invalid("默认变体需要是一个对象", "default_variant")
archived = pick("archived", False)
if not isinstance(archived, bool):
raise _invalid("是否归档需要是 true 或 false", "archived")
return {"name": name, "description": description.strip(), "timezone": timezone, "default_variant": dict(variant),
"budget": normalize_budget(pick("budget", {})), "archived": archived}
__all__ = ["BUDGET_RULES", "SUITE_INVALID", "effective_budget", "normalize_budget", "normalize_suite"]