mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-17 00:01:59 +00:00
2b9dcc55e3
- db/models_eval.py:EvalSuite、EvalCase、EvalRun、EvalResult 一次定全(第 3 波的执行、评分直接用),另加
EvalCatalogSnapshot 登记目录快照(谁、何时、来源、影子起草的进度和用量)。EvalResult.job_id 是 eval_run_id 的
别名:后台任务运行时的收尾按 task_model.job_id 认逐项。预算缺省按评测-D9(同时 2 题、每题 900 秒、单次 2 美元、
每日 5 美元),这一波只定字段。
- app/ledger/derive.py:全站唯一的「从钉住版本派生只读图」的生成器(总方案 X3)。这一波实现口径探针:拷出口径卡读
的取数节点(id、配置、图级 defaults 原样)+ caliber_from 固定到那一版的口径卡;只认可复用的源头卡,取数节点只许
引用入口字段,别的照实拒收。对账(这次的取数 + 口径 + 对账卡)、召回(新旧两版带前缀、caliber_from.nodes 改名
映射)的扩展点写在模块说明里,assemble / caliber_block 直接可用。
- app/eval/cases.py、suites.py:题目和题集的形状与校验。数值期望不许人填(评测-D4,写了 value 一类的键一律拒收),
文字要点单列、不计入准确率;只做单轮(评测-D12,history 必须为空);变量只认定时任务那份 {{ schedule.* }};
题目指纹去掉确认人、出处运行、升版处置这些记录项。
- app/eval/gold.py:SQL 题、口径题、从运行认定三种期望。每次都以来源 eval、只读 + 遮罩的探索运行重算,期望值取封存的
查询快照(或口径卡的指标集);只读守卫拒写语句、用到遮罩列的拒收(认法同证据面板的派生遮罩)、取不到值 / 失败 /
超时 / 停在人工确认上各写各的原因。口径升版用和正式运行同一个 unresolved_caliber_upgrades 判、退役按
subgraph_pin_problems 判,待处置就跳过;recompute / dual / incomparable 三选一、没有缺省。作答前后各算一次
(bracket / settle)给第 3 波的执行调。
- app/eval/snapshots.py:目录快照存成 kind=eval_catalog_snapshot 的内容寻址工件(读法即 data/catalog_view.py 定的
那一种);影子起草是不占数据源队的后台任务,起草写进内存里的目录副本,不调 write_entry、不碰线上目录、不查业务库,
只起草题集用得到的表,开始前估算花费;停止、出错的不出快照。
- data/catalog_draft.py 只加入口 run_shadow_draft(同一个起草引擎,唯一不同是不去业务库数有效行过滤的排除比例);
data/catalog.py 把写库前的并入抽成纯函数 merge_draft、建起草模型抽成 build_draft_model(行为不变,影子起草和写库
用同一套并入规矩、同一个模型建法)。
107 lines
5.3 KiB
Python
107 lines
5.3 KiB
Python
"""题集的形状与校验(细案 01 做法 7、17;评测-D9)。
|
||
|
||
题集:name(必填)、description、timezone(题目里的 {{ schedule.* }} 按它算)、default_variant(发起评测时缺省用的变体,
|
||
第 3 波解析;这里只要求是对象)、budget(只存改过的项)、archived。改题集带上读到的 version(乐观锁,接口回 409)。
|
||
|
||
**预算**(评测-D9,用户拍板):缺省见 db/models_eval.DEFAULT_BUDGET——同时 2 题、每题 900 秒、单次评测 2 美元、评测每日
|
||
5 美元。daily_max_usd 是评测那本账(engine/spend 的第三本,第 3 波接上)的当日上限:评测单独记账,不挤占裁判、核查的额度。
|
||
这一波只定字段和取值范围,执行(预留、找补、触顶不再开新题)在第 3 波。
|
||
"""
|
||
from __future__ import annotations
|
||
|
||
from collections.abc import Mapping
|
||
from typing import Any
|
||
|
||
from app.db.models_eval import DEFAULT_BUDGET
|
||
from app.eval.cases import CaseInvalid
|
||
|
||
#: 题集不合规(422)的机器码
|
||
SUITE_INVALID = "eval_suite_invalid"
|
||
|
||
NAME_MAX = 200
|
||
DESCRIPTION_MAX = 2000
|
||
#: 变体存成 JSON:太大的多半是传错了东西
|
||
VARIANT_MAX = 20_000
|
||
|
||
#: 预算每一项的取值范围:(说法, 整数还是金额, 下限, 上限)。下限都大于 0:0 美元、0 秒的上限只会让评测一题都开不了
|
||
BUDGET_RULES: dict[str, tuple[str, type, float, float]] = {
|
||
"max_parallel": ("同时评几道题", int, 1, 8),
|
||
"per_case_timeout_s": ("每题时限(秒)", int, 30, 7200),
|
||
"per_run_max_usd": ("单次评测的金额上限(美元)", float, 0.01, 1000),
|
||
"daily_max_usd": ("评测每日的金额上限(美元)", float, 0.01, 10_000),
|
||
}
|
||
|
||
|
||
def _invalid(message: str, field: str) -> CaseInvalid:
|
||
return CaseInvalid(message, field, SUITE_INVALID)
|
||
|
||
|
||
def normalize_budget(raw: Any) -> dict[str, Any]:
|
||
"""题集里改过的预算项 → 规范化(只留认识的、和缺省不同的)。"""
|
||
if raw in (None, {}):
|
||
return {}
|
||
if not isinstance(raw, Mapping):
|
||
raise _invalid("预算需要是一个对象", "budget")
|
||
unknown = sorted(set(raw) - set(BUDGET_RULES))
|
||
if unknown:
|
||
raise _invalid(f"预算里不认识这些项:{'、'.join(unknown)}(认识的:{'、'.join(BUDGET_RULES)})", f"budget.{unknown[0]}")
|
||
out: dict[str, Any] = {}
|
||
for key, value in raw.items():
|
||
label, kind, low, high = BUDGET_RULES[key]
|
||
if value is None:
|
||
continue
|
||
ok = not isinstance(value, bool) and isinstance(value, (int, float)) and (kind is float or isinstance(value, int))
|
||
if not ok or not low <= value <= high:
|
||
unit = "整数" if kind is int else "数"
|
||
raise _invalid(f"{label}需要是 {low:g} 到 {high:g} 之间的{unit}", f"budget.{key}")
|
||
value = kind(value)
|
||
if value != DEFAULT_BUDGET[key]:
|
||
out[key] = value
|
||
if out.get("per_run_max_usd", DEFAULT_BUDGET["per_run_max_usd"]) > \
|
||
out.get("daily_max_usd", DEFAULT_BUDGET["daily_max_usd"]):
|
||
raise _invalid("单次评测的金额上限不能高于评测每日的上限", "budget.per_run_max_usd")
|
||
return out
|
||
|
||
|
||
def effective_budget(stored: Mapping[str, Any] | None) -> dict[str, Any]:
|
||
"""生效的预算:缺省加上题集改过的项。"""
|
||
return {**DEFAULT_BUDGET, **{k: v for k, v in (stored or {}).items() if k in DEFAULT_BUDGET}}
|
||
|
||
|
||
def normalize_suite(body: Mapping[str, Any], *, current: Mapping[str, Any] | None = None) -> dict[str, Any]:
|
||
"""请求体(改的时候和库里的合起来:没带的项照旧)→ 题集各列的值。不合规抛 CaseInvalid(code=eval_suite_invalid)。"""
|
||
from app.core.artifact_store import canonical_json
|
||
from app.scheduler import cron
|
||
|
||
if not isinstance(body, Mapping):
|
||
raise _invalid("题集需要是一个对象", "name")
|
||
cur = dict(current or {})
|
||
|
||
def pick(key: str, default: Any = None) -> Any:
|
||
return body[key] if key in body else cur.get(key, default)
|
||
|
||
name = pick("name", "")
|
||
name = name.strip() if isinstance(name, str) else ""
|
||
if not name:
|
||
raise _invalid("请填写题集的名称", "name")
|
||
if len(name) > NAME_MAX:
|
||
raise _invalid(f"题集的名称不能超过 {NAME_MAX} 个字符", "name")
|
||
description = pick("description", "") or ""
|
||
if not isinstance(description, str) or len(description.strip()) > DESCRIPTION_MAX:
|
||
raise _invalid(f"说明需要是不超过 {DESCRIPTION_MAX} 个字符的文字", "description")
|
||
try:
|
||
timezone = cron.timezone_name(pick("timezone", "Asia/Shanghai") or "")
|
||
except cron.TimezoneError as e:
|
||
raise _invalid(str(e), "timezone") from e
|
||
variant = pick("default_variant", {}) or {}
|
||
if not isinstance(variant, Mapping) or len(canonical_json(variant)) > VARIANT_MAX:
|
||
raise _invalid("默认变体需要是一个对象", "default_variant")
|
||
archived = pick("archived", False)
|
||
if not isinstance(archived, bool):
|
||
raise _invalid("是否归档需要是 true 或 false", "archived")
|
||
return {"name": name, "description": description.strip(), "timezone": timezone, "default_variant": dict(variant),
|
||
"budget": normalize_budget(pick("budget", {})), "archived": archived}
|
||
|
||
|
||
__all__ = ["BUDGET_RULES", "SUITE_INVALID", "effective_budget", "normalize_budget", "normalize_suite"]
|