 ThearchyHelios
|
124e1c0f49
|
评测逐题比 SQL 和账本同一个口径：传报告引用了哪几列（ledger/match.referenced_of），整条比不等价时按引用的列投影再比；「多查了几列」那一条不算差在哪个方面
|
2026-10-17 12:29:20 +08:00 |
|
|
ThearchyHelios
|
06c1e8bd25
|
逐题 E1 比产出答案的那条查询：答案没引用、又查了几条时不再硬比第一条
真实模型验收里，答案没有引用查询时逐题 SQL 比对取了第一条相关的查询，取到的往往是探索查询（看看有哪些地区那种），
「差在筛选条件」和答案的数毫无关系。现在 score.sql_match 先定哪条是产出答案的（_answering）：答案引用了查询就比被
引用的那几条；没引用、这次运行（核查用的不算）只查了一条，答案的数只可能来自它，按它比、结果里写明依据
（basis=only_query）；没引用、查了几条的不比，照实写「答案没有引用查询，这次运行执行了 N 条查询，没法对上是哪条
产出了答案」，记「没比对」、不计入 E1。答案引用的只有合并查询时也照实写没法比。
评测页逐题明细在依据是「只查了这一条」时写一句说明（文案在 termsEval 的 sqlMatchBasis，类型加 basis）。
算第 2 版评分规则的一部分：老评测按新规则重新评分时逐题 E1 跟着重比。
测试：test_eval_score.py::test_the_per_case_sql_match_compares_the_query_behind_the_answer（先探地区再查销售额、
答案没引用：不比；只查一条、答案没引用：按它比并写明依据；去掉修复回跑失败——修复前比的正是探地区的那条）。
|
2026-10-17 11:33:35 +08:00 |
|
|
ThearchyHelios
|
f5204277aa
|
评测判错时「答案里的数」给配对上的那一格，配不上照实写配不上
真实模型验收里，退款金额那道题判错后「答案里的数」显示成了答案里的订单数 36，还出现过显示一格问题原文的：
_score_scalar 判错时取答案引用的第一个值，不看是哪一列，也不看是不是数。现在只在数值格里找和这一项配对上的那一格——
列名（或口径卡的指标）是期望取的那一列、那个指标，或者和期望的说明同名；名字配不上时，期望写了维度、维度对得上的数
恰好只有一个也算配上。配不上就不给「答案里的数」，原因里写「答案引用的数按列名、维度都配不上这一项（引用了 单数 36）」；
答案里只有文字格、没有数的写「答案里没有对得上的数」。
算第 2 版评分规则的一部分（SCORER_VERSION 已在上一个提交升到 2）。
测试：test_eval_score.py::test_a_wrong_answer_shows_the_paired_cell（按列名、按说明、按维度配上；只有订单数、同一行
几个数都配不上、只有文字格；去掉修复回跑失败）。
|
2026-10-17 11:31:05 +08:00 |
|
|
ThearchyHelios
|
c103055c2a
|
评测「期望没有数据」的题：引用文字格、空值格不再算给了数
真实模型验收里，答案写「华中区没有数据」、引用了地区那一格（或者一格 NULL），评分把它当成「给了数」判错。
_score_none 以前只要答案里有引用值就判错，不看引用的是什么。现在「给了数」只认引用的数值格和叙述里写的数：
文字格（地区名这种维度）、空值格不是数，答案说的仍是没有数据，按没有数据判（有查询返回 0 行的照旧算可追溯）。
判错时照实给出是哪一格或哪个数。
评分规则升到第 2 版（SCORER_VERSION = 2），老评测可以按新规则重新评分（只读封存，不调模型）。
测试：test_eval_score.py::test_none_counts_only_numbers_as_giving_data（只引用文字格、引用 NULL、引用数值格、
叙述里写了数四种；去掉修复回跑，前两种判错、测试失败）。
|
2026-10-17 11:29:06 +08:00 |
|
|
ThearchyHelios
|
a0cdb16617
|
重评时把评分规则版本记进指纹；去掉几处没用的导入
为什么：按新规则重评之后，和别的评测比时「评分规则」那一项要照实标出变了；总表上另记重评的时间。
|
2026-10-16 17:11:09 +08:00 |
|
|
ThearchyHelios
|
e29adf80d0
|
评测执行的测试：执行、评分、统计与对比、清理、定时与通知
为什么：照细案 01 的测试清单把这一波的行为钉住，顺带修了跑测试时撞出来的两处。
- test_eval_runner：后台排队、并发不超过 max_parallel 也不超过全局并发的四分之一、同一题集同时只能一次、停止后只重做
没做完的（评完的不动）、重启标中断不续跑、单次金额上限触顶不再开新题、评测每日账单独记（不占裁判、核查的额度）、
连续 3 题助手调用失败止损、每题超时取消正在跑的运行、停在审批上的作答取消掉（评测不代批）、接口的估算与进度、设置里
eval 一组和 /settings/eval/spend
- test_eval_score：五种结论、写出精度和百分数、维度配对与弱匹配、多行 / 名单 / 没有数据 / 反问、路径和期望先于数字、
dual 两版、允许的相对误差和双盲复算是同一个函数；读封存的答案、逐题 E1 用账本的比对函数；重评只读封存、不调模型
- test_eval_stats：Wilson、精确 McNemar、P50/P90 和手算对照；总表的各项；转移与四种归因；指纹差异；配对表；选基准
- test_eval_cleanup：保留规则；forget 只删一条引用都不剩的文件；清理后总表还在、结果和底下的运行删掉、共用的工件留着
- test_eval_schedule：定时接口收题集（拒工作流、输入模板、Webhook）、到点建一次评测并写 eval_run_id、重叠跳过、错过的按
宽限补；有退步推「评测有退步」、没评完推「评测失败」，消息里没有期望值和答案里的数
- test_eval_e2e 补：开评拍目录快照、记表结构前后；打开裁判时结论裁判走按需裁判那条路、花费记在评测账上，文字要点单列
- 修：期望反问的题在建图、运行失败（含超时）时把原因写全；改非工作流目标的定时任务时提交后不再读过期对象
|
2026-10-16 16:49:47 +08:00 |
|