 ThearchyHelios
|
271bc6e782
|
口径标签逐格判：引用了好几列的查询，每个数按它自己那一格标
真实模型下问「上周的销售额是多少」，助手写 SUM(amount) AS 销售额, COUNT(*) AS 订单数, MIN / MAX(paid_date) AS 区间首日 /
末日，报告四列都引用了，口径「周销售」只取 SUM(amount)。按「全部引用列」投影后还是 4 列，对不上口径的 1 列，整条比、
四个数都标相关口径，说明整段兜底。
- ledger/match._cells / _cell（algo 4）：整条（含按全部引用列投影）没证明、又引用了这条查询两列以上的，被引用的每一列单独
投影到那一列，和每份口径的每个指标读的那一列（card_reads；口径版本没有口径卡的按取数的每一列）逐个比，仍只走
match_template / explain_sql_diff，上次的投影规则照用：投影不了（分组列、DISTINCT……）、过了时限、不可比的格照用整条
查询的那一个候选。结果记在 queries[].cells {列名: {status, candidates}}，另记 one_row（sql_semantics.one_row：不分组的
聚合，一定只出一行）。整条这一层的结论、候选一字不改；老工件没有 cells，照旧按整条读。
- ledger/labels：单元格按它那一格的结论标（_view）；指标用了同一条查询的好几格时，只有那条查询一定只出一行才把逐格的
结论合起来用（多行的结果里每一列各自对得上，不等于每一行的几列一起对得上）。整题照拍板 L1 不变：每个数都证明来自
同一份口径才等价；一格证明了、别的格只是相关的整题不等价，原因写「有的数和相关口径不一致，不来自口径」（以前一律说
「这次的推理」）。出具入口照 ledger/issue 现有判法只在整题等价时给，没有放宽。
- 逐格证明了的口径各处都算上（labels.candidates_of）：工件 meta 的 calibers（召回按旧版本反查）、ledger/uses 的使用记录、
召回时找原答案对应的那一格、E4；E1 另数各种结论各几格（cells），E2 的兜底比例按标签上给人看的那一份说明数。
- GET /runs/{id}/ledger 的 queries 带上逐格的 cells（遮罩同候选）；证据片段的 ledger 键、轮次摘要的计数本来就按每个数的
标签，数据变了、形状不变。前端只补类型；check-ledger 加一段：同一条查询一格来自口径（正文挂小标记）、一格相关（差在哪
先说多查了几列），整题不等价不给出具。
- 评测逐题比 SQL（eval/score.sql_match）取和期望配上的那一格（score.matched_cells：评分时配上的格），没给时取逐格证明了
的那一格；结果带 column。runner、rescore 传它。
测试：tests/test_ledger_cells.py（同一条查询一列等价、一列不等价各自标对；两份口径只证明了一份标那一份；口径多个指标按列
配对；指标跨两格只在一行的查询上用逐格结论；分组列、DISTINCT 逐格也不投影；照真实例子造的虚构库真跑一遍：销售额标等价
已证明，订单数、首末日标相关，整题不等价、不给出具、不自动出具，证据片段的 ledger 键一致；评测取配上的那一格）。去掉逐格
再跑，10 条失败；去掉「一行才合起来用」、去掉评测取格，各 1 条失败。
|
2026-10-17 13:07:19 +08:00 |
|
|
ThearchyHelios
|
124e1c0f49
|
评测逐题比 SQL 和账本同一个口径：传报告引用了哪几列（ledger/match.referenced_of），整条比不等价时按引用的列投影再比；「多查了几列」那一条不算差在哪个方面
|
2026-10-17 12:29:20 +08:00 |
|
|
ThearchyHelios
|
06c1e8bd25
|
逐题 E1 比产出答案的那条查询：答案没引用、又查了几条时不再硬比第一条
真实模型验收里，答案没有引用查询时逐题 SQL 比对取了第一条相关的查询，取到的往往是探索查询（看看有哪些地区那种），
「差在筛选条件」和答案的数毫无关系。现在 score.sql_match 先定哪条是产出答案的（_answering）：答案引用了查询就比被
引用的那几条；没引用、这次运行（核查用的不算）只查了一条，答案的数只可能来自它，按它比、结果里写明依据
（basis=only_query）；没引用、查了几条的不比，照实写「答案没有引用查询，这次运行执行了 N 条查询，没法对上是哪条
产出了答案」，记「没比对」、不计入 E1。答案引用的只有合并查询时也照实写没法比。
评测页逐题明细在依据是「只查了这一条」时写一句说明（文案在 termsEval 的 sqlMatchBasis，类型加 basis）。
算第 2 版评分规则的一部分：老评测按新规则重新评分时逐题 E1 跟着重比。
测试：test_eval_score.py::test_the_per_case_sql_match_compares_the_query_behind_the_answer（先探地区再查销售额、
答案没引用：不比；只查一条、答案没引用：按它比并写明依据；去掉修复回跑失败——修复前比的正是探地区的那条）。
|
2026-10-17 11:33:35 +08:00 |
|
|
ThearchyHelios
|
f5204277aa
|
评测判错时「答案里的数」给配对上的那一格，配不上照实写配不上
真实模型验收里，退款金额那道题判错后「答案里的数」显示成了答案里的订单数 36，还出现过显示一格问题原文的：
_score_scalar 判错时取答案引用的第一个值，不看是哪一列，也不看是不是数。现在只在数值格里找和这一项配对上的那一格——
列名（或口径卡的指标）是期望取的那一列、那个指标，或者和期望的说明同名；名字配不上时，期望写了维度、维度对得上的数
恰好只有一个也算配上。配不上就不给「答案里的数」，原因里写「答案引用的数按列名、维度都配不上这一项（引用了 单数 36）」；
答案里只有文字格、没有数的写「答案里没有对得上的数」。
算第 2 版评分规则的一部分（SCORER_VERSION 已在上一个提交升到 2）。
测试：test_eval_score.py::test_a_wrong_answer_shows_the_paired_cell（按列名、按说明、按维度配上；只有订单数、同一行
几个数都配不上、只有文字格；去掉修复回跑失败）。
|
2026-10-17 11:31:05 +08:00 |
|
|
ThearchyHelios
|
c103055c2a
|
评测「期望没有数据」的题：引用文字格、空值格不再算给了数
真实模型验收里，答案写「华中区没有数据」、引用了地区那一格（或者一格 NULL），评分把它当成「给了数」判错。
_score_none 以前只要答案里有引用值就判错，不看引用的是什么。现在「给了数」只认引用的数值格和叙述里写的数：
文字格（地区名这种维度）、空值格不是数，答案说的仍是没有数据，按没有数据判（有查询返回 0 行的照旧算可追溯）。
判错时照实给出是哪一格或哪个数。
评分规则升到第 2 版（SCORER_VERSION = 2），老评测可以按新规则重新评分（只读封存，不调模型）。
测试：test_eval_score.py::test_none_counts_only_numbers_as_giving_data（只引用文字格、引用 NULL、引用数值格、
叙述里写了数四种；去掉修复回跑，前两种判错、测试失败）。
|
2026-10-17 11:29:06 +08:00 |
|
|
ThearchyHelios
|
df6c3ce10d
|
定时页照实显示非工作流目标；评测停止时几臂一起收尾；工作流题的测试
为什么：这一波后端开始接受评测题集、数据源维护这两种定时目标（总方案 X4），定时页要能把它们照实列出来、点进去
不报错；界面上不能有点了没用的入口。
- 定时页列表：非工作流目标写种类（评测题集 / 数据源维护）和目标名，不标运行类别，「编辑」写成「查看」
- 详情：非工作流目标的设置只读地列出名称、目标、频率、时区、补发宽限，不出工作流那张表单（选工作流、输入模板、
Webhook 对它们不适用）；页头的启用、立即运行、删除和触发历史照常
- 立即运行发起的是一次评测时说「已发起一次评测」（以前会落到「未能发起运行」）；触发历史写评测的编号
- types.ts：Schedule 加 target_kind / target_id / target_label / target_name / target_exists，触发记录加 eval_run_id；
文案进 SCHEDULE_TEXT
- check-schedules 加一段「目标不是工作流的定时任务」
- runner：还没准备好就被停下、出错时，按 pair_id 找全几臂一起收尾
- 测试：工作流题按钉住版本跑探索运行（不发正式运行、不建图）；钉住基线的接口
- 后端几句给人看的话按文案规范改（不用「跑」「钉」）
|
2026-10-16 17:04:05 +08:00 |
|
|
ThearchyHelios
|
e29adf80d0
|
评测执行的测试：执行、评分、统计与对比、清理、定时与通知
为什么：照细案 01 的测试清单把这一波的行为钉住，顺带修了跑测试时撞出来的两处。
- test_eval_runner：后台排队、并发不超过 max_parallel 也不超过全局并发的四分之一、同一题集同时只能一次、停止后只重做
没做完的（评完的不动）、重启标中断不续跑、单次金额上限触顶不再开新题、评测每日账单独记（不占裁判、核查的额度）、
连续 3 题助手调用失败止损、每题超时取消正在跑的运行、停在审批上的作答取消掉（评测不代批）、接口的估算与进度、设置里
eval 一组和 /settings/eval/spend
- test_eval_score：五种结论、写出精度和百分数、维度配对与弱匹配、多行 / 名单 / 没有数据 / 反问、路径和期望先于数字、
dual 两版、允许的相对误差和双盲复算是同一个函数；读封存的答案、逐题 E1 用账本的比对函数；重评只读封存、不调模型
- test_eval_stats：Wilson、精确 McNemar、P50/P90 和手算对照；总表的各项；转移与四种归因；指纹差异；配对表；选基准
- test_eval_cleanup：保留规则；forget 只删一条引用都不剩的文件；清理后总表还在、结果和底下的运行删掉、共用的工件留着
- test_eval_schedule：定时接口收题集（拒工作流、输入模板、Webhook）、到点建一次评测并写 eval_run_id、重叠跳过、错过的按
宽限补；有退步推「评测有退步」、没评完推「评测失败」，消息里没有期望值和答案里的数
- test_eval_e2e 补：开评拍目录快照、记表结构前后；打开裁判时结论裁判走按需裁判那条路、花费记在评测账上，文字要点单列
- 修：期望反问的题在建图、运行失败（含超时）时把原因写全；改非工作流目标的定时任务时提交后不再读过期对象
|
2026-10-16 16:49:47 +08:00 |
|
|
ThearchyHelios
|
2371e75f17
|
评测执行的主干：后台评测、无头作答、评分、统计、对比与 A/B、清理（下一轮第 3 波 W3-c 第一段）
为什么：第 2 波只有题集和期望答案的来源，评测本身跑不起来。这一段把细案 01 做法 9–12、16、17 的后端接上，
量的是用户在问数据页拿到的同一轮，而不是另抄一份编排。
- eval/answer.py：无头作答，串起 answer_ops → chat/turn 的决定 → launch_run(origin=eval，带目录视图、只读、遮罩)
→ 等终态（停在审批的取消、记「评测不代批」；驳回记路径「被驳回」）→ review_of_run → 按同一规则重来一次；
工作流题按钉住版本的图跑探索运行（不发正式运行，免得被 pick_base 和应用视图取到）。用量按角色记
- eval/runner.py：用 core/job_runtime，一次评测一个任务，题 × 重复 × 臂一项；A/B 几臂共用期望、同一题同时开跑；
开评拍目录快照、记上传表格版本和表结构哈希的前后；并发不超过 max_parallel 和全局并发的四分之一；每题时限；
评测单独一本账（开跑前估算、每题预留后找补、触顶不再开新题）；止损；能停、只重试没做完的、重启标中断不续跑
- eval/score.py：六种期望、五种结论（量纲不同单列）、维度配对与弱匹配、路径不对直接不通过、口径 dual 两版都报；
逐题 E1 用口径账本的 compare_queries（总方案 X2，不另写 signals）；SCORER_VERSION 可重评（eval/rescore.py，只读封存）
- eval/judging.py：结论裁判走按需裁判同一条路（evidence._judge_now），文字要点由裁判判、单列不计准确率；花费经
judge.charged_to 记在评测那本账上（engine/judge.py 只加了一个上下文变量和取账本的一处）
- eval/stats.py、eval/compare.py：准确率与可追溯准确率 + Wilson 区间、各项分布、P50/P90、按角色成本、引用率、逐题 E1；
选基准、逐题转移与归因、指纹差异、A/B 配对表与精确 McNemar；「目录贡献」预设对照（当前 vs 关，可加只用已核实）
- eval/cleanup.py + core/artifact_store.forget：保留最近 N 次 + 钉住的基线 + A/B 另几臂，删结果、明细工件、底下的运行和
引用行，工件文件一条引用都不剩才删；总表永久保留
- engine/tolerance.py：双盲复算的 _agree / _delta_pct 原样搬来共用（dual_check 改 import，行为不变）
- 设置加 eval 一组（builder 读、admin 写）和 GET /api/settings/eval/spend；题集预算在全站缺省上覆盖，每日上限只能往下收
- api/evals.py：发起（单臂 / A/B / 目录贡献预设）、估算、进度、逐题、停止、重试、重评、钉基线、和上一次比、配对表、清理
- main.py 的 lifespan：影子起草和评测的启动整理、关停（评测先于运行停，停时取消自己发起的运行）
- 测试：test_eval_e2e（dual_check_shop + 剧本模型：按支付日 330 通过且 SQL 等价，按下单日 310 不通过、差在 time；
目录对照 1:0；和上一次比找到退步、归因做法变）；通知事件、定时接口形状的老测试按新事件和新字段更新
|
2026-10-16 16:38:09 +08:00 |
|