5 Commits

Author	SHA1	Message	Date
ThearchyHelios	709a50208a	合入第 2 波复核修复 S2、S5、S6：关分析工具那一臂挡分析卡与用了分析的子工作流、节点手册里不再出现分析；问题意图词表与自查那句进评测的提示词指纹；问题意图不把问构成当来源、不把问数据质量当异常	2026-10-21 16:22:21 +00:00
ThearchyHelios	eade5aab5d	关分析工具那一臂挡分析卡：图里有分析卡、嵌套的子工作流里有分析卡或分析工具都挡回去改；关掉时节点手册里不再出现分析卡、分析工具和分析相关的配置（改写与整段去掉）；问题意图词表版本与自查交回的那句进评测的提示词指纹；问题意图不把「哪个贡献最多」当来源、不把「数据是否正常」当异常；评测「关」那一臂的替身改成照样试着加分析卡、靠真代码挡	2026-10-21 16:19:49 +00:00
ThearchyHelios	454e82e211	分析测试的「今天」按题集的时区取，不看本机时区：题集里的期次（上周、本周）按 suite.timezone 算，生成虚构库、判今天是不是周一也照它，本机在别的时区（或跨午夜那几个钟头）时两边不是同一天 ... - test_eval_analysis_runs.py：TZ 从题集读，新增 now()（datetime.now(ZoneInfo(TZ))），生成库用 now().date()，原来写死的 Asia/Shanghai 去掉 - test_eval_analysis_suite.py：从题集内容取时区算今天，判周一也按它 - test_evals_api.py：零售样例题集的「今天」同样从题集取时区	2026-10-21 14:57:06 +00:00
ThearchyHelios	8a6ad0e7a2	评测变体加「分析工具」开 / 关（缺省开）和「分析工具贡献」预设对照：eval/variants 的变体多一项 analysis {tools: on | off}，只认这两个值、缺省开，不合规的照实拒（eval_variant_invalid，落到 variant.analysis）；analysis_tools(变体) 读开关，加这一项之前存下的变体按开。eval/answer.TurnContext 加 analysis_tools，Driver 透传给 chat/drive.TurnDriver（再到 api/copilot.answer_ops）：关的那一臂建图时工具清单不列分析工具、节点手册不讲分析卡；工作流题不建图，不受影响。同一变体（variant_key）认分析工具：开着时不写进去，和加这一项之前算出来的一样，以前的评测照样当基准、趋势线不断；关着时不同。指纹记 analysis_tools，对比的指纹差异写「分析工具：开 → 关」（老指纹里没有这一项的按开）；变体那一句写「分析工具开 / 关」，结果页、A/B、估算照它显示。api/evals 的预设对照加 analysis_tools（variants.analysis_tools_preset：开、关两臂，名字「分析工具开」「分析工具关」，别的项照 variant 或题集的缺省）。测试：变体规范化、拒收、同一变体指纹、变体那一句、预设两臂和 Driver 拿到的开关、估算与 A/B 拒收（test_eval_runner）；指纹差异的开、关和老指纹（test_eval_compare）；真运行的「分析工具贡献」对照（test_eval_analysis_runs：关的那一臂助手看到的 system 里没有分析工具和分析卡、作答运行里没有分析结论、算错，开的那一臂对且可追溯，两臂共用期望、指纹和同一变体都不同）	2026-10-21 19:32:38 +08:00
ThearchyHelios	83cd5da72e	虚构库 retail_trends 与分析题集：26 周的零售订单（截止昨天、固定种子），相对上一个整周埋了八个效应；题集 analysis_suite.json 每个效应一题，期望由平台的分析方法在期望 SQL 上算 ... - tests/fixtures/acceptance/retail_trends.py（python -m tests.fixtures.acceptance.retail_trends <db> [--today]，数据源名 retail_trends，不动 retail.py）：华东线下客单价降到七成带来的销售额下降（主要来自华东）；三成线下订单转到线上造成的退款率辛普森（各渠道都降、整体升，结构为主）；订单数的常规波动；取消单激增；线上销售额连涨十周以上；线上销售额的变化来自订单数；西南一家小店的退款率看着高但样本太少；本周没过完（和上周不可比，周一时本周还没有数据、那一题期望算不了）。订单数按店按周定好、金额在窄区间随机、退款按渠道比例挑，各效应不靠运气 - tests/fixtures/eval/analysis_suite.json：八道题，问法用使用者的说法（上周销售额为什么下降？退款率为什么上升了？上周订单数下降算不算异常？……），各配一个贡献或判定期望，订单数、取消单两题另配一个不必需的「一个数」 - 测试：同一个今天逐字节相同；四个不同的今天（周三、周日、周六、跨年）上用 app.analysis.run 按题集的期望 SQL 核对八个效应；周一那一题照实算不了；走接口导入题集、逐题试算，分析期望都算得出、判定和埋的效应一致；真运行的算期望（作答前后对得上、阈值按设置快照、参数对不上照实说）、读作答运行里的分析结论和引用、重评老结果、从头到尾评一题（助手剧本搭查库 → 分析卡 → 报告，对且可追溯、逐题 E1 等价已证明）	2026-10-21 18:12:12 +08:00