ThearchyHelios
|
7b47ce1724
|
合入第 2 波复核修复 S1:分析结论的占比、变化率、比率之差按百分数 / 百分点显示——结果表带每列的显示格式、具名的数带格式,证据渲染、整表、写作目录、证据面板、导出、可验证报告都按它;显示规则 4 版,老文档按记下的版本复核;空格写「—」
# Conflicts:
# backend/tests/test_analysis_pages.py
|
2026-10-21 16:23:39 +00:00 |
|
ThearchyHelios
|
709a50208a
|
合入第 2 波复核修复 S2、S5、S6:关分析工具那一臂挡分析卡与用了分析的子工作流、节点手册里不再出现分析;问题意图词表与自查那句进评测的提示词指纹;问题意图不把问构成当来源、不把问数据质量当异常
|
2026-10-21 16:22:21 +00:00 |
|
ThearchyHelios
|
eade5aab5d
|
关分析工具那一臂挡分析卡:图里有分析卡、嵌套的子工作流里有分析卡或分析工具都挡回去改;关掉时节点手册里不再出现分析卡、分析工具和分析相关的配置(改写与整段去掉);问题意图词表版本与自查交回的那句进评测的提示词指纹;问题意图不把「哪个贡献最多」当来源、不把「数据是否正常」当异常;评测「关」那一臂的替身改成照样试着加分析卡、靠真代码挡
|
2026-10-21 16:19:49 +00:00 |
|
ThearchyHelios
|
316863b2e0
|
零售样例题集的试算:退款金额两边都按两位小数比(SQLite 的 ROUND(SUM(amount), 2) 出来是浮点,6448.19 存成 6448.1900000000005,逐字比会随数据变而失败;main 上同样失败)
|
2026-10-21 16:19:28 +00:00 |
|
ThearchyHelios
|
e225fcdd2c
|
合入第 2 波复核修复 S3、S7、S8、S10、P1:分析卡上写在验证什么的那句照实说是模板作者写的、分析步骤的编号写明是哪一层、证据面板的格写列名与总数按服务端渲染、注释归位、窄屏收起工具栏的改名图标
|
2026-10-21 16:17:20 +00:00 |
|
ThearchyHelios
|
74ab9d57f2
|
工作流工具栏:窄屏收起改名图标。768 宽、失败的运行加未保存加两枚芯片时,顶栏最右的控件伸到 791px、出了视口(main 上 3c5c9d3c 给名字旁边加的那枚铅笔)。照其它次要按钮的做法在窄于 880px 的容器里收起来,改名在「切换工作流」的列表里照样有。check-studio 加两条:窄屏工具栏上看不到它、列表里有
|
2026-10-21 16:08:55 +00:00 |
|
ThearchyHelios
|
3311fead7f
|
check-runs 的「有出处」一组不再写死三行:第 2 波 S1 起报告多引了变化率、比重、一处没写换算的具名的数和整表展开的几格,行数照夹具里审计的「有出处」一组数对
|
2026-10-21 15:59:56 +00:00 |
|
ThearchyHelios
|
28e7b0e12b
|
测试:占比、变化率、权重按百分数显示(第 2 波 S1)——每种实测情况一条断言:正文引用 [[a:A1.top_share]]、[[v:A1.r0.share]]、[[v:A1.r0.pct]] 没写换算时取结论记的格式(61.9%、-14.6%),写了换算的照写作者的;整表按格式展开;写作目录的具名的数与结果表按格式写;证据面板接口的具名的数、结果表的格、整体比率那一格(空格写「—」);导出页与可验证报告照引用渲染;老文档(3 版)照原样、复核不判对不上,按新规则重渲染才判对不上。另钉住各算子填了哪些列、pct 与 pp 的写法、同输入两次 run 逐字节相同、复算逐字段相同
|
2026-10-21 15:55:51 +00:00 |
|
ThearchyHelios
|
851506761c
|
文档:分析结论里的占比、变化率由系统按百分数显示,比率的变化按百分点,写作者照常引用、不用自己写换算(写了照他的)。分析能力、证据与出具两份文档的中英各补一句,标题层级不动,check-docs 0 问题
|
2026-10-21 15:55:41 +00:00 |
|
ThearchyHelios
|
d3ba6de882
|
证据面板的前端夹具按第 2 波 S1 重新录制(真跑一次,模型换成脚本):报告里多引了两处没写换算的格(变化率 [[v:A1.r0.pct]]、比重 [[v:A1.r0.share]])、一处没写换算的具名的数([[a:A1.top_share]]),另展开一张 [[table:A1 cols=region,delta,pct,share rows=0-1]],文档记 cell_display: 4;计算一步的具名的数、结果表按结论记的格式写(88.2%、-30.0%),比率拆解的整体比率写成 3.5%。check-evidence 补四条:具名的数 88.2% 而不是 0.8823529412、结果表 -30.0%、没写换算的引用与整表按格式写、空格是「—」不是 null
|
2026-10-21 15:55:32 +00:00 |
|
ThearchyHelios
|
31ed7a96f3
|
证据面板的计算一步照服务端写好的字显示:具名的数按结论记的格式(占比 61.9%,不再写 0.618556701031)、结果表的格同样(变化率 -14.6%),空格写「—」不写 null;列类型照结果表的 column_types。比率拆解的整体比率那一格和对照的那一格也按格式写(3.5%,不是 0.035)。前端照原样显示(只补一句说明)
|
2026-10-21 15:55:20 +00:00 |
|
ThearchyHelios
|
55376fd332
|
引用分析结论时没写换算的按结论记的格式渲染(显示规则 4 版):[[v:A1.r0.share]]、[[a:A1.top_share]] 取这一列 / 这个数的格式(占比、变化率按百分数,比率的变化按百分点),写作者自己写了换算的照他的;实际用的换算记在引用上,展开整表时每一格也照写。写作目录的具名的数、结果表的行按同一格式写。3 版及以前组装的文档照当年原样显示,复核按记下的版本,不判对不上。pct、pp 两种换算的写法(不是 0 的不写成 0.0);可验证报告按引用上的换算、4 版起按结论记的格式渲染,不认识的显示规则版本(5 版)判无法核对
|
2026-10-21 15:55:11 +00:00 |
|
ThearchyHelios
|
3ecc6223df
|
分析算子给结论里以比率存的列和数记换算:契约加 ResultTable.formats、AnalysisResult.value_formats(换算同 [[m:]] 的后缀,另加 pp 表示百分点),各算子逐个填全——可加、乘积拆解的 pct、share;比率拆解的 w_*、r_* 记 pct,mix、rate、total 是比率之差记 pp;波动基线按变化率比较时的 change,趋势的相对斜率;差异检验比率模式的 a_value、b_value 记 pct,diff、ci_lo、ci_hi 记 pp;values 里的 pct_total、top_share、top_k_share、mix_share、rate_share 等。都为空时整项不写,结论和以前一字不差;run 与 recompute 逐字段相同、同输入两次 run 逐字节相同照旧成立(tests/test_analysis_run 的形状检查认这两项可选)
|
2026-10-21 15:54:46 +00:00 |
|
ThearchyHelios
|
41f64172c3
|
types.ts:RunComparison 的注释挪回它正上方。分析卡那一节插进来的时候把「GET /runs/{id}/compare?base=…」的说明顶到了 RunCompareAnalysisSide 头上,读的人以为那是另一边的说明
|
2026-10-21 15:53:41 +00:00 |
|
ThearchyHelios
|
c54196326f
|
证据面板的分析结论:结果表的格写列名,总数那一格的值按服务端的写法显示。①「这一处引用的是 结果表第 1 行『share』」原来写的是列 id,现在服务端在 cited 上另给 column_label(结果表记的 labels,如「占变化的比重」),目录条目也带上 labels,证据面板、读屏的出处、导出页、可验证报告都照列名写;② 输入里「总数那一格 … = 159175.18」和同一节的闭合核对「159,175.18」两个写法并排,现在服务端另给 value_rendered(render_cell,千分位、NULL 写「—」,和闭合核对同一个写法),三处界面照原样显示。结果表数的换算(比率、空格)不在这次改动里
|
2026-10-21 15:53:27 +00:00 |
|
ThearchyHelios
|
b919890b7b
|
问数据时间线的分析一步、协作成员的分析:编号照实说是哪一层。Agent 工具那一步标题写「变化拆解(可加) · 本节点 A1」——编号是这份 Agent 自己的分析容器里的(交回模型的「【分析 A1】」),报告目录里的 A1 按整次运行的台账编,图里还有分析卡时就不是同一个,不再冒充报告里的编号;分析卡的一项照旧写这一项的标识。协作成员的分析不带编号(成员的结论还进不了台账,照它写「· A1」会和报告里点名的结论对不上),event_view 交回 alias=None。check-decode、check-stream、协作成员那条测试照新写法改
|
2026-10-21 15:52:58 +00:00 |
|
ThearchyHelios
|
9461c03a63
|
分析结论的「在验证什么」照实说谁写的:分析卡上那一条是模板作者写的,标「分析卡上写的『在验证什么』」;Agent 现场做的照旧「Agent 写的假设」(台账条目带 item 的是分析卡、带 call_id 的是 Agent)。服务端按 origin 给 hypothesis_label、hypothesis_note 两句,证据面板、导出页、可验证报告都照原样显示,不自己拼。测试:证据接口两种都测,分析卡的链、导出页、核对页各加一条断言
|
2026-10-21 15:52:19 +00:00 |
|
ThearchyHelios
|
1747be9d63
|
合入第 2 波复核修复 S4、S9:评测页分析期望的参数格改用分析卡那一份(差异检验的比率、均值模式补上期次三格),参数叫法只留 termsAnalysis 一份;分析测试的「今天」按题集的时区取,不依赖本机时区
|
2026-10-21 15:02:04 +00:00 |
|
ThearchyHelios
|
b0b8d3ef04
|
评测页分析期望的参数格和分析卡用同一份:CaseEditor 原来自抄的 PARAM_FIELDS 去掉,改用 canvas/analysisItems.paramSpecs(差异检验的比率、均值、逐行三模式也带上期次三格了,和服务器参数模型一致);参数叫法只剩 lib/termsAnalysis 一份(EVAL_TEXT.analysis.param/basis/grain 引用 ANALYSIS_TEXT.node),格子的取值转换也用 paramText/paramValue,期次格保留 {{ }} 时间变量
- 参数格:basis、grain 两份下拉带上空着的缺省项(和分析卡同两行),逐行的值列、只比这几对等叫法跟分析卡一致
- test_frontend_eval_unions.py 新增一条:paramSpecs(含 PERIODS)的参数名和服务端各参数模型的交集/并集逐个对得上、评测页引用的是 paramSpecs、三张叫法表引用 ANALYSIS_TEXT.node
|
2026-10-21 14:57:12 +00:00 |
|
ThearchyHelios
|
454e82e211
|
分析测试的「今天」按题集的时区取,不看本机时区:题集里的期次(上周、本周)按 suite.timezone 算,生成虚构库、判今天是不是周一也照它,本机在别的时区(或跨午夜那几个钟头)时两边不是同一天
- test_eval_analysis_runs.py:TZ 从题集读,新增 now()(datetime.now(ZoneInfo(TZ))),生成库用 now().date(),原来写死的 Asia/Shanghai 去掉
- test_eval_analysis_suite.py:从题集内容取时区算今天,判周一也按它
- test_evals_api.py:零售样例题集的「今天」同样从题集取时区
|
2026-10-21 14:57:06 +00:00 |
|
ThearchyHelios
|
1c117d78aa
|
开发文档:后端测试数照分析能力一轮合并后的全量改成约 16000 个(15987 通过),并行约 2–3 分钟(原来写约 14300、1–2 分钟);前端检查仍是 43 项,第 2 波没有加新的检查脚本,不用改。中英两边同改,check-docs 0 问题
|
2026-10-21 20:23:08 +08:00 |
|
ThearchyHelios
|
3d730480b9
|
check-all 的 ESTIMATE 按分析能力一轮第 2 波之后的实测改三项(只决定排队顺序):check-evidence 91 → 157 秒、check-compare 45 → 100 秒、check-bundle 16 → 36 秒(2026-10-21 两套服务、八道并行);证据面板、运行对比、可验证报告各加了分析结论的几段,变长了
|
2026-10-21 20:04:13 +08:00 |
|
ThearchyHelios
|
d211d2fac8
|
评测页的分析方法、模式叫法改为引用 lib/termsAnalysis 那一份(原来 termsEval 另抄了一份 OP_LABELS / MODE_LABELS):EVAL_TEXT.analysis.op / mode 直接用 ANALYSIS_OP_LABEL、ANALYSIS_MODE_LABEL,字一样、界面不变。tests/test_frontend_eval_unions.py 改成读 termsAnalysis.ts 的两张表和契约逐项对,并守住评测页引用的是这一份
|
2026-10-21 20:03:54 +08:00 |
|
ThearchyHelios
|
28c538a72f
|
趋势判断工具的说明开头改成契约的叫法「趋势判断:」(原来写「趋势:」,另外四个工具都以 OP_LABELS 的叫法开头);测试补一条:五个分析工具的说明都以契约里这种分析的叫法加「:」开头,助手的工具清单、证据面板、评测写的是同一种说法
|
2026-10-21 20:02:41 +08:00 |
|
ThearchyHelios
|
03cedbaf1d
|
合入 W2-c 前端:分析卡节点与分析项编辑器、报告节点两个新字段、设置「分析」一节、问数据时间线的分析步骤与出具横幅三项、运行对比的分析卡一区、证据面板与正文接上分析结论(六步出处链、闭合核对、两期可比性、说法违规标注、分析范围)、可验证报告核对页与分析样本页、口径账本摘要防 NaN;服务端补分析工具事件里的判定与分析结论的单独出处接口
# Conflicts:
# backend/tests/test_eval_schedule.py
|
2026-10-21 19:34:24 +08:00 |
|
ThearchyHelios
|
745ad4bbf1
|
合入 W2-b 补充:评测变体加「分析工具」开 / 关与「分析工具贡献对照」预设(指纹、对比、A/B 认得出这一项);评分认正文里「两期不能直接比」的说法(只给评分用的词表);文档补变体与预设
|
2026-10-21 19:33:35 +08:00 |
|
ThearchyHelios
|
de1bfaee9e
|
定时评测的测试不依赖同进程里的数据源个数(同 843be9a5 给 test_eval_runner 的做法):这里的题没有限定数据源,评测按进程里全部的数据源拍目录快照,别的测试留下的数据源超过 app/eval/snapshots.MAX_SOURCES 时整次评测按设计失败(「这次评测用到的数据源超过 20 个」),断言的 partial 就成了 failed;后端全量并行时分到同一个进程就复现。这里不测这个上限,测试里把上限放大
|
2026-10-21 19:32:40 +08:00 |
|
ThearchyHelios
|
5b53f00719
|
文档:回归评测「发起评测」的变体补「分析工具」开 / 关(缺省开)和「分析工具贡献」预设(开 vs 关);关的那一臂助手建图看不到分析工具和分析卡、工作流题不受影响、开关不同算不同变体、对比写「分析工具:开 → 关」。「看结果」里可比性那句改成:期望不可比时,正文明确说了两期不能直接比的也算对但没引用,期望可比的只能靠引用。升级说明的评测那一条补上这个开关和预设(开着的和升级前的评测算同一变体)。中英两边标题层级不变,check-docs 0 问题
|
2026-10-21 19:32:38 +08:00 |
|
ThearchyHelios
|
cc2c7a00fb
|
可比性期望认正文里「两期不能直接比」的说法:说法表(engine/analysis_claims)照旧不加可比 / 不可比一类,说法核对不打回「本周数据不完整,不能直接比」这种谨慎的提醒;评分在 eval/judgements 另用一张只给自己用的小词表(_INCOMPARABLE:不能直接比、不可比、不具可比性、本期数据不完整、还没过完、只有几天、差几天、不满一周、天数不同、口径不同……;「无法比拟」「比不上」、不带「直接」的「没法比」不算)。期望是不可比、正文明确这么说了的,按「对但没引用」算;同一分句里前面有否定的、句子里前面有假设或疑问的、问句都不算;期望是可比的只能靠引用。读答案时有这类说法的句子也留下(sentences_of_doc、sentences_of_text)。测试:几种说法算对但没引用、找到的那一处照实写;假设、疑问、否定、差得远、无关的「不完整」算错;期望可比的正文怎么写都不算;说法表照旧不认这类说法。test_doing_nothing_and_saying_nothing_is_wrong 里原先「本周还没过完,两周不能直接比」算错的那条断言按新规则移到新测试里,改成算对但没引用
|
2026-10-21 19:32:38 +08:00 |
|
ThearchyHelios
|
bf89269c11
|
评测前端:变体里能选「分析工具」开 / 关,发起评测多一种「分析工具贡献对照」。typesEval 加 EvalAnalysisTools、EvalPreset,EvalVariant 多 analysis;termsEval 加分析工具的叫法、提示和这种对照的说明,对比「都没变」那句带上分析工具。StartDialog:ArmFields 多一格分析工具(题集的默认变体同一张表单),预设对照里由预设定的那一项不摆(目录贡献不摆目录、分析工具贡献不摆分析工具);分析工具贡献对照交 {preset: analysis_tools, variant},变体里不带分析工具和名字,缺省每题 3 次。结果页、对比页、A/B 照服务端的变体那一句和指纹差异显示。check-evals:发起时评一次选「关」、两种预设的请求体和估算的两臂,对比写「分析工具:开 → 关」,分析工具贡献对照的两臂和详情页头;test_frontend_eval_unions 对上分析工具的取值、叫法和预设对照
|
2026-10-21 19:32:38 +08:00 |
|
ThearchyHelios
|
8a6ad0e7a2
|
评测变体加「分析工具」开 / 关(缺省开)和「分析工具贡献」预设对照:eval/variants 的变体多一项 analysis {tools: on | off},只认这两个值、缺省开,不合规的照实拒(eval_variant_invalid,落到 variant.analysis);analysis_tools(变体) 读开关,加这一项之前存下的变体按开。eval/answer.TurnContext 加 analysis_tools,Driver 透传给 chat/drive.TurnDriver(再到 api/copilot.answer_ops):关的那一臂建图时工具清单不列分析工具、节点手册不讲分析卡;工作流题不建图,不受影响。同一变体(variant_key)认分析工具:开着时不写进去,和加这一项之前算出来的一样,以前的评测照样当基准、趋势线不断;关着时不同。指纹记 analysis_tools,对比的指纹差异写「分析工具:开 → 关」(老指纹里没有这一项的按开);变体那一句写「分析工具开 / 关」,结果页、A/B、估算照它显示。api/evals 的预设对照加 analysis_tools(variants.analysis_tools_preset:开、关两臂,名字「分析工具开」「分析工具关」,别的项照 variant 或题集的缺省)。测试:变体规范化、拒收、同一变体指纹、变体那一句、预设两臂和 Driver 拿到的开关、估算与 A/B 拒收(test_eval_runner);指纹差异的开、关和老指纹(test_eval_compare);真运行的「分析工具贡献」对照(test_eval_analysis_runs:关的那一臂助手看到的 system 里没有分析工具和分析卡、作答运行里没有分析结论、算错,开的那一臂对且可追溯,两臂共用期望、指纹和同一变体都不同)
|
2026-10-21 19:32:38 +08:00 |
|
ThearchyHelios
|
954946d4e3
|
check-all 不往子进程传的段过滤补全:check-stream 新加的 STREAM_ONLY,连同早就有、一直没列进来的 COMPARE_ONLY、INQUIRY_ONLY、SHARE_ONLY、ACCESS_KEYS_ONLY、APP_EDITOR_ONLY、CAPABILITIES_ONLY。壳里留着其中一个时,整套检查会悄悄只跑那几项的一小截、照样报全部通过
|
2026-10-21 19:11:24 +08:00 |
|
ThearchyHelios
|
017cbee5aa
|
可验证报告样本页加异动周报(analysis,分析能力一轮):Agent 在虚构零售库 shop 上查两周的总数和按地区两周的销售额,做按地区的变化拆解(带总数核对)、波动基线(两周历史不够,算不了)、两期可比性检查,结论按快照真算(app.analysis.run,目录事实按虚构的数据目录给),Agent 节点的 tool.end 照分析工具真实的写法带结论工件和判定那一段;报告引用拆解的判定语、具名的数、结果表的格和整张结果表,正文后面是 engine/analysis_scope 按虚构的数据目录算出的分析范围(没拆的是渠道)。check-bundle:样本页 19 份;异动周报原样导出全部通过——③ 三份结论和两份输入快照随文件附带,④ 输入快照按「已核对的分析结论的输入」认,⑤ 分开数判定语,点开判定语看得到判定标准、方法与版本、附带说明、Agent 写的假设、输入和导出时的复算,具名的数、结果表的格写对出处,分析范围的编号点得开(正文没引用的 A2 也随文件附带)、范围里的编号不核正文显示,390 宽不溢出;只改判定语、具名的数的显示并重算全部哈希各自变红并点名。另:「查询快照以外的工件标成遮罩」的原因照第 1 波改过的说法(只有查询快照、口径卡、分析结论和报告文档……),原来的断言没跟着改。test_bundle_build 的样本页清单加上它、核对它的形状
|
2026-10-21 19:09:21 +08:00 |
|
ThearchyHelios
|
019676670b
|
可验证报告的核对页:正文里的判定语被改过时,原因写「正文显示「…」,分析结论里的判定语是「…」」。判定语的引用不带值(判定语就是结论里的那句话),原来照数字的写法拼成「引用的值是空值(NULL)」,读起来像引用本身是空的;具名的数、结果表的格照旧写引用的值和按显示规则应显示的字
|
2026-10-21 19:09:20 +08:00 |
|
ThearchyHelios
|
29874166df
|
证据面板与报告正文接上分析结论(分析能力一轮)。点判定语、具名的数、结果表的格:出处链照服务端的分析几步(判定 → 方法 → 计算 → 输入 → 复算 → 封存)——判定写编号和方法的叫法(method_label)、判定语照原样、判定标准、点名的段、方向、谁做的(Agent 现场 / 分析卡 / 口径卡执行时的可比性检查)、附带说明、Agent 写的假设(另说它不是结论);方法写版本、实际用的阈值(契约的叫法)、规范化后的参数;计算写代入式、具名的数、结果表(被引用的数描出来、那一格高亮);输入每份一节,总数和各段之和的闭合核对照服务端算好的数,输入快照的查询步骤接在后面、点 Q 跳过去;复算一致与否、封存范围内台账记没记过、算不了的写原因;分析结论的数不走口径账本。口径卡指标上多一行「两期可比性」(判定、判定语,展开看那份可比性结论的整条链,随卡封存)。说法违规(判断词未挂分析结论、判断与分析结论不符、因果说法没有依据,按 unit / segment / span)标在正文上:只在判断词下面画提醒色波浪线,那段文字是一个可点的片段,句末挂「说法待核」,n / N 跳得到;点开写种类的叫法(同审计)、服务端的原话、所挂的结论(点一下落到它的判定语)。正文后面是系统写的「分析范围」(现象、拆过、排除、算不了、没拆的候选维度、做过几次差异检验),编号点得开——正文没引用的取新接口 …/evidence/analyses/{alias} 的出处链,关掉焦点回到那个编号。整句面板挂的依据是分析结论时写「派生自 Q1、Q2」(证据图的 derived_from 边,按这份报告认)。记录页:审计表的说法违规行写种类的叫法、点得开;工件页签认得分析结论(哪一种分析,算不了的写没有做成)。夹具 evidence-analysis.json 是真运行组装的(后端测试库里的虚构零售库 shop,模型换成脚本)。check-evidence 加三节(分析结论的出处链、说法违规与分析范围、指标上的两期可比性),check-runs 加一节(审计行、工件页签)
|
2026-10-21 18:57:22 +08:00 |
|
ThearchyHelios
|
887d086261
|
合入 W2-a 想 + 文档:问题意图词表、分析方法定稿(analysis.method@2)、助手建图认分析卡与分析工具(分析类问题的形状、自查只挡一轮、关分析工具的开关)、复核信号并成一条只写说明、内置模板 ⑪「异动分析(可追溯)」、中英文档(新增 analysis 一篇、七对文档与升级说明、README)
|
2026-10-21 18:54:50 +08:00 |
|
ThearchyHelios
|
cf5dae16fe
|
文档:回归评测与口径账本按评测包(an2/b)的交付校对——贡献期望恒为变化拆解、模式三选一、点名前几段 1–10 缺省 1,判定期望四种分析、差异检验要写模式;参数里不写输入、总数、下钻和阈值,文字参数可带定时变量,只返回两期时可以不写基期本期,口径题和期望反问的题配不了;阈值用开评时拍下的分析设置(算期望、各臂作答同一份,记进指纹);五种结论逐条写清(引用它的句子写反了算错、做了没说也算错、分析范围不算引用、可比性只能靠引用),评分规则第 3 版、提示词指纹含分析方法;仓库里的虚构库 retail_trends 与八题的分析题集怎么生成、导入。升级说明那一条一并补齐
|
2026-10-21 18:49:15 +08:00 |
|
ThearchyHelios
|
5a02d17bf2
|
助手建图加「关掉分析工具」的开关,给评测的「分析工具开、关」对照用:api/copilot.answer_ops 加关键字参数 analysis_tools(缺省真,和以前一字不差)。为假时给助手的工具清单不列五个分析工具(_tool_catalog),节点手册去掉只讲分析能力的三段(agent 段里分析类问题绑分析工具那一条、分析卡一整条、搭图规则第 7 条;报告段的引用写法和分析说法核对照留,node_reference),问数据的包装不给分析类问题那一条形状(ANALYSIS_SHAPE_PROMPT 抽成常量),问题意图那条自查不提;图里照样绑了分析工具的(Agent、协作成员、调用工具节点)按「绑定的工具不存在」挡(analysis_tools_off,交回模型去掉,改不好就不运行)。chat/drive.TurnDriver 加同名参数和属性 analysis_tools(缺省真),_generate 透传给 answer_ops;问数据页不暴露,eval/answer.Driver 之后按变体设。测试:关着时工具清单、手册、包装都没有分析,绑了被挡、改掉就运行;开着时绑了照常运行;没碰分析工具的一轮开、关交出的操作逐条一样;TurnDriver 透传
|
2026-10-21 18:47:10 +08:00 |
|
ThearchyHelios
|
f9be394a99
|
撤回上一条(定时评测测试放大数据源上限):评测包 an2/b 的 5d53ed73 做了同一处修改,留着合并时会撞同一个夹具;这里撤回,合并后照 an2/b 那一份
|
2026-10-21 18:40:30 +08:00 |
|
ThearchyHelios
|
468f670f89
|
运行对比页加「分析卡」一区(服务端 compare 的 analyses):两次运行的分析卡按节点和分析项对齐,一项一行——分析卡的名字和项的标识、算子的叫法(契约)、两次的判定语照原样(没有的一边写「—」,算不了的照判定语写原因)、变了没有(判定一致 / 判定变了 / 判定一致而判定语里的数变了 / 这次新增 / 这次没有,按服务端比出来的代码挑说法和颜色);只列判定,不拆变化来源;两次都没有分析卡(老服务端没有这一项)时不画。check-compare 加一节:先后照服务端、几种变化、新增与没有、老服务端不画、窄屏不溢出;夹具的形状照服务端真算的(compare.compare 跑虚构周报加分析卡)
|
2026-10-21 18:38:48 +08:00 |
|
ThearchyHelios
|
a3a466681a
|
合入 W2-b 评测:两种分析期望(贡献、判定)全链路——期望由期望 SQL 的快照加同一套算子算出、评分沿用五种结论、评分规则 3、提示词指纹含分析方法与写作者的分析规则、开评拍分析设置;虚构库 retail_trends(26 周、八个埋好的效应)与分析题集;评测前端
|
2026-10-21 18:36:24 +08:00 |
|
ThearchyHelios
|
ee923ef6f8
|
问数据时间线的分析步骤与出具横幅的三项(分析能力一轮)。时间线(run/decode):新步骤种类 analysis——Agent 的五个分析工具一次调用一行,标题写算子的叫法(契约的叫法,不写 analysis_decompose),做成后照 tool.end 的 analysis 接上本节点的编号(A1,和交回模型的「【分析 A1】」同一个)、副标题是服务端渲染的判定语,结论工件可下钻,参数(没填的不列)进展开区、Agent 写的假设另列;算不了的是一条结论(提醒色,判定语就是「…没有做成:原因」,下一步说照实写原因、不能据此下判断),紧跟着的 analysis_refused 提醒折进那一行;写错的调用(tool.error 带 call_error)副标题写没有记成结论、下一步写 Agent 会照着改、原话在展开区;老服务端没有 analysis 那一段时只照参数写叫法,不从 preview(结论 JSON 的前一截)里拼。分析卡每项一行(analysis.end,不再落成「未识别的事件」):叫法和这一项的标识、判定语、结论工件。报告的分析说法重写后仍有(report_analysis_claims)、口径卡的可比性没做成(metric_comparability_skipped)说成人话。回答流:分析的图标、展开看判定语和假设,长列表折起来时分析那几行照样露出来(不算出了问题);运行中的状态字写「正在执行分析:变化拆解(可加)…」。出具横幅(IssuanceBanner)照出具声明列三项:分析说法核对(strict 记缺口、check 只标注,几处、原话、种类的叫法同审计)、指标的两期可比性(判定语和原因)、报告引用的指标没追到原始数据(追到哪为止、记没记缺口)。夹具:fixtures.json 加两次真跑的运行(后端测试库里的虚构零售库 shop、模型换成脚本:Agent 查库、写错一次拆解、拆解、波动基线算不了、可比性检查,报告 3 处说法标注;分析卡两项),synthetic 加协作成员调分析工具,dev/fixtures/analysis.tsx 三个预览用例。check-decode、check-stream 各加分析的几节(check-stream 加 STREAM_ONLY 只跑几段)
|
2026-10-21 18:35:22 +08:00 |
|
ThearchyHelios
|
f293904cdd
|
定时评测的测试不依赖同进程里的数据源个数(同 843be9a5 对评测执行测试的做法):别的测试留下的数据源超过评测拍目录快照的上限时,评测在作答前就按设计失败,「连续 3 题止损、部分完成」那两条就判不出;加了几个测试文件、测试分进程的方式变了以后,全量时这两条稳定复现(把上限压到 0 也能复现)。这里的评测不测这个上限,夹具里把上限放大
|
2026-10-21 18:33:17 +08:00 |
|
ThearchyHelios
|
5d53ed7332
|
题集定时的测试不依赖同进程里的数据源个数(同 843be9a5 对评测执行测试的做法):题目是不限数据源的问数据题,评测按全部启用的数据源拍目录快照,别的测试留下的数据源超过上限时整次评测按设计失败,状态成了 failed 而不是 partial(全量并行时分到同一个进程复现);这里不测这个上限,把上限放大
|
2026-10-21 18:30:08 +08:00 |
|
ThearchyHelios
|
94a6eb9c64
|
分析期望的两处小修:期望 SQL 只返回两期时补上的基期、本期写成文字交给分析工具的参数(期次是数的也认,算子按写出来的样子比);参数和结果对不上的原因前面写「第 n 个期望(贡献)算不出期望」,不再叠两个「的」。测试补逐题 E1 顺着下钻找到两层的查询
|
2026-10-21 18:30:08 +08:00 |
|
ThearchyHelios
|
ab65b6032d
|
问题意图:「变化大不大」「变化大吗」归到波动一类(问的是这次变化大不大,不是变化从哪来),自查那条问题照「问题问的是波动大不大」说;来源一类只留「怎么变了 / 有什么变化 / 变化在哪」。测试加一个正例
|
2026-10-21 18:27:05 +08:00 |
|
ThearchyHelios
|
5a341b48e9
|
文档:新增 analysis 一篇(中英各一,标题层级一致)——分析能力是什么、为什么(判定由系统算、判定语由系统写、照实说、留痕)、五种分析各回答什么问题与判定标准(括号里是缺省阈值)、算不了的情形与调用写错、期次的写法、两个入口(Agent 的分析工具、分析卡)、引用写法、分析说法核对(判断词的类、check / strict / off、来源与因果的分界)、分析范围、设置、限制。更新:证据与出具(按引用核对的血缘口子与分析说法复核、口径卡指标的两期可比性、引用标记加 a: 与 v:A / table:A、点开一个分析结论看到什么、两种导出认分析结论、运行对比按分析卡对齐、复核套件加分析说法核对)、工作流(内置模板 11 个、节点类型表加分析卡、G3 加分析说法核对、agent 可绑分析工具)、问数据(分析类问题怎么走、复核只写说明的几种缺口、分析结论的数不标口径、自查提醒)、回归评测与口径账本(贡献、判定两种期望与评分,细节待评测包交付后校对;分析结论的数不比对口径)、配置(偏好设置里的分析一节,17 项的叫法、缺省、范围)、工具(内置工具 23 个、分析工具一节;原来写的 15 个早已对不上)、升级说明(本轮);README 中英加一条主要功能、文档索引加 analysis,节点 19 种、模板 11 个。development.md 的检查项数没动,等前端包的数
|
2026-10-21 18:25:46 +08:00 |
|
ThearchyHelios
|
ce5ef5e5f0
|
口径账本的轮次摘要只数四种标签(来自口径、相关口径、这次的推理、没比对):认不出种类的标签(不是对象、没有种类、不是这四种)不计、也不算进总数,摘要那一句说得平、不出 NaN。分析结论的数不和口径比对,服务端不给它们标签(00-总方案 D11),这里是防着以后多出别的种类。check-ledger 的使用者一节混进两个认不出种类的标签
|
2026-10-21 18:24:18 +08:00 |
|
ThearchyHelios
|
078c2c4d97
|
评测的模块说明补分析期望:judgements.py 管什么、有分析期望的题集开评时拍一份分析设置(算期望、作答都按它,记进指纹,别的题集不拍)
|
2026-10-21 18:23:57 +08:00 |
|
ThearchyHelios
|
9358d9ec48
|
评测前端认两种分析期望:题目编辑器在预览之后选贡献或判定(分析方法、模式、按哪几列、期次、点名前几段),试算写出服务端算的判定和判定语;结果页逐题写期望和答案的判定,点开写判定语、引用了哪一份结论或正文那一句;总览按期望的种类分开写结论
- typesEval.ts:期望种类加 contribution、verdict,期望带 op、mode、params;EvalAnalysisOp、EvalAnalysisMode、EvalJudgement(同服务端契约和 judgements.JUDGEMENTS);期望值、评分带判定类、点名的段、方向、判定语;总表加 outcomes_by_kind
- termsEval.ts:贡献、判定的叫法;分析方法、模式的叫法和契约的 OP_LABELS、MODE_LABELS 一字不差(test_frontend_eval_unions 逐个对照,连同判定类);判定类、方向、参数的叫法;指纹差异一句补上分析设置
- parts.tsx:期望写成「变化拆解(可加) · 按地区 · 销售额」;判定写成「主要来源:华东(下降)」「超出常规波动(上升)」「差异站得住(西南高于华东)」,算不了的照实写原因;判定类、段、方向都是服务端给的,界面只套叫法
- CaseEditor.tsx:分析期望的表单按分析方法列参数(参数名同分析工具,列从预览结果里选),换方法、模式只留新方法还认的参数;编辑配了几个期望的题时另外的期望列出来、保存时照旧带上(以前只留第一个,第二个期望会丢)
- EvaluationPage.tsx:逐题表、展开的明细、总览按种类
- scripts/check-evals.mjs:夹具补分析期望(加题选算子、试算、保存的请求体不带来源方向判定,编辑保留另外的期望;结果页四种结论、点开的明细、总览按种类),共 130 项
|
2026-10-21 18:23:57 +08:00 |
|