 ThearchyHelios
|
74ab9d57f2
|
工作流工具栏：窄屏收起改名图标。768 宽、失败的运行加未保存加两枚芯片时，顶栏最右的控件伸到 791px、出了视口（main 上 3c5c9d3c 给名字旁边加的那枚铅笔）。照其它次要按钮的做法在窄于 880px 的容器里收起来，改名在「切换工作流」的列表里照样有。check-studio 加两条：窄屏工具栏上看不到它、列表里有
|
2026-10-21 16:08:55 +00:00 |
|
|
ThearchyHelios
|
41f64172c3
|
types.ts：RunComparison 的注释挪回它正上方。分析卡那一节插进来的时候把「GET /runs/{id}/compare?base=…」的说明顶到了 RunCompareAnalysisSide 头上，读的人以为那是另一边的说明
|
2026-10-21 15:53:41 +00:00 |
|
|
ThearchyHelios
|
c54196326f
|
证据面板的分析结论：结果表的格写列名，总数那一格的值按服务端的写法显示。①「这一处引用的是 结果表第 1 行『share』」原来写的是列 id，现在服务端在 cited 上另给 column_label（结果表记的 labels，如「占变化的比重」），目录条目也带上 labels，证据面板、读屏的出处、导出页、可验证报告都照列名写；② 输入里「总数那一格 … = 159175.18」和同一节的闭合核对「159,175.18」两个写法并排，现在服务端另给 value_rendered（render_cell，千分位、NULL 写「—」，和闭合核对同一个写法），三处界面照原样显示。结果表数的换算（比率、空格）不在这次改动里
|
2026-10-21 15:53:27 +00:00 |
|
|
ThearchyHelios
|
b919890b7b
|
问数据时间线的分析一步、协作成员的分析：编号照实说是哪一层。Agent 工具那一步标题写「变化拆解（可加） · 本节点 A1」——编号是这份 Agent 自己的分析容器里的（交回模型的「【分析 A1】」），报告目录里的 A1 按整次运行的台账编，图里还有分析卡时就不是同一个，不再冒充报告里的编号；分析卡的一项照旧写这一项的标识。协作成员的分析不带编号（成员的结论还进不了台账，照它写「· A1」会和报告里点名的结论对不上），event_view 交回 alias=None。check-decode、check-stream、协作成员那条测试照新写法改
|
2026-10-21 15:52:58 +00:00 |
|
|
ThearchyHelios
|
9461c03a63
|
分析结论的「在验证什么」照实说谁写的：分析卡上那一条是模板作者写的，标「分析卡上写的『在验证什么』」；Agent 现场做的照旧「Agent 写的假设」（台账条目带 item 的是分析卡、带 call_id 的是 Agent）。服务端按 origin 给 hypothesis_label、hypothesis_note 两句，证据面板、导出页、可验证报告都照原样显示，不自己拼。测试：证据接口两种都测，分析卡的链、导出页、核对页各加一条断言
|
2026-10-21 15:52:19 +00:00 |
|
|
ThearchyHelios
|
1c117d78aa
|
开发文档：后端测试数照分析能力一轮合并后的全量改成约 16000 个（15987 通过），并行约 2–3 分钟（原来写约 14300、1–2 分钟）；前端检查仍是 43 项，第 2 波没有加新的检查脚本，不用改。中英两边同改，check-docs 0 问题
|
2026-10-21 20:23:08 +08:00 |
|
|
ThearchyHelios
|
3d730480b9
|
check-all 的 ESTIMATE 按分析能力一轮第 2 波之后的实测改三项（只决定排队顺序）：check-evidence 91 → 157 秒、check-compare 45 → 100 秒、check-bundle 16 → 36 秒（2026-10-21 两套服务、八道并行）；证据面板、运行对比、可验证报告各加了分析结论的几段，变长了
|
2026-10-21 20:04:13 +08:00 |
|
|
ThearchyHelios
|
d211d2fac8
|
评测页的分析方法、模式叫法改为引用 lib/termsAnalysis 那一份（原来 termsEval 另抄了一份 OP_LABELS / MODE_LABELS）：EVAL_TEXT.analysis.op / mode 直接用 ANALYSIS_OP_LABEL、ANALYSIS_MODE_LABEL，字一样、界面不变。tests/test_frontend_eval_unions.py 改成读 termsAnalysis.ts 的两张表和契约逐项对，并守住评测页引用的是这一份
|
2026-10-21 20:03:54 +08:00 |
|
|
ThearchyHelios
|
28c538a72f
|
趋势判断工具的说明开头改成契约的叫法「趋势判断：」（原来写「趋势：」，另外四个工具都以 OP_LABELS 的叫法开头）；测试补一条：五个分析工具的说明都以契约里这种分析的叫法加「：」开头，助手的工具清单、证据面板、评测写的是同一种说法
|
2026-10-21 20:02:41 +08:00 |
|
|
ThearchyHelios
|
03cedbaf1d
|
合入 W2-c 前端：分析卡节点与分析项编辑器、报告节点两个新字段、设置「分析」一节、问数据时间线的分析步骤与出具横幅三项、运行对比的分析卡一区、证据面板与正文接上分析结论（六步出处链、闭合核对、两期可比性、说法违规标注、分析范围）、可验证报告核对页与分析样本页、口径账本摘要防 NaN；服务端补分析工具事件里的判定与分析结论的单独出处接口
# Conflicts:
# backend/tests/test_eval_schedule.py
|
2026-10-21 19:34:24 +08:00 |
|
|
ThearchyHelios
|
745ad4bbf1
|
合入 W2-b 补充：评测变体加「分析工具」开 / 关与「分析工具贡献对照」预设（指纹、对比、A/B 认得出这一项）；评分认正文里「两期不能直接比」的说法（只给评分用的词表）；文档补变体与预设
|
2026-10-21 19:33:35 +08:00 |
|
|
ThearchyHelios
|
de1bfaee9e
|
定时评测的测试不依赖同进程里的数据源个数（同 843be9a5 给 test_eval_runner 的做法）：这里的题没有限定数据源，评测按进程里全部的数据源拍目录快照，别的测试留下的数据源超过 app/eval/snapshots.MAX_SOURCES 时整次评测按设计失败（「这次评测用到的数据源超过 20 个」），断言的 partial 就成了 failed；后端全量并行时分到同一个进程就复现。这里不测这个上限，测试里把上限放大
|
2026-10-21 19:32:40 +08:00 |
|
|
ThearchyHelios
|
5b53f00719
|
文档：回归评测「发起评测」的变体补「分析工具」开 / 关（缺省开）和「分析工具贡献」预设（开 vs 关）；关的那一臂助手建图看不到分析工具和分析卡、工作流题不受影响、开关不同算不同变体、对比写「分析工具：开 → 关」。「看结果」里可比性那句改成：期望不可比时，正文明确说了两期不能直接比的也算对但没引用，期望可比的只能靠引用。升级说明的评测那一条补上这个开关和预设（开着的和升级前的评测算同一变体）。中英两边标题层级不变，check-docs 0 问题
|
2026-10-21 19:32:38 +08:00 |
|
|
ThearchyHelios
|
cc2c7a00fb
|
可比性期望认正文里「两期不能直接比」的说法：说法表（engine/analysis_claims）照旧不加可比 / 不可比一类，说法核对不打回「本周数据不完整，不能直接比」这种谨慎的提醒；评分在 eval/judgements 另用一张只给自己用的小词表（_INCOMPARABLE：不能直接比、不可比、不具可比性、本期数据不完整、还没过完、只有几天、差几天、不满一周、天数不同、口径不同……；「无法比拟」「比不上」、不带「直接」的「没法比」不算）。期望是不可比、正文明确这么说了的，按「对但没引用」算；同一分句里前面有否定的、句子里前面有假设或疑问的、问句都不算；期望是可比的只能靠引用。读答案时有这类说法的句子也留下（sentences_of_doc、sentences_of_text）。测试：几种说法算对但没引用、找到的那一处照实写；假设、疑问、否定、差得远、无关的「不完整」算错；期望可比的正文怎么写都不算；说法表照旧不认这类说法。test_doing_nothing_and_saying_nothing_is_wrong 里原先「本周还没过完，两周不能直接比」算错的那条断言按新规则移到新测试里，改成算对但没引用
|
2026-10-21 19:32:38 +08:00 |
|
|
ThearchyHelios
|
bf89269c11
|
评测前端：变体里能选「分析工具」开 / 关，发起评测多一种「分析工具贡献对照」。typesEval 加 EvalAnalysisTools、EvalPreset，EvalVariant 多 analysis；termsEval 加分析工具的叫法、提示和这种对照的说明，对比「都没变」那句带上分析工具。StartDialog：ArmFields 多一格分析工具（题集的默认变体同一张表单），预设对照里由预设定的那一项不摆（目录贡献不摆目录、分析工具贡献不摆分析工具）；分析工具贡献对照交 {preset: analysis_tools, variant}，变体里不带分析工具和名字，缺省每题 3 次。结果页、对比页、A/B 照服务端的变体那一句和指纹差异显示。check-evals：发起时评一次选「关」、两种预设的请求体和估算的两臂，对比写「分析工具：开 → 关」，分析工具贡献对照的两臂和详情页头；test_frontend_eval_unions 对上分析工具的取值、叫法和预设对照
|
2026-10-21 19:32:38 +08:00 |
|
|
ThearchyHelios
|
8a6ad0e7a2
|
评测变体加「分析工具」开 / 关（缺省开）和「分析工具贡献」预设对照：eval/variants 的变体多一项 analysis {tools: on | off}，只认这两个值、缺省开，不合规的照实拒（eval_variant_invalid，落到 variant.analysis）；analysis_tools(变体) 读开关，加这一项之前存下的变体按开。eval/answer.TurnContext 加 analysis_tools，Driver 透传给 chat/drive.TurnDriver（再到 api/copilot.answer_ops）：关的那一臂建图时工具清单不列分析工具、节点手册不讲分析卡；工作流题不建图，不受影响。同一变体（variant_key）认分析工具：开着时不写进去，和加这一项之前算出来的一样，以前的评测照样当基准、趋势线不断；关着时不同。指纹记 analysis_tools，对比的指纹差异写「分析工具：开 → 关」（老指纹里没有这一项的按开）；变体那一句写「分析工具开 / 关」，结果页、A/B、估算照它显示。api/evals 的预设对照加 analysis_tools（variants.analysis_tools_preset：开、关两臂，名字「分析工具开」「分析工具关」，别的项照 variant 或题集的缺省）。测试：变体规范化、拒收、同一变体指纹、变体那一句、预设两臂和 Driver 拿到的开关、估算与 A/B 拒收（test_eval_runner）；指纹差异的开、关和老指纹（test_eval_compare）；真运行的「分析工具贡献」对照（test_eval_analysis_runs：关的那一臂助手看到的 system 里没有分析工具和分析卡、作答运行里没有分析结论、算错，开的那一臂对且可追溯，两臂共用期望、指纹和同一变体都不同）
|
2026-10-21 19:32:38 +08:00 |
|
|
ThearchyHelios
|
954946d4e3
|
check-all 不往子进程传的段过滤补全：check-stream 新加的 STREAM_ONLY，连同早就有、一直没列进来的 COMPARE_ONLY、INQUIRY_ONLY、SHARE_ONLY、ACCESS_KEYS_ONLY、APP_EDITOR_ONLY、CAPABILITIES_ONLY。壳里留着其中一个时，整套检查会悄悄只跑那几项的一小截、照样报全部通过
|
2026-10-21 19:11:24 +08:00 |
|
|
ThearchyHelios
|
017cbee5aa
|
可验证报告样本页加异动周报（analysis，分析能力一轮）：Agent 在虚构零售库 shop 上查两周的总数和按地区两周的销售额，做按地区的变化拆解（带总数核对）、波动基线（两周历史不够，算不了）、两期可比性检查，结论按快照真算（app.analysis.run，目录事实按虚构的数据目录给），Agent 节点的 tool.end 照分析工具真实的写法带结论工件和判定那一段；报告引用拆解的判定语、具名的数、结果表的格和整张结果表，正文后面是 engine/analysis_scope 按虚构的数据目录算出的分析范围（没拆的是渠道）。check-bundle：样本页 19 份；异动周报原样导出全部通过——③ 三份结论和两份输入快照随文件附带，④ 输入快照按「已核对的分析结论的输入」认，⑤ 分开数判定语，点开判定语看得到判定标准、方法与版本、附带说明、Agent 写的假设、输入和导出时的复算，具名的数、结果表的格写对出处，分析范围的编号点得开（正文没引用的 A2 也随文件附带）、范围里的编号不核正文显示，390 宽不溢出；只改判定语、具名的数的显示并重算全部哈希各自变红并点名。另：「查询快照以外的工件标成遮罩」的原因照第 1 波改过的说法（只有查询快照、口径卡、分析结论和报告文档……），原来的断言没跟着改。test_bundle_build 的样本页清单加上它、核对它的形状
|
2026-10-21 19:09:21 +08:00 |
|
|
ThearchyHelios
|
019676670b
|
可验证报告的核对页：正文里的判定语被改过时，原因写「正文显示「…」，分析结论里的判定语是「…」」。判定语的引用不带值（判定语就是结论里的那句话），原来照数字的写法拼成「引用的值是空值（NULL）」，读起来像引用本身是空的；具名的数、结果表的格照旧写引用的值和按显示规则应显示的字
|
2026-10-21 19:09:20 +08:00 |
|
|
ThearchyHelios
|
29874166df
|
证据面板与报告正文接上分析结论（分析能力一轮）。点判定语、具名的数、结果表的格：出处链照服务端的分析几步（判定 → 方法 → 计算 → 输入 → 复算 → 封存）——判定写编号和方法的叫法（method_label）、判定语照原样、判定标准、点名的段、方向、谁做的（Agent 现场 / 分析卡 / 口径卡执行时的可比性检查）、附带说明、Agent 写的假设（另说它不是结论）；方法写版本、实际用的阈值（契约的叫法）、规范化后的参数；计算写代入式、具名的数、结果表（被引用的数描出来、那一格高亮）；输入每份一节，总数和各段之和的闭合核对照服务端算好的数，输入快照的查询步骤接在后面、点 Q 跳过去；复算一致与否、封存范围内台账记没记过、算不了的写原因；分析结论的数不走口径账本。口径卡指标上多一行「两期可比性」（判定、判定语，展开看那份可比性结论的整条链，随卡封存）。说法违规（判断词未挂分析结论、判断与分析结论不符、因果说法没有依据，按 unit / segment / span）标在正文上：只在判断词下面画提醒色波浪线，那段文字是一个可点的片段，句末挂「说法待核」，n / N 跳得到；点开写种类的叫法（同审计）、服务端的原话、所挂的结论（点一下落到它的判定语）。正文后面是系统写的「分析范围」（现象、拆过、排除、算不了、没拆的候选维度、做过几次差异检验），编号点得开——正文没引用的取新接口 …/evidence/analyses/{alias} 的出处链，关掉焦点回到那个编号。整句面板挂的依据是分析结论时写「派生自 Q1、Q2」（证据图的 derived_from 边，按这份报告认）。记录页：审计表的说法违规行写种类的叫法、点得开；工件页签认得分析结论（哪一种分析，算不了的写没有做成）。夹具 evidence-analysis.json 是真运行组装的（后端测试库里的虚构零售库 shop，模型换成脚本）。check-evidence 加三节（分析结论的出处链、说法违规与分析范围、指标上的两期可比性），check-runs 加一节（审计行、工件页签）
|
2026-10-21 18:57:22 +08:00 |
|
|
ThearchyHelios
|
887d086261
|
合入 W2-a 想 + 文档：问题意图词表、分析方法定稿（analysis.method@2）、助手建图认分析卡与分析工具（分析类问题的形状、自查只挡一轮、关分析工具的开关）、复核信号并成一条只写说明、内置模板 ⑪「异动分析（可追溯）」、中英文档（新增 analysis 一篇、七对文档与升级说明、README）
|
2026-10-21 18:54:50 +08:00 |
|
|
ThearchyHelios
|
cf5dae16fe
|
文档：回归评测与口径账本按评测包（an2/b）的交付校对——贡献期望恒为变化拆解、模式三选一、点名前几段 1–10 缺省 1，判定期望四种分析、差异检验要写模式；参数里不写输入、总数、下钻和阈值，文字参数可带定时变量，只返回两期时可以不写基期本期，口径题和期望反问的题配不了；阈值用开评时拍下的分析设置（算期望、各臂作答同一份，记进指纹）；五种结论逐条写清（引用它的句子写反了算错、做了没说也算错、分析范围不算引用、可比性只能靠引用），评分规则第 3 版、提示词指纹含分析方法；仓库里的虚构库 retail_trends 与八题的分析题集怎么生成、导入。升级说明那一条一并补齐
|
2026-10-21 18:49:15 +08:00 |
|
|
ThearchyHelios
|
5a02d17bf2
|
助手建图加「关掉分析工具」的开关，给评测的「分析工具开、关」对照用：api/copilot.answer_ops 加关键字参数 analysis_tools（缺省真，和以前一字不差）。为假时给助手的工具清单不列五个分析工具（_tool_catalog），节点手册去掉只讲分析能力的三段（agent 段里分析类问题绑分析工具那一条、分析卡一整条、搭图规则第 7 条；报告段的引用写法和分析说法核对照留，node_reference），问数据的包装不给分析类问题那一条形状（ANALYSIS_SHAPE_PROMPT 抽成常量），问题意图那条自查不提；图里照样绑了分析工具的（Agent、协作成员、调用工具节点）按「绑定的工具不存在」挡（analysis_tools_off，交回模型去掉，改不好就不运行）。chat/drive.TurnDriver 加同名参数和属性 analysis_tools（缺省真），_generate 透传给 answer_ops；问数据页不暴露，eval/answer.Driver 之后按变体设。测试：关着时工具清单、手册、包装都没有分析，绑了被挡、改掉就运行；开着时绑了照常运行；没碰分析工具的一轮开、关交出的操作逐条一样；TurnDriver 透传
|
2026-10-21 18:47:10 +08:00 |
|
|
ThearchyHelios
|
f9be394a99
|
撤回上一条（定时评测测试放大数据源上限）：评测包 an2/b 的 5d53ed73 做了同一处修改，留着合并时会撞同一个夹具；这里撤回，合并后照 an2/b 那一份
|
2026-10-21 18:40:30 +08:00 |
|
|
ThearchyHelios
|
468f670f89
|
运行对比页加「分析卡」一区（服务端 compare 的 analyses）：两次运行的分析卡按节点和分析项对齐，一项一行——分析卡的名字和项的标识、算子的叫法（契约）、两次的判定语照原样（没有的一边写「—」，算不了的照判定语写原因）、变了没有（判定一致 / 判定变了 / 判定一致而判定语里的数变了 / 这次新增 / 这次没有，按服务端比出来的代码挑说法和颜色）；只列判定，不拆变化来源；两次都没有分析卡（老服务端没有这一项）时不画。check-compare 加一节：先后照服务端、几种变化、新增与没有、老服务端不画、窄屏不溢出；夹具的形状照服务端真算的（compare.compare 跑虚构周报加分析卡）
|
2026-10-21 18:38:48 +08:00 |
|
|
ThearchyHelios
|
a3a466681a
|
合入 W2-b 评测：两种分析期望（贡献、判定）全链路——期望由期望 SQL 的快照加同一套算子算出、评分沿用五种结论、评分规则 3、提示词指纹含分析方法与写作者的分析规则、开评拍分析设置；虚构库 retail_trends（26 周、八个埋好的效应）与分析题集；评测前端
|
2026-10-21 18:36:24 +08:00 |
|
|
ThearchyHelios
|
ee923ef6f8
|
问数据时间线的分析步骤与出具横幅的三项（分析能力一轮）。时间线（run/decode）：新步骤种类 analysis——Agent 的五个分析工具一次调用一行，标题写算子的叫法（契约的叫法，不写 analysis_decompose），做成后照 tool.end 的 analysis 接上本节点的编号（A1，和交回模型的「【分析 A1】」同一个）、副标题是服务端渲染的判定语，结论工件可下钻，参数（没填的不列）进展开区、Agent 写的假设另列；算不了的是一条结论（提醒色，判定语就是「…没有做成：原因」，下一步说照实写原因、不能据此下判断），紧跟着的 analysis_refused 提醒折进那一行；写错的调用（tool.error 带 call_error）副标题写没有记成结论、下一步写 Agent 会照着改、原话在展开区；老服务端没有 analysis 那一段时只照参数写叫法，不从 preview（结论 JSON 的前一截）里拼。分析卡每项一行（analysis.end，不再落成「未识别的事件」）：叫法和这一项的标识、判定语、结论工件。报告的分析说法重写后仍有（report_analysis_claims）、口径卡的可比性没做成（metric_comparability_skipped）说成人话。回答流：分析的图标、展开看判定语和假设，长列表折起来时分析那几行照样露出来（不算出了问题）；运行中的状态字写「正在执行分析：变化拆解（可加）…」。出具横幅（IssuanceBanner）照出具声明列三项：分析说法核对（strict 记缺口、check 只标注，几处、原话、种类的叫法同审计）、指标的两期可比性（判定语和原因）、报告引用的指标没追到原始数据（追到哪为止、记没记缺口）。夹具：fixtures.json 加两次真跑的运行（后端测试库里的虚构零售库 shop、模型换成脚本：Agent 查库、写错一次拆解、拆解、波动基线算不了、可比性检查，报告 3 处说法标注；分析卡两项），synthetic 加协作成员调分析工具，dev/fixtures/analysis.tsx 三个预览用例。check-decode、check-stream 各加分析的几节（check-stream 加 STREAM_ONLY 只跑几段）
|
2026-10-21 18:35:22 +08:00 |
|
|
ThearchyHelios
|
f293904cdd
|
定时评测的测试不依赖同进程里的数据源个数（同 843be9a5 对评测执行测试的做法）：别的测试留下的数据源超过评测拍目录快照的上限时，评测在作答前就按设计失败，「连续 3 题止损、部分完成」那两条就判不出；加了几个测试文件、测试分进程的方式变了以后，全量时这两条稳定复现（把上限压到 0 也能复现）。这里的评测不测这个上限，夹具里把上限放大
|
2026-10-21 18:33:17 +08:00 |
|
|
ThearchyHelios
|
5d53ed7332
|
题集定时的测试不依赖同进程里的数据源个数（同 843be9a5 对评测执行测试的做法）：题目是不限数据源的问数据题，评测按全部启用的数据源拍目录快照，别的测试留下的数据源超过上限时整次评测按设计失败，状态成了 failed 而不是 partial（全量并行时分到同一个进程复现）；这里不测这个上限，把上限放大
|
2026-10-21 18:30:08 +08:00 |
|
|
ThearchyHelios
|
94a6eb9c64
|
分析期望的两处小修：期望 SQL 只返回两期时补上的基期、本期写成文字交给分析工具的参数（期次是数的也认，算子按写出来的样子比）；参数和结果对不上的原因前面写「第 n 个期望（贡献）算不出期望」，不再叠两个「的」。测试补逐题 E1 顺着下钻找到两层的查询
|
2026-10-21 18:30:08 +08:00 |
|
|
ThearchyHelios
|
ab65b6032d
|
问题意图：「变化大不大」「变化大吗」归到波动一类（问的是这次变化大不大，不是变化从哪来），自查那条问题照「问题问的是波动大不大」说；来源一类只留「怎么变了 / 有什么变化 / 变化在哪」。测试加一个正例
|
2026-10-21 18:27:05 +08:00 |
|
|
ThearchyHelios
|
5a341b48e9
|
文档：新增 analysis 一篇（中英各一，标题层级一致）——分析能力是什么、为什么（判定由系统算、判定语由系统写、照实说、留痕）、五种分析各回答什么问题与判定标准（括号里是缺省阈值）、算不了的情形与调用写错、期次的写法、两个入口（Agent 的分析工具、分析卡）、引用写法、分析说法核对（判断词的类、check / strict / off、来源与因果的分界）、分析范围、设置、限制。更新：证据与出具（按引用核对的血缘口子与分析说法复核、口径卡指标的两期可比性、引用标记加 a: 与 v:A / table:A、点开一个分析结论看到什么、两种导出认分析结论、运行对比按分析卡对齐、复核套件加分析说法核对）、工作流（内置模板 11 个、节点类型表加分析卡、G3 加分析说法核对、agent 可绑分析工具）、问数据（分析类问题怎么走、复核只写说明的几种缺口、分析结论的数不标口径、自查提醒）、回归评测与口径账本（贡献、判定两种期望与评分，细节待评测包交付后校对；分析结论的数不比对口径）、配置（偏好设置里的分析一节，17 项的叫法、缺省、范围）、工具（内置工具 23 个、分析工具一节；原来写的 15 个早已对不上）、升级说明（本轮）；README 中英加一条主要功能、文档索引加 analysis，节点 19 种、模板 11 个。development.md 的检查项数没动，等前端包的数
|
2026-10-21 18:25:46 +08:00 |
|
|
ThearchyHelios
|
ce5ef5e5f0
|
口径账本的轮次摘要只数四种标签（来自口径、相关口径、这次的推理、没比对）：认不出种类的标签（不是对象、没有种类、不是这四种）不计、也不算进总数，摘要那一句说得平、不出 NaN。分析结论的数不和口径比对，服务端不给它们标签（00-总方案 D11），这里是防着以后多出别的种类。check-ledger 的使用者一节混进两个认不出种类的标签
|
2026-10-21 18:24:18 +08:00 |
|
|
ThearchyHelios
|
078c2c4d97
|
评测的模块说明补分析期望：judgements.py 管什么、有分析期望的题集开评时拍一份分析设置（算期望、作答都按它，记进指纹，别的题集不拍）
|
2026-10-21 18:23:57 +08:00 |
|
|
ThearchyHelios
|
9358d9ec48
|
评测前端认两种分析期望：题目编辑器在预览之后选贡献或判定（分析方法、模式、按哪几列、期次、点名前几段），试算写出服务端算的判定和判定语；结果页逐题写期望和答案的判定，点开写判定语、引用了哪一份结论或正文那一句；总览按期望的种类分开写结论
- typesEval.ts：期望种类加 contribution、verdict，期望带 op、mode、params；EvalAnalysisOp、EvalAnalysisMode、EvalJudgement（同服务端契约和 judgements.JUDGEMENTS）；期望值、评分带判定类、点名的段、方向、判定语；总表加 outcomes_by_kind
- termsEval.ts：贡献、判定的叫法；分析方法、模式的叫法和契约的 OP_LABELS、MODE_LABELS 一字不差（test_frontend_eval_unions 逐个对照，连同判定类）；判定类、方向、参数的叫法；指纹差异一句补上分析设置
- parts.tsx：期望写成「变化拆解（可加） · 按地区 · 销售额」；判定写成「主要来源：华东（下降）」「超出常规波动（上升）」「差异站得住（西南高于华东）」，算不了的照实写原因；判定类、段、方向都是服务端给的，界面只套叫法
- CaseEditor.tsx：分析期望的表单按分析方法列参数（参数名同分析工具，列从预览结果里选），换方法、模式只留新方法还认的参数；编辑配了几个期望的题时另外的期望列出来、保存时照旧带上（以前只留第一个，第二个期望会丢）
- EvaluationPage.tsx：逐题表、展开的明细、总览按种类
- scripts/check-evals.mjs：夹具补分析期望（加题选算子、试算、保存的请求体不带来源方向判定，编辑保留另外的期望；结果页四种结论、点开的明细、总览按种类），共 130 项
|
2026-10-21 18:23:57 +08:00 |
|
|
ThearchyHelios
|
84e6c2e13f
|
设置「偏好设置」加「分析」一节（服务端 analysis 一组）：判定用的阈值、Agent 每次执行最多分析几次、最多下钻几层、列出前几段，分成变化拆解、波动基线与趋势判断、差异检验、次数与层数四组。照口径账本一节的写法：草稿由偏好页持有、和其余设置共用一条保存条，存的时候整组写 analysis（没改的照原值带上，不被冲回缺省）；叫法、范围照契约 LABELS / RANGES（每项下面写范围，类型、范围当场按契约的说法说，保存键不能点），两两之间的大小交给服务端核、422 的原话写在保存条上；服务端把 2 存成 2.0、写「2.0」不算改；老服务端没有这一组时不显示。check-manage 加一节：十七项的叫法都是契约的、显示生效的值、超范围和整数项、保存条的叫法、整组写、服务端拒收、改回原值、老服务端
|
2026-10-21 18:20:10 +08:00 |
|
|
ThearchyHelios
|
78800511e0
|
前端：分析卡节点（分析能力一轮）。节点库「把关」一类加「分析卡」（类型色 --nt-analysis，亮暗两套），卡片摘要写做哪几种分析（「波动基线、变化拆解（可加）」，叫法照契约）；检查器的分析项编辑器：每项标识、分析方法（五个算子）、模式（有模式的才给）、输入只列上游的查询节点（调用数据库查询工具的「调用工具」节点、合并查询，删掉或挪到下游的照实列出），按方法摆参数格（analysisItems.paramSpecs：维度列、期次、基期、本期、度量列或分子分母、乘积和因子、比较方式、粒度、对照组、几对……，期次可以写 {{ }}），可加、比率的变化拆解另有总数核对两格和下钻（上一层只列排在前面的变化拆解），变化拆解、可比性检查可以写成基期、本期两份查询，换方法、模式时只留新方法用得到的参数；在验证什么一句话；阈值覆盖只列写了的几项、从没写的里选，范围当场按契约说（两两之间的大小交给服务端），全删掉不留空对象。服务端按 items[i].<键> 报的问题落在那一格下面，定位退不到的子键（params.parent.key）逐段往上退；查询节点连到分析卡时还没选输入的第一项选上它（同合并查询，和连线同一步撤销）。报告节点加「分析说法核对」（缺省重写一次后标出）、「分析范围」（高级，缺省有分析结论时附上），选项以 engine/labels.py 的短说法开头。叫法、范围只照契约一份（lib/termsAnalysis：OP_LABELS / MODE_LABELS / LABELS / RANGES，check-studio 读后端源码逐项比对）。check-studio 加两节：叫法与契约一致、分析卡的画布编辑与校验定位
|
2026-10-21 18:17:56 +08:00 |
|
|
ThearchyHelios
|
83cd5da72e
|
虚构库 retail_trends 与分析题集：26 周的零售订单（截止昨天、固定种子），相对上一个整周埋了八个效应；题集 analysis_suite.json 每个效应一题，期望由平台的分析方法在期望 SQL 上算
- tests/fixtures/acceptance/retail_trends.py（python -m tests.fixtures.acceptance.retail_trends <db> [--today]，数据源名 retail_trends，不动 retail.py）：华东线下客单价降到七成带来的销售额下降（主要来自华东）；三成线下订单转到线上造成的退款率辛普森（各渠道都降、整体升，结构为主）；订单数的常规波动；取消单激增；线上销售额连涨十周以上；线上销售额的变化来自订单数；西南一家小店的退款率看着高但样本太少；本周没过完（和上周不可比，周一时本周还没有数据、那一题期望算不了）。订单数按店按周定好、金额在窄区间随机、退款按渠道比例挑，各效应不靠运气
- tests/fixtures/eval/analysis_suite.json：八道题，问法用使用者的说法（上周销售额为什么下降？退款率为什么上升了？上周订单数下降算不算异常？……），各配一个贡献或判定期望，订单数、取消单两题另配一个不必需的「一个数」
- 测试：同一个今天逐字节相同；四个不同的今天（周三、周日、周六、跨年）上用 app.analysis.run 按题集的期望 SQL 核对八个效应；周一那一题照实算不了；走接口导入题集、逐题试算，分析期望都算得出、判定和埋的效应一致；真运行的算期望（作答前后对得上、阈值按设置快照、参数对不上照实说）、读作答运行里的分析结论和引用、重评老结果、从头到尾评一题（助手剧本搭查库 → 分析卡 → 报告，对且可追溯、逐题 E1 等价已证明）
|
2026-10-21 18:12:12 +08:00 |
|
|
ThearchyHelios
|
7794794278
|
评测的两种分析期望（贡献、判定）：期望 SQL 的探针快照上用平台的算子（app.analysis.run，随数据变化的调用错误记成算不了）算出期望的判定，评分沿用五种结论
- 题目（cases.py）：contribution 贡献恒为变化拆解（可加、比率、乘积）、另写 top_n（期望点名主要来源的前几段，缺省 1）；verdict 判定是波动基线、趋势判断、差异检验、可比性检查。参数同分析工具（不写输入、总数、下钻，不写阈值），文字参数可以带 {{ schedule.* }}；来源、方向、判定不许人填（HUMAN_VALUE_KEYS 加 segment、subjects、direction、verdict 等）；口径题、期望反问的题配不了
- 算期望（gold.py、judgements.py）：遮罩列、目录事实、现查表的日期范围和分析工具同一套取法；阈值用这次评测的分析设置快照（Context.analysis），试算时现读设置；期望 SQL 只返回两期时可以不写基期、本期；算不了的这一项照实记（评分时不能评分），参数和结果对不上的整题没有可用的值；截断的快照照旧拒收。作答前后两次期望、和上一次比的「数据变了」都不比运行当天、现查时刻、输入快照的工件（stable_sets）
- 评分（score.py、judgements.py，SCORER_VERSION 3）：判定码归到同一套判定类再比；答案引用了（判定语、具名的数、结果表的格、句末依据）判定对得上的分析结论是对且可追溯，引用它的那句却写反了不算；没引用但正文按说法表（engine/analysis_claims 同一个 scan、同一套绑定规则）写对了是对但没引用；判定、来源、方向对不上或写成相反、根本没做也没说是错。答案的分析结论从作答运行的台账读、引用从报告文档读，有判断词的句子一并读出；逐题 E1 引用分析结论时按它的输入查询比（下钻顺着上一层找）；判定语不再当成答案里的数；老结果的明细里没有这两项按空读
- 执行（runner.py、answer.py）：有分析期望的题集开评时拍一份分析设置，算期望、各臂作答的运行（Run.options 的 analysis）都按它，记进指纹（compare 的「分析设置」一项），重试沿用；别的题集的指纹、作答运行的选项不变。助手提示词的指纹加上分析方法（guide 的 id 和全文）、写作者的分析规则和说法表版本
- 总表（stats.py）：各期望的结论另按期望的种类各一份（outcomes_by_kind）
|
2026-10-21 18:11:57 +08:00 |
|
|
ThearchyHelios
|
690e855ea5
|
内置模板 ⑪「异动分析（可追溯）」：两个调用工具节点取数（整体按周 26 周、按地区两周，期次在 SQL 里按每周第一天的日期算出来、整体按周倒序排），分析卡固定做两项（本周的变化放回历史看的波动基线、按地区的可加变化拆解，总数取整体按周的第 0、1 行核对闭合；阈值不写死、取设置），报告撰写节点按受管级别写明最严的几项（含分析说法核对严格），出口按报告来自 + 单元格引用的契约出具。拿来就能按受管级别发布。界面文案白名单加一条：模板 SQL 里中文列别名按 SQLite 加的双引号是 SQL 语法。测试：画布校验、受管发布检查没有错误（模板 ⑨ 一并核）、接一份虚构的四地区 26 周零售库从头运行，两项都做成（明显超出常规波动、主要来自华东）、完整出具
|
2026-10-21 18:08:59 +08:00 |
|
|
ThearchyHelios
|
97a37d4bd2
|
复核信号认分析能力一轮的缺口：一次运行里算不了的几次分析并成一条「有 n 次分析没做成」，点名是哪一项、为什么（叫法取契约的 OP_LABELS，不再写 analysis_baseline 这样的工具名；老事件没带这几项的照日志原话），排在第一次出现的位置；分析调用写错（tool.error 带 call_error）后来同一个分析工具做成了是 Agent 照说明改对了，不再报 tool_args_fixed、为它叫一次复核模型，一直没做成的并成一条 analysis_call_failed（缺口，只写说明），不再落成 tool_error（严重、可重来，一次写错的分析会让整轮问数据重来）；判断词核对重写后仍有的照报告节点原话说处数和重写次数。核对过第 1 波新增的日志代码：report_analysis_claims、analysis_refused、metric_comparability_skipped 三种，都已登记、都是缺口、都在只写说明的一组，RETRYABLE / REBUILD 不加。改了一条旧测试：test_analysis_signals_are_registered_as_gaps_that_only_need_a_note 原来断言三种日志正好等于 NOTE_ONLY，NOTE_ONLY 多了 analysis_call_failed 这种不是日志代码的信号，改成比去掉它之后的
|
2026-10-21 18:08:48 +08:00 |
|
|
ThearchyHelios
|
8a81fa767e
|
助手建图认分析能力：节点手册加分析卡一段（用途是模板里固定要做的分析，items / overrides，输入只认调用数据库查询工具的调用工具节点和合并查询，产出 nodes.<id>.results.<项> 可按判定分支，结果不进口径卡）、agent 段补五个分析工具（分析类问题绑，绑了平台注入分析方法，只绑给查库的 agent）、报告段补分析结论的引用写法（a:An、a:An.键、v:An.r0.列、table:An、句末 see:An）和分析说法核对（check 缺省、strict、off，只能往严里改）、分析范围，受管指引和发布前修复的硬性约定写明分析说法核对要严格；搭图规则加一条。问数据的包装加「分析类问题」的形状（input → agent 绑查询、表结构和分析工具 → report 按分析结论写、引用判定语 → output）。报告的证据来源认分析卡。自查：GenerateIn 加 question（问数据的一轮把原问题带上，重来时 instruction 是带着原因的那段话），问题是分析类、查库的 Agent 没绑分析工具、图里也没有分析卡时提一条问题（analysis_tools_missing，带 for_model），照 coverage 只交回模型改一轮，改过一轮仍在的不挡运行、收尾时留作提醒。测试：手册里的引用写法交给真解析器、分析卡与工具的叫法取契约、包装的分析形状、自查只挡一轮与几种不提的情形、重来按原问题判
|
2026-10-21 18:08:37 +08:00 |
|
|
ThearchyHelios
|
5617deb80b
|
分析方法定稿（ANALYSIS_METHOD_PROMPT，guide id 升到 analysis.method@2）：在第一版六条上写清按问题选基期（环比比上一个整期、同比比去年同期并写 lag、和目标比要库里有目标，没说就比上一个整期，本期取最近一个过完的整期）；周序列的期次在 SQL 里由日期列算出来，写每周第一天的日期（附 SQLite 写法）或 ISO 周，SQLite 的 %W、MySQL 的 %u 不是 ISO 周，直接取现成的周号文本本期齐不齐核对不了；先可比性与基线、趋势，再拆因子与结构、按维度由粗到细，找到主要来源再下钻一层；每次写明在验证什么，拆了不集中也是结论；不作因果断言；阈值不由模型定、算不了照实说、调用写错照说明改；最后交给写作者的文字里列出做过的分析（An）和判定原话。测试守这几件事都在、点名的工具是那五个、五个工具共用这一份
|
2026-10-21 18:08:25 +08:00 |
|
|
ThearchyHelios
|
040040d23a
|
问题意图（app/analysis/intent.py）：确定的词表判一句问题是不是分析类问题（原因、变化从哪来、是否异常、波动、趋势、差异站不站得住六类），带版本 INTENT_VERSION 1，给助手搭问数据的图时自查用。只收明确的问法、宁可漏判：问原因的词要和涨跌、高低的说法在同一句（「为什么报错」不算），「原因」要是变化的原因（「退款原因有哪些」是字段不算），「异常」后面是订单、记录这类名词的是业务状态，「系统正常吗」「表结构有什么变化」问的不是数，「持续」前后要有涨跌；按句子认、逗号不分句；英文只收几种明确问法。和说法核对的说法表不共用词表：意图判用户的问题，不判写作者的句子。测试：43 个正例、26 个反例、分句、引文截短
|
2026-10-21 18:08:16 +08:00 |
|
|
ThearchyHelios
|
998ab23bae
|
报告末尾「分析范围」里的编号点得开：证据接口加 GET /runs/{id}/evidence/analyses/{alias}（?report= 同片段接口），交回那份分析结论的出处链（判定 → 方法 → 计算 → 输入 → 复算 → 封存，和点开正文里它的判定语同一条，按导出页已有的 _scope_chain），正文没引用的结论（算不了的、可比性检查）也点得开；只认这份报告证据目录里的分析结论，没有的 404（evidence_analysis_not_found）。选报告、文档完好与否的几种错误挪进 _open_report，片段接口和它共用同一套错误码。测试：同一条链、算不了的照实给原因、目录里没有的和不是分析结论的 404、文档被改过 409
|
2026-10-21 18:02:34 +08:00 |
|
|
ThearchyHelios
|
5f61661625
|
分析工具的 tool.end 另带一小段判定（tools/analysis.event_view：编号、算子、模式、状态、判定码、方向、判定语、算不了的原因码）：preview 只是结论 JSON 的前一截（截到 2000 个字符），可加拆解、可比性检查的判定语都在截掉的那段里，问数据时间线照这一段显示，不从 preview 里拼。编号和交回模型的「【分析 An】」同一个（AnalysisScope.next_alias，记台账时 add_result 紧接着按它编），写错的调用不带这一段、不占编号；协作成员按自己的分析容器编号；Agent 写的假设不带。测试：编号与交回模型的一致、判定语只在这一段里、算不了的带原因码、成员自己编号
|
2026-10-21 17:53:56 +08:00 |
|
|
ThearchyHelios
|
843be9a556
|
评测执行的测试不依赖同进程里的数据源个数、等待都有时限：别的测试建的数据源超过评测拍目录快照的上限时，作答运行在排队前就失败，原来的等待循环永远等不到、整次测试卡死（上传源测试和评测测试分到同一个进程时复现）；这里的评测不测这个上限，测试里把上限放大，等待改成 30 秒等不到就失败并说清在等什么
|
2026-10-21 17:17:02 +08:00 |
|
|
ThearchyHelios
|
24b5aebae4
|
叫法消毒按词认判断词（scan bare）：说法核对修复后 scan 缺省按整句规矩认（没说变化的「主要来自」不算判断），叫法是一个名字不是一句话，「主要来自华东的销售额」这样的叫法要整个不要
|
2026-10-21 17:12:48 +08:00 |
|
|
ThearchyHelios
|
a02dc41424
|
合入复核修复（说法核对）：结论句判定回到原来的词表（扩充的判断词只给裁判排先后）、表格正文不核、补因果与来源的口子、说法表按样本调整（96 句样本表）、连续按末尾方向核、复核认三种日志且只写说明、分析结论算可引用的来源、自动修复对认不出的取值照 claims 做、候选维度写明只认码值表、scan 加只按词认
|
2026-10-21 17:12:18 +08:00 |
|
|
ThearchyHelios
|
2d616d01e8
|
说法表的 scan 加 bare=True：只按词认、不看上下文（构成、建议计划、业务状态、「相当」的比法、「未见异常」的主语这些只对整句话成立的规矩都不用），给认叫法（度量的叫法、因子名）里夹带的判断词用——叫法是一个名字不是一句话，「主要来自华东的销售额」照样认出来源；缺省照旧按整句的规矩。原因只是指代的那条注释改准。测试：几个叫法按词认、按整句不认
|
2026-10-21 17:10:43 +08:00 |
|