From 45c1ede40204575461aa24e3963c049db30e3e99 Mon Sep 17 00:00:00 2001 From: ThearchyHelios Date: Fri, 16 Oct 2026 20:37:57 +0800 Subject: [PATCH] =?UTF-8?q?=E8=AF=84=E6=B5=8B=E5=89=8D=E7=AB=AF=EF=BC=9A?= =?UTF-8?q?=E9=A1=B6=E7=BA=A7=E5=AF=BC=E8=88=AA=E3=80=8C=E8=AF=84=E6=B5=8B?= =?UTF-8?q?=E3=80=8D=E3=80=81=E9=A2=98=E9=9B=86=E4=B8=8E=E5=8A=A0=E9=A2=98?= =?UTF-8?q?=E3=80=81=E5=8F=91=E8=B5=B7=E8=AF=84=E6=B5=8B=E3=80=81=E8=AF=84?= =?UTF-8?q?=E6=B5=8B=E8=AF=A6=E6=83=85=E3=80=81=E5=8F=A3=E5=BE=84=E5=91=BD?= =?UTF-8?q?=E4=B8=AD=E4=B8=8E=E9=87=8D=E5=A4=8D=E5=BA=A6=E3=80=81=E7=9B=AE?= =?UTF-8?q?=E5=BD=95=E5=BF=AB=E7=85=A7=EF=BC=9B=E5=AE=9A=E6=97=B6=E9=A1=B5?= =?UTF-8?q?=E9=80=89=E7=9B=AE=E6=A0=87=E7=A7=8D=E7=B1=BB=EF=BC=9B=E8=AE=B0?= =?UTF-8?q?=E5=BD=95=E9=A1=B5=E8=AF=84=E6=B5=8B=E6=9D=A5=E6=BA=90=EF=BC=9B?= =?UTF-8?q?=E8=AE=BE=E7=BD=AE=E9=87=8C=E8=AF=84=E6=B5=8B=E4=B8=80=E7=BB=84?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 为什么:前三波评测只有接口,这一波是收口——每样能力都要有界面、能走通(细案 01 第 18 项、第 15 项定时的前端部分,评测-D8)。 界面层不放逻辑:比率、结论、趋势、分档、能不能做都由服务端给(上一次提交在 api/evals.py 补的 latest、trend、actions、 preview、signals、逐题花费),界面只显示。 - 导航:「评测」排在设置前面、⌥0,搭建者以上可见(使用者的页面表在 visiblePages 里收窄,手输地址被送回应用首页)。导航从 9 项 变 10 项,在 600、520、480 像素高的窗口里重新量过:≤520px 那档的导航项从 32px 收到 30px(17px 图标 + 2px + 11px 字), 不然 480 高时遥测点超出视口 12px;App.tsx 的说明跟着改。 - 评测页 pages/evals/*(类型 typesEval.ts、接口 api/evals.ts、文案 lib/termsEval.ts 的 EVAL_TEXT):题集列表(最近一次、同一 变体的趋势、定时,没有定时给「设定时」带着题集去新建);新建、导入(先预览)、导出、归档、删除、题集设置(时区、默认变体—— 定时评测按它评、预算只填要改的项);题目表(启用、试算、编辑、删除),口径升版待处置的顶部提示和三选一处置(叫法由服务端给, 没有缺省);加题四种方式:写 SQL 定期望(选数据源、写 SQL、预览、点选格 / 列 / 配对列、按维度找行、试算,遮罩列拒收的原话 落在 SQL 下面)、选口径(工作流|口径卡|指标,不能复用的照列写原因,口径的输入按那一版的入口字段填)、从问数据运行认定 (选运行、选查询、选取哪一列,用到遮罩列的查询不给认定)、期望没有数据或期望反问;可另加文字要点。数值期望不许人填:只点选 取哪一格。 - 发起评测:评一次 / A/B 对照(两到三臂)/ 目录贡献对照(预设,可加「只用已核实和已确认的项」),变体有助手、写作模型、结论 裁判、目录(当前 / 只用已核实的 / 关 / 快照)、重复次数;估算和发起是同一份请求体,项数、按上一次估的花费、生效的预算、今天 已花照服务端写;可点名和哪一次比。 - 评测详情 /evals/runs/:id:进度和每题正在做什么、停止、只重试没做完的、按新规则重评、设为基线(按钮照服务端的 actions 摆); 总览卡片(准确率和可追溯准确率带区间、花费、逐题 E1)和各项分布(结论、作答路径、出具档位、复核、结论裁判、引用率、查看、 耗时、按角色的用量);逐题表(结论、期望和答案里的数、弱匹配、SQL 差在哪、查看、耗时、花费,展开看原因、去运行详情; ?case= 定位那道题);和上一次比(换基准、指纹差异、转移和归因);A/B 配对表(都对 / 只 A 对 / 只 B 对 / 都错、p 值)。 - 「口径命中与重复度」页签:E1、E3 这一窗口的值和档位、参考线、往前几个窗口的趋势(GET /api/evals/signals),明细直接调口径 账本的 GET /api/ledger/stats(总方案 X2);成员不少于 3 的问题类能加入题集(带着问法去加题)、提取模板(从最近一次的运行提取, 去画布)。目录快照页签:拍当前目录、影子起草(先估算再开始,能停)。 - 定时页:新建时先选定时什么(工作流 / 评测题集;数据源维护在数据源页建),评测题集的表单(pages/schedules/TargetEditor.tsx:名称、题集、 FreqPicker、补发宽限,建题集目标用 ScheduleTargetCreate),评测题集的定时在详情里能改名称、频率、时区、补发宽限(SchedulePatch, 只交改了的、带版本);数据源维护的定时只读、链到数据源页,第 3 波「只能查看,不能修改」那句改成说清在数据源页设置;触发历史里 的评测链到评测详情。纯函数 targetFormOf / targetCreateBody / targetPatchBody / targetProblems 放 model.ts。 - 记录页:评测运行旁的「评测」标记写是哪一步(作答、算期望……),点了回到评测里那道题;运行详情页头有键盘到得了的链接 (pages/runs/EvalSource.tsx)。 - 设置:偏好设置里「评测」一节(pages/EvalSettings.tsx,SettingsPage 里加一行):四项预算缺省、保留几次、缺省开不开结论裁判、 今天已花;自己存、只交 eval 一组,取值范围只在服务端判。 - 问数据用量(评测-D14 的界面一半):复核慢过问数据页的等待上限时,答案照原样先交出去,复核那一次的用量晚到了照记进这一轮、 再落一次库(以前直接丢掉);开发期 window.__chatReviewWait 让检查脚本把上限调短。 检查:check-evals.mjs 换成真检查(假接口加夹具,写请求在浏览器层拦下并断言请求体,98 项);check-shell 导航十项、⌥0、三种窗口高; check-schedules 目标种类(纯函数和页面);check-chat 用量那一段加复核晚到。 --- backend/app/api/evals.py | 9 + backend/tests/test_evals_ui_api.py | 20 + frontend/src/App.tsx | 19 +- frontend/src/api/client.ts | 4 + frontend/src/api/evals.ts | 116 +++ frontend/src/components/CommandPalette.tsx | 5 +- frontend/src/lib/terms.ts | 27 +- frontend/src/lib/termsEval.ts | 657 +++++++++++++ frontend/src/pages/EvalSettings.tsx | 127 +++ frontend/src/pages/SettingsPage.tsx | 3 + frontend/src/pages/evals/CaseEditor.tsx | 734 +++++++++++++++ frontend/src/pages/evals/EvalsPage.tsx | 52 ++ frontend/src/pages/evals/EvaluationPage.tsx | 572 ++++++++++++ frontend/src/pages/evals/ImportDialog.tsx | 132 +++ frontend/src/pages/evals/Signals.tsx | 238 +++++ frontend/src/pages/evals/Snapshots.tsx | 259 ++++++ frontend/src/pages/evals/StartDialog.tsx | 291 ++++++ frontend/src/pages/evals/SuiteDetail.tsx | 466 ++++++++++ frontend/src/pages/evals/SuiteList.tsx | 166 ++++ frontend/src/pages/evals/parts.tsx | 196 ++++ frontend/src/pages/runs/EvalSource.tsx | 63 ++ frontend/src/pages/runs/RunDetailView.tsx | 3 + frontend/src/pages/runs/RunList.tsx | 3 + frontend/src/pages/schedules/FireHistory.tsx | 8 +- .../src/pages/schedules/ScheduleDetail.tsx | 78 +- .../src/pages/schedules/ScheduleEditor.tsx | 6 +- .../src/pages/schedules/SchedulesPage.tsx | 10 +- frontend/src/pages/schedules/TargetEditor.tsx | 199 ++++ frontend/src/pages/schedules/model.ts | 64 +- frontend/src/store/chat.ts | 22 +- frontend/src/typesEval.ts | 723 +++++++++++++++ scripts/check-chat.mjs | 27 + scripts/check-evals.mjs | 877 +++++++++++++++++- scripts/check-schedules.mjs | 109 ++- scripts/check-shell.mjs | 15 +- 35 files changed, 6243 insertions(+), 57 deletions(-) create mode 100644 frontend/src/api/evals.ts create mode 100644 frontend/src/lib/termsEval.ts create mode 100644 frontend/src/pages/EvalSettings.tsx create mode 100644 frontend/src/pages/evals/CaseEditor.tsx create mode 100644 frontend/src/pages/evals/EvalsPage.tsx create mode 100644 frontend/src/pages/evals/EvaluationPage.tsx create mode 100644 frontend/src/pages/evals/ImportDialog.tsx create mode 100644 frontend/src/pages/evals/Signals.tsx create mode 100644 frontend/src/pages/evals/Snapshots.tsx create mode 100644 frontend/src/pages/evals/StartDialog.tsx create mode 100644 frontend/src/pages/evals/SuiteDetail.tsx create mode 100644 frontend/src/pages/evals/SuiteList.tsx create mode 100644 frontend/src/pages/evals/parts.tsx create mode 100644 frontend/src/pages/runs/EvalSource.tsx create mode 100644 frontend/src/pages/schedules/TargetEditor.tsx create mode 100644 frontend/src/typesEval.ts diff --git a/backend/app/api/evals.py b/backend/app/api/evals.py index ca834aa8..28c6addc 100644 --- a/backend/app/api/evals.py +++ b/backend/app/api/evals.py @@ -1029,9 +1029,18 @@ async def evaluation_results(evaluation_id: str, session: AsyncSession = Depends EvalCase.id.in_({r["case_id"] for r in results if r["case_id"]})))).all()) if results else {} for r in results: r["question"] = questions.get(r["case_id"]) + r["cost"] = _result_cost(r.get("usage") or {}) return {"evaluation_id": row.id, "cleaned": row.cleaned_at is not None, "results": results} +def _result_cost(usage: dict[str, Any]) -> dict[str, Any]: + """一题的花费:助手(runner 记的 assistant 已含复核)+ 写作 + 结论裁判,和这次评测记在账上的同一份;估不出金额的调用另计 + 次数(界面写「≥」或「金额无法估算」)。加在服务端:界面不算数。""" + roles = [usage.get(k) or {} for k in ("assistant", "writer", "judge")] + return {"cost_usd": round(sum(float(r.get("cost_usd") or 0) for r in roles), 6), + "unpriced_calls": sum(int(r.get("unpriced_calls") or 0) for r in roles)} + + @router.get("/evaluations/{evaluation_id}/results/{result_id}") async def evaluation_result(evaluation_id: str, result_id: str, session: AsyncSession = Depends(get_session) ) -> dict[str, Any]: diff --git a/backend/tests/test_evals_ui_api.py b/backend/tests/test_evals_ui_api.py index 3a32da41..f80871ec 100644 --- a/backend/tests/test_evals_ui_api.py +++ b/backend/tests/test_evals_ui_api.py @@ -200,3 +200,23 @@ def test_bands_follow_the_reference_lines(): assert [evals._e1_band(x) for x in (None, 0.05, 0.1, 0.29, 0.3)] == [None, "reconcile", "normalize", "normalize", "route"] assert [evals._e3_band(x) for x in (None, 0.19, 0.2)] == [None, "not_yet", "worth"] + + +async def test_each_result_carries_its_total_cost(client, source): + """逐题结果带这一题的花费:助手(已含复核)+ 写作 + 结论裁判,估不出的另计次数——界面直接显示,不自己加。""" + suite_id = await es.make_suite(source["id"], name=f"虚构题集_{uuid.uuid4().hex[:6]}") + try: + run_id = await _evaluation(suite_id, status="succeeded", key="A", passed=1, n=1, minutes_ago=1) + async with SessionLocal() as session: + session.add(EvalResult(eval_run_id=run_id, seq=1, case_id=None, case_seq=1, case_hash="h", repeat=0, + status="ok", verdict="pass", usage={ + "assistant": {"cost_usd": 0.012, "unpriced_calls": 0}, + "review": {"cost_usd": 0.002, "unpriced_calls": 0}, + "writer": {"cost_usd": 0.03, "unpriced_calls": 1}, + "judge": {"cost_usd": 0.001, "calls": 1}})) + await session.commit() + [row] = (await client.get(f"/api/evals/evaluations/{run_id}/results")).json()["results"] + # 复核已经算在助手里(runner 记的 assistant = 建图 + 复核),不重复加 + assert row["cost"] == {"cost_usd": 0.043, "unpriced_calls": 1}, row["cost"] + finally: + await es.drop_suites() diff --git a/frontend/src/App.tsx b/frontend/src/App.tsx index e4f8696f..26c20fd9 100644 --- a/frontend/src/App.tsx +++ b/frontend/src/App.tsx @@ -19,6 +19,8 @@ import { ToolsPage } from './pages/ToolsPage' import { KnowledgePage } from './pages/KnowledgePage' import { SettingsPage } from './pages/SettingsPage' import { SchedulesPage } from './pages/schedules/SchedulesPage' +// 评测(下一轮第 4 波,评测-D8):顶级导航,搭建者以上可见 +import { EvalsPage } from './pages/evals/EvalsPage' import { NotFound } from './pages/NotFound' // 应用平台:使用面(FE-5)、搭建面的应用编辑(FE-6) import { AppsHome } from './pages/apps/AppsHome' @@ -188,6 +190,10 @@ function Shell() { } /> } /> } /> + {/* 评测:/evals 题集列表,/evals/signals、/evals/snapshots 两个页签,/evals/suites/:id 题集,/evals/runs/:id 一次评测 */} + } /> + } /> + } /> {/* 应用:固定路径(inbox)写在 /apps/:appId 前面,读的人一眼看出它不是应用 id */} } /> {/* 要在 /apps/:appId 之前:create 不是应用 id */} @@ -347,10 +353,11 @@ function Nav({ stalled }: { stalled: CatalogCheck[] }) { const live = studio.startsWith('run') || chat === 'run' const pages = usePages() - // 整条导航约 640px 高(九个导航项),窗口再矮,最底下的遥测点和署名就被切掉、够不着。 - // 矮窗口(521–660px)按高度收紧到 500px 左右(导航项 36px),≤520px 再收一档到 460px 左右(导航项 32px、 - // 图标和字之间只留 2px),而不是让导航滚动:导航一旦 overflow,挂在右侧的悬停提示和遥测浮层也会被 - // 一起裁掉。加导航项时在 600px、520px、480px 高的窗口里量一遍(check-shell 的「窗口高 …px」) + // 整条导航约 690px 高(十个导航项),窗口再矮,最底下的遥测点和署名就被切掉、够不着。 + // 矮窗口(521–660px)按高度收紧到 540px 左右(导航项 36px),≤520px 再收一档到 470px 左右(导航项 30px、 + // 图标和字之间只留 2px:17px 图标 + 2px + 11px 字正好放下),而不是让导航滚动:导航一旦 overflow,挂在右侧的 + // 悬停提示和遥测浮层也会被一起裁掉。加导航项时在 600px、520px、480px 高的窗口里量一遍(check-shell 的「窗口高 …px」)。 + // 第十项「评测」加进来时量过:≤520px 那档还是 32px 的话,480px 高的窗口里遥测点超出视口 12px,所以收到 30px return (