评测前端:顶级导航「评测」、题集与加题、发起评测、评测详情、口径命中与重复度、目录快照;定时页选目标种类;记录页评测来源;设置里评测一组

为什么:前三波评测只有接口,这一波是收口——每样能力都要有界面、能走通(细案 01 第 18 项、第 15 项定时的前端部分,评测-D8)。
界面层不放逻辑:比率、结论、趋势、分档、能不能做都由服务端给(上一次提交在 api/evals.py 补的 latest、trend、actions、
preview、signals、逐题花费),界面只显示。

- 导航:「评测」排在设置前面、⌥0,搭建者以上可见(使用者的页面表在 visiblePages 里收窄,手输地址被送回应用首页)。导航从 9 项
  变 10 项,在 600、520、480 像素高的窗口里重新量过:≤520px 那档的导航项从 32px 收到 30px(17px 图标 + 2px + 11px 字),
  不然 480 高时遥测点超出视口 12px;App.tsx 的说明跟着改。
- 评测页 pages/evals/*(类型 typesEval.ts、接口 api/evals.ts、文案 lib/termsEval.ts 的 EVAL_TEXT):题集列表(最近一次、同一
  变体的趋势、定时,没有定时给「设定时」带着题集去新建);新建、导入(先预览)、导出、归档、删除、题集设置(时区、默认变体——
  定时评测按它评、预算只填要改的项);题目表(启用、试算、编辑、删除),口径升版待处置的顶部提示和三选一处置(叫法由服务端给,
  没有缺省);加题四种方式:写 SQL 定期望(选数据源、写 SQL、预览、点选格 / 列 / 配对列、按维度找行、试算,遮罩列拒收的原话
  落在 SQL 下面)、选口径(工作流|口径卡|指标,不能复用的照列写原因,口径的输入按那一版的入口字段填)、从问数据运行认定
  (选运行、选查询、选取哪一列,用到遮罩列的查询不给认定)、期望没有数据或期望反问;可另加文字要点。数值期望不许人填:只点选
  取哪一格。
- 发起评测:评一次 / A/B 对照(两到三臂)/ 目录贡献对照(预设,可加「只用已核实和已确认的项」),变体有助手、写作模型、结论
  裁判、目录(当前 / 只用已核实的 / 关 / 快照)、重复次数;估算和发起是同一份请求体,项数、按上一次估的花费、生效的预算、今天
  已花照服务端写;可点名和哪一次比。
- 评测详情 /evals/runs/:id:进度和每题正在做什么、停止、只重试没做完的、按新规则重评、设为基线(按钮照服务端的 actions 摆);
  总览卡片(准确率和可追溯准确率带区间、花费、逐题 E1)和各项分布(结论、作答路径、出具档位、复核、结论裁判、引用率、查看、
  耗时、按角色的用量);逐题表(结论、期望和答案里的数、弱匹配、SQL 差在哪、查看、耗时、花费,展开看原因、去运行详情;
  ?case= 定位那道题);和上一次比(换基准、指纹差异、转移和归因);A/B 配对表(都对 / 只 A 对 / 只 B 对 / 都错、p 值)。
- 「口径命中与重复度」页签:E1、E3 这一窗口的值和档位、参考线、往前几个窗口的趋势(GET /api/evals/signals),明细直接调口径
  账本的 GET /api/ledger/stats(总方案 X2);成员不少于 3 的问题类能加入题集(带着问法去加题)、提取模板(从最近一次的运行提取,
  去画布)。目录快照页签:拍当前目录、影子起草(先估算再开始,能停)。
- 定时页:新建时先选定时什么(工作流 / 评测题集;数据源维护在数据源页建),评测题集的表单(pages/schedules/TargetEditor.tsx:名称、题集、
  FreqPicker、补发宽限,建题集目标用 ScheduleTargetCreate),评测题集的定时在详情里能改名称、频率、时区、补发宽限(SchedulePatch,
  只交改了的、带版本);数据源维护的定时只读、链到数据源页,第 3 波「只能查看,不能修改」那句改成说清在数据源页设置;触发历史里
  的评测链到评测详情。纯函数 targetFormOf / targetCreateBody / targetPatchBody / targetProblems 放 model.ts。
- 记录页:评测运行旁的「评测」标记写是哪一步(作答、算期望……),点了回到评测里那道题;运行详情页头有键盘到得了的链接
  (pages/runs/EvalSource.tsx)。
- 设置:偏好设置里「评测」一节(pages/EvalSettings.tsx,SettingsPage 里加一行):四项预算缺省、保留几次、缺省开不开结论裁判、
  今天已花;自己存、只交 eval 一组,取值范围只在服务端判。
- 问数据用量(评测-D14 的界面一半):复核慢过问数据页的等待上限时,答案照原样先交出去,复核那一次的用量晚到了照记进这一轮、
  再落一次库(以前直接丢掉);开发期 window.__chatReviewWait 让检查脚本把上限调短。

检查:check-evals.mjs 换成真检查(假接口加夹具,写请求在浏览器层拦下并断言请求体,98 项);check-shell 导航十项、⌥0、三种窗口高;
check-schedules 目标种类(纯函数和页面);check-chat 用量那一段加复核晚到。
This commit is contained in:
ThearchyHelios
2026-10-16 20:37:57 +08:00
parent 56ca53ad35
commit 45c1ede402
35 changed files with 6243 additions and 57 deletions
+4
View File
@@ -23,6 +23,8 @@ import { bundle, dispositionName } from './bundle'
import { compare } from './compare'
import { inquiry } from './inquiry'
import { schedules } from './schedules'
// 评测(下一轮第 4 波):接口在 api/evals.ts,这里只挂上去
import { evals } from './evals'
import { whatif } from './whatif'
import { reportExport } from './reportExport'
// 应用平台:各自的接口文件,这里只挂上去
@@ -948,6 +950,8 @@ export const api = {
// ---- 复核套件:各功能的接口在自己的文件里(api/<名字>.ts),这里只挂上去 ----
schedules,
// 评测:题集、题目、发起与结果、对比与 A/B、目录快照、口径命中与重复度
evals,
compare,
bundle,
inquiry,
+116
View File
@@ -0,0 +1,116 @@
/**
* 评测的接口(/api/evals,服务端 backend/app/api/evals.py;整组只给搭建者及以上),挂在 api.evals 上。形状见 typesEval.ts。
*
* 请求函数从 ./http 导入,不从 ./client 导入:client.ts 要导入这个文件把它挂到 api 上,反过来导入就成了循环(见 http.ts
* 开头的说明)。错误都是 ApiError:改题集、改题目版本不符回 409;题目没过试算回 422(detail 是原因,field 指明是哪一格,
* code 给程序认:eval_gold_masked 遮罩列、eval_gold_guard 没过只读守卫……)。
*
* 「口径命中与重复度」的详细分布直接调口径账本的 GET /api/ledger/stats(总方案 X2:E1–E4 只有一份实现),也放在这里。
*/
import type {
EvalCaliber, EvalCaseBody, EvalCaseSaved, EvalCompare, EvalEstimate, EvalImported, EvalImportPlan, EvalPair,
EvalPreview, EvalResult, EvalRun, EvalRunDetail, EvalRunQuery, EvalShadowBody, EvalShadowPlan, EvalSignals,
EvalSnapshot, EvalSpend, EvalStartBody, EvalSuite, EvalSuiteDetail, EvalTrial, EvalUpgradePolicy, EvalUpgradeState,
LedgerStats,
} from '../typesEval'
import { ApiError, BASE, NETWORK_MESSAGE, actorHeader, del, failure, get, patch, post, qs, report, type RequestOptions } from './http'
import { dispositionName } from './bundle'
const suite = (id: string) => `/evals/suites/${encodeURIComponent(id)}`
const evaluation = (id: string) => `/evals/evaluations/${encodeURIComponent(id)}`
export const evals = {
// ---- 题集
suites: (opts?: { archived?: boolean } & RequestOptions) =>
get<{ suites: EvalSuite[] }>(`/evals/suites${qs({ archived: opts?.archived ? 'true' : undefined })}`, opts),
suite: (id: string, opts?: RequestOptions) => get<EvalSuiteDetail>(suite(id), opts),
createSuite: (body: { name: string; description?: string; timezone?: string }) => post<EvalSuite>('/evals/suites', body),
/** 改题集:带上读到的 version,对不上 409。交回改后的题集(含题目) */
updateSuite: (id: string, body: Record<string, unknown> & { version: number }) => patch<EvalSuiteDetail>(suite(id), body),
/** 删题集:有评测记录的不能删(409 eval_suite_has_runs),只能归档 */
removeSuite: (id: string) => del(suite(id)),
// ---- 题目
/** 建一道题:服务端先试算一次,没过回 422、不保存 */
createCase: (suiteId: string, body: EvalCaseBody) => post<EvalCaseSaved>(`${suite(suiteId)}/cases`, body),
/** 改一道题(带 version):内容变了要重新试算、没过不保存;只改标签、启用的不试算 */
updateCase: (suiteId: string, caseId: string, body: EvalCaseBody & { version: number }) =>
patch<EvalCaseSaved>(`${suite(suiteId)}/cases/${encodeURIComponent(caseId)}`, body),
removeCase: (suiteId: string, caseId: string) => del(`${suite(suiteId)}/cases/${encodeURIComponent(caseId)}`),
/** 只试算不保存:没过的照实写原因(不回 422) */
trial: (suiteId: string, body: EvalCaseBody) => post<{ trial: EvalTrial }>(`${suite(suiteId)}/cases/trial`, body),
/** 按此刻试算一道已有的题,记进题目 */
trialCase: (suiteId: string, caseId: string) =>
post<{ trial: EvalTrial }>(`${suite(suiteId)}/cases/${encodeURIComponent(caseId)}/trial`),
/** 写 SQL 定期望的预览:结果的列和前几行;遮罩列、守卫照实拒收(不回 422) */
preview: (suiteId: string, body: { datasource_id: string; sql: string }) =>
post<EvalPreview>(`${suite(suiteId)}/cases/preview`, body),
// ---- 从运行认定
runQueries: (runId: string) => get<{ queries: EvalRunQuery[] }>(`/evals/runs/${encodeURIComponent(runId)}/queries`),
createFromRun: (suiteId: string, body: { run_id: string; query: string; expectations: EvalCaseBody['expectations']; question?: string; tags?: string[]; datasource_ids?: string[] }) =>
post<EvalCaseSaved>(`${suite(suiteId)}/cases/from-run`, body),
// ---- 口径
calibers: () => get<{ calibers: EvalCaliber[] }>('/evals/calibers'),
upgrade: (suiteId: string, caseId: string) =>
get<{ upgrade: EvalUpgradeState | null; choices: Record<EvalUpgradePolicy, string> }>(
`${suite(suiteId)}/cases/${encodeURIComponent(caseId)}/upgrade`),
/** 处置口径升版:三选一,没有缺省;处置后的题同样要试算通过才生效 */
disposeUpgrade: (suiteId: string, caseId: string, body: { policy: EvalUpgradePolicy; version: number }) =>
post<EvalCaseSaved>(`${suite(suiteId)}/cases/${encodeURIComponent(caseId)}/upgrade`, body),
// ---- 导出导入
/** 题集导出成 JSON 文件(附件):回来的是文件本身和服务端给的文件名 */
exportFile: async (suiteId: string): Promise<{ blob: Blob; name: string | null }> => {
const path = `${suite(suiteId)}/export`
let res: Response
try {
res = await fetch(BASE + path, { headers: actorHeader() })
} catch (e: any) {
const err = new ApiError(0, NETWORK_MESSAGE, { kind: 'network', raw: `${e?.name ?? 'Error'}: ${e?.message ?? e}` })
report(false, err)
throw err
}
if (!res.ok) throw failure(res.status, res.statusText, await res.text().catch(() => ''), path)
report(true)
return { blob: await res.blob(), name: dispositionName(res.headers.get('Content-Disposition')) }
},
importPreview: (content: unknown) => post<EvalImportPlan>('/evals/suites/import/preview', { content }),
importSuite: (content: unknown, name?: string) => post<EvalImported>('/evals/suites/import', { content, ...(name ? { name } : {}) }),
// ---- 目录快照
snapshots: () => get<{ snapshots: EvalSnapshot[] }>('/evals/catalog-snapshots'),
snapshot: (id: string) => get<EvalSnapshot>(`/evals/catalog-snapshots/${encodeURIComponent(id)}`),
takeSnapshot: (sourceIds: string[]) => post<EvalSnapshot>('/evals/catalog-snapshots', { source_ids: sourceIds }),
shadowEstimate: (body: EvalShadowBody) => post<EvalShadowPlan>('/evals/catalog-snapshots/shadow/estimate', body),
startShadow: (body: EvalShadowBody) => post<EvalSnapshot>('/evals/catalog-snapshots/shadow', body),
stopSnapshot: (id: string) => post<EvalSnapshot>(`/evals/catalog-snapshots/${encodeURIComponent(id)}/stop`),
// ---- 评测
estimate: (suiteId: string, body: EvalStartBody) => post<EvalEstimate>(`${suite(suiteId)}/evaluations/estimate`, body),
start: (suiteId: string, body: EvalStartBody) =>
post<{ evaluations: EvalRun[]; pair_id: string | null }>(`${suite(suiteId)}/evaluations`, body),
evaluations: (suiteId: string, limit = 50) => get<{ evaluations: EvalRun[] }>(`${suite(suiteId)}/evaluations${qs({ limit })}`),
evaluation: (id: string, opts?: RequestOptions) => get<EvalRunDetail>(evaluation(id), opts),
results: (id: string) => get<{ evaluation_id: string; cleaned: boolean; results: EvalResult[] }>(`${evaluation(id)}/results`),
result: (id: string, resultId: string) =>
get<EvalResult & { details: Record<string, any> | null }>(`${evaluation(id)}/results/${encodeURIComponent(resultId)}`),
stop: (id: string) => post<EvalRun>(`${evaluation(id)}/stop`),
/** 只把没做完的题接着做(A/B 时同一题几臂一起重做) */
retry: (id: string) => post<{ evaluations: EvalRun[] }>(`${evaluation(id)}/retry`),
/** 按现在的评分规则重新评分:只读封存,不调模型、不查业务库 */
rescore: (id: string) => post<EvalRun & { changed: number }>(`${evaluation(id)}/rescore`),
pin: (id: string, pinned: boolean) => post<EvalRun>(`${evaluation(id)}/pin`, { pinned }),
compare: (id: string, base?: string | null) => get<EvalCompare>(`${evaluation(id)}/compare${qs({ base: base || undefined })}`),
pair: (pairId: string) => get<EvalPair>(`/evals/pairs/${encodeURIComponent(pairId)}`),
cleanup: (suiteId: string) => post<Record<string, unknown>>(`${suite(suiteId)}/cleanup`),
// ---- 口径命中与重复度
signals: (days: number, points = 6) => get<EvalSignals>(`/evals/signals${qs({ days, points })}`),
/** 口径账本的统计(E1–E4 只有这一份实现):since 是 ISO 时间 */
ledgerStats: (since?: string | null) => get<LedgerStats>(`/ledger/stats${qs({ since: since || undefined })}`),
// ---- 设置里的今日花费
spend: () => get<EvalSpend>('/settings/eval/spend'),
}