mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-21 19:32:00 +00:00
评测前端:顶级导航「评测」、题集与加题、发起评测、评测详情、口径命中与重复度、目录快照;定时页选目标种类;记录页评测来源;设置里评测一组
为什么:前三波评测只有接口,这一波是收口——每样能力都要有界面、能走通(细案 01 第 18 项、第 15 项定时的前端部分,评测-D8)。 界面层不放逻辑:比率、结论、趋势、分档、能不能做都由服务端给(上一次提交在 api/evals.py 补的 latest、trend、actions、 preview、signals、逐题花费),界面只显示。 - 导航:「评测」排在设置前面、⌥0,搭建者以上可见(使用者的页面表在 visiblePages 里收窄,手输地址被送回应用首页)。导航从 9 项 变 10 项,在 600、520、480 像素高的窗口里重新量过:≤520px 那档的导航项从 32px 收到 30px(17px 图标 + 2px + 11px 字), 不然 480 高时遥测点超出视口 12px;App.tsx 的说明跟着改。 - 评测页 pages/evals/*(类型 typesEval.ts、接口 api/evals.ts、文案 lib/termsEval.ts 的 EVAL_TEXT):题集列表(最近一次、同一 变体的趋势、定时,没有定时给「设定时」带着题集去新建);新建、导入(先预览)、导出、归档、删除、题集设置(时区、默认变体—— 定时评测按它评、预算只填要改的项);题目表(启用、试算、编辑、删除),口径升版待处置的顶部提示和三选一处置(叫法由服务端给, 没有缺省);加题四种方式:写 SQL 定期望(选数据源、写 SQL、预览、点选格 / 列 / 配对列、按维度找行、试算,遮罩列拒收的原话 落在 SQL 下面)、选口径(工作流|口径卡|指标,不能复用的照列写原因,口径的输入按那一版的入口字段填)、从问数据运行认定 (选运行、选查询、选取哪一列,用到遮罩列的查询不给认定)、期望没有数据或期望反问;可另加文字要点。数值期望不许人填:只点选 取哪一格。 - 发起评测:评一次 / A/B 对照(两到三臂)/ 目录贡献对照(预设,可加「只用已核实和已确认的项」),变体有助手、写作模型、结论 裁判、目录(当前 / 只用已核实的 / 关 / 快照)、重复次数;估算和发起是同一份请求体,项数、按上一次估的花费、生效的预算、今天 已花照服务端写;可点名和哪一次比。 - 评测详情 /evals/runs/:id:进度和每题正在做什么、停止、只重试没做完的、按新规则重评、设为基线(按钮照服务端的 actions 摆); 总览卡片(准确率和可追溯准确率带区间、花费、逐题 E1)和各项分布(结论、作答路径、出具档位、复核、结论裁判、引用率、查看、 耗时、按角色的用量);逐题表(结论、期望和答案里的数、弱匹配、SQL 差在哪、查看、耗时、花费,展开看原因、去运行详情; ?case= 定位那道题);和上一次比(换基准、指纹差异、转移和归因);A/B 配对表(都对 / 只 A 对 / 只 B 对 / 都错、p 值)。 - 「口径命中与重复度」页签:E1、E3 这一窗口的值和档位、参考线、往前几个窗口的趋势(GET /api/evals/signals),明细直接调口径 账本的 GET /api/ledger/stats(总方案 X2);成员不少于 3 的问题类能加入题集(带着问法去加题)、提取模板(从最近一次的运行提取, 去画布)。目录快照页签:拍当前目录、影子起草(先估算再开始,能停)。 - 定时页:新建时先选定时什么(工作流 / 评测题集;数据源维护在数据源页建),评测题集的表单(pages/schedules/TargetEditor.tsx:名称、题集、 FreqPicker、补发宽限,建题集目标用 ScheduleTargetCreate),评测题集的定时在详情里能改名称、频率、时区、补发宽限(SchedulePatch, 只交改了的、带版本);数据源维护的定时只读、链到数据源页,第 3 波「只能查看,不能修改」那句改成说清在数据源页设置;触发历史里 的评测链到评测详情。纯函数 targetFormOf / targetCreateBody / targetPatchBody / targetProblems 放 model.ts。 - 记录页:评测运行旁的「评测」标记写是哪一步(作答、算期望……),点了回到评测里那道题;运行详情页头有键盘到得了的链接 (pages/runs/EvalSource.tsx)。 - 设置:偏好设置里「评测」一节(pages/EvalSettings.tsx,SettingsPage 里加一行):四项预算缺省、保留几次、缺省开不开结论裁判、 今天已花;自己存、只交 eval 一组,取值范围只在服务端判。 - 问数据用量(评测-D14 的界面一半):复核慢过问数据页的等待上限时,答案照原样先交出去,复核那一次的用量晚到了照记进这一轮、 再落一次库(以前直接丢掉);开发期 window.__chatReviewWait 让检查脚本把上限调短。 检查:check-evals.mjs 换成真检查(假接口加夹具,写请求在浏览器层拦下并断言请求体,98 项);check-shell 导航十项、⌥0、三种窗口高; check-schedules 目标种类(纯函数和页面);check-chat 用量那一段加复核晚到。
This commit is contained in:
@@ -23,6 +23,8 @@ import { bundle, dispositionName } from './bundle'
|
||||
import { compare } from './compare'
|
||||
import { inquiry } from './inquiry'
|
||||
import { schedules } from './schedules'
|
||||
// 评测(下一轮第 4 波):接口在 api/evals.ts,这里只挂上去
|
||||
import { evals } from './evals'
|
||||
import { whatif } from './whatif'
|
||||
import { reportExport } from './reportExport'
|
||||
// 应用平台:各自的接口文件,这里只挂上去
|
||||
@@ -948,6 +950,8 @@ export const api = {
|
||||
|
||||
// ---- 复核套件:各功能的接口在自己的文件里(api/<名字>.ts),这里只挂上去 ----
|
||||
schedules,
|
||||
// 评测:题集、题目、发起与结果、对比与 A/B、目录快照、口径命中与重复度
|
||||
evals,
|
||||
compare,
|
||||
bundle,
|
||||
inquiry,
|
||||
|
||||
@@ -0,0 +1,116 @@
|
||||
/**
|
||||
* 评测的接口(/api/evals,服务端 backend/app/api/evals.py;整组只给搭建者及以上),挂在 api.evals 上。形状见 typesEval.ts。
|
||||
*
|
||||
* 请求函数从 ./http 导入,不从 ./client 导入:client.ts 要导入这个文件把它挂到 api 上,反过来导入就成了循环(见 http.ts
|
||||
* 开头的说明)。错误都是 ApiError:改题集、改题目版本不符回 409;题目没过试算回 422(detail 是原因,field 指明是哪一格,
|
||||
* code 给程序认:eval_gold_masked 遮罩列、eval_gold_guard 没过只读守卫……)。
|
||||
*
|
||||
* 「口径命中与重复度」的详细分布直接调口径账本的 GET /api/ledger/stats(总方案 X2:E1–E4 只有一份实现),也放在这里。
|
||||
*/
|
||||
import type {
|
||||
EvalCaliber, EvalCaseBody, EvalCaseSaved, EvalCompare, EvalEstimate, EvalImported, EvalImportPlan, EvalPair,
|
||||
EvalPreview, EvalResult, EvalRun, EvalRunDetail, EvalRunQuery, EvalShadowBody, EvalShadowPlan, EvalSignals,
|
||||
EvalSnapshot, EvalSpend, EvalStartBody, EvalSuite, EvalSuiteDetail, EvalTrial, EvalUpgradePolicy, EvalUpgradeState,
|
||||
LedgerStats,
|
||||
} from '../typesEval'
|
||||
import { ApiError, BASE, NETWORK_MESSAGE, actorHeader, del, failure, get, patch, post, qs, report, type RequestOptions } from './http'
|
||||
import { dispositionName } from './bundle'
|
||||
|
||||
const suite = (id: string) => `/evals/suites/${encodeURIComponent(id)}`
|
||||
const evaluation = (id: string) => `/evals/evaluations/${encodeURIComponent(id)}`
|
||||
|
||||
export const evals = {
|
||||
// ---- 题集
|
||||
suites: (opts?: { archived?: boolean } & RequestOptions) =>
|
||||
get<{ suites: EvalSuite[] }>(`/evals/suites${qs({ archived: opts?.archived ? 'true' : undefined })}`, opts),
|
||||
suite: (id: string, opts?: RequestOptions) => get<EvalSuiteDetail>(suite(id), opts),
|
||||
createSuite: (body: { name: string; description?: string; timezone?: string }) => post<EvalSuite>('/evals/suites', body),
|
||||
/** 改题集:带上读到的 version,对不上 409。交回改后的题集(含题目) */
|
||||
updateSuite: (id: string, body: Record<string, unknown> & { version: number }) => patch<EvalSuiteDetail>(suite(id), body),
|
||||
/** 删题集:有评测记录的不能删(409 eval_suite_has_runs),只能归档 */
|
||||
removeSuite: (id: string) => del(suite(id)),
|
||||
|
||||
// ---- 题目
|
||||
/** 建一道题:服务端先试算一次,没过回 422、不保存 */
|
||||
createCase: (suiteId: string, body: EvalCaseBody) => post<EvalCaseSaved>(`${suite(suiteId)}/cases`, body),
|
||||
/** 改一道题(带 version):内容变了要重新试算、没过不保存;只改标签、启用的不试算 */
|
||||
updateCase: (suiteId: string, caseId: string, body: EvalCaseBody & { version: number }) =>
|
||||
patch<EvalCaseSaved>(`${suite(suiteId)}/cases/${encodeURIComponent(caseId)}`, body),
|
||||
removeCase: (suiteId: string, caseId: string) => del(`${suite(suiteId)}/cases/${encodeURIComponent(caseId)}`),
|
||||
/** 只试算不保存:没过的照实写原因(不回 422) */
|
||||
trial: (suiteId: string, body: EvalCaseBody) => post<{ trial: EvalTrial }>(`${suite(suiteId)}/cases/trial`, body),
|
||||
/** 按此刻试算一道已有的题,记进题目 */
|
||||
trialCase: (suiteId: string, caseId: string) =>
|
||||
post<{ trial: EvalTrial }>(`${suite(suiteId)}/cases/${encodeURIComponent(caseId)}/trial`),
|
||||
/** 写 SQL 定期望的预览:结果的列和前几行;遮罩列、守卫照实拒收(不回 422) */
|
||||
preview: (suiteId: string, body: { datasource_id: string; sql: string }) =>
|
||||
post<EvalPreview>(`${suite(suiteId)}/cases/preview`, body),
|
||||
|
||||
// ---- 从运行认定
|
||||
runQueries: (runId: string) => get<{ queries: EvalRunQuery[] }>(`/evals/runs/${encodeURIComponent(runId)}/queries`),
|
||||
createFromRun: (suiteId: string, body: { run_id: string; query: string; expectations: EvalCaseBody['expectations']; question?: string; tags?: string[]; datasource_ids?: string[] }) =>
|
||||
post<EvalCaseSaved>(`${suite(suiteId)}/cases/from-run`, body),
|
||||
|
||||
// ---- 口径
|
||||
calibers: () => get<{ calibers: EvalCaliber[] }>('/evals/calibers'),
|
||||
upgrade: (suiteId: string, caseId: string) =>
|
||||
get<{ upgrade: EvalUpgradeState | null; choices: Record<EvalUpgradePolicy, string> }>(
|
||||
`${suite(suiteId)}/cases/${encodeURIComponent(caseId)}/upgrade`),
|
||||
/** 处置口径升版:三选一,没有缺省;处置后的题同样要试算通过才生效 */
|
||||
disposeUpgrade: (suiteId: string, caseId: string, body: { policy: EvalUpgradePolicy; version: number }) =>
|
||||
post<EvalCaseSaved>(`${suite(suiteId)}/cases/${encodeURIComponent(caseId)}/upgrade`, body),
|
||||
|
||||
// ---- 导出导入
|
||||
/** 题集导出成 JSON 文件(附件):回来的是文件本身和服务端给的文件名 */
|
||||
exportFile: async (suiteId: string): Promise<{ blob: Blob; name: string | null }> => {
|
||||
const path = `${suite(suiteId)}/export`
|
||||
let res: Response
|
||||
try {
|
||||
res = await fetch(BASE + path, { headers: actorHeader() })
|
||||
} catch (e: any) {
|
||||
const err = new ApiError(0, NETWORK_MESSAGE, { kind: 'network', raw: `${e?.name ?? 'Error'}: ${e?.message ?? e}` })
|
||||
report(false, err)
|
||||
throw err
|
||||
}
|
||||
if (!res.ok) throw failure(res.status, res.statusText, await res.text().catch(() => ''), path)
|
||||
report(true)
|
||||
return { blob: await res.blob(), name: dispositionName(res.headers.get('Content-Disposition')) }
|
||||
},
|
||||
importPreview: (content: unknown) => post<EvalImportPlan>('/evals/suites/import/preview', { content }),
|
||||
importSuite: (content: unknown, name?: string) => post<EvalImported>('/evals/suites/import', { content, ...(name ? { name } : {}) }),
|
||||
|
||||
// ---- 目录快照
|
||||
snapshots: () => get<{ snapshots: EvalSnapshot[] }>('/evals/catalog-snapshots'),
|
||||
snapshot: (id: string) => get<EvalSnapshot>(`/evals/catalog-snapshots/${encodeURIComponent(id)}`),
|
||||
takeSnapshot: (sourceIds: string[]) => post<EvalSnapshot>('/evals/catalog-snapshots', { source_ids: sourceIds }),
|
||||
shadowEstimate: (body: EvalShadowBody) => post<EvalShadowPlan>('/evals/catalog-snapshots/shadow/estimate', body),
|
||||
startShadow: (body: EvalShadowBody) => post<EvalSnapshot>('/evals/catalog-snapshots/shadow', body),
|
||||
stopSnapshot: (id: string) => post<EvalSnapshot>(`/evals/catalog-snapshots/${encodeURIComponent(id)}/stop`),
|
||||
|
||||
// ---- 评测
|
||||
estimate: (suiteId: string, body: EvalStartBody) => post<EvalEstimate>(`${suite(suiteId)}/evaluations/estimate`, body),
|
||||
start: (suiteId: string, body: EvalStartBody) =>
|
||||
post<{ evaluations: EvalRun[]; pair_id: string | null }>(`${suite(suiteId)}/evaluations`, body),
|
||||
evaluations: (suiteId: string, limit = 50) => get<{ evaluations: EvalRun[] }>(`${suite(suiteId)}/evaluations${qs({ limit })}`),
|
||||
evaluation: (id: string, opts?: RequestOptions) => get<EvalRunDetail>(evaluation(id), opts),
|
||||
results: (id: string) => get<{ evaluation_id: string; cleaned: boolean; results: EvalResult[] }>(`${evaluation(id)}/results`),
|
||||
result: (id: string, resultId: string) =>
|
||||
get<EvalResult & { details: Record<string, any> | null }>(`${evaluation(id)}/results/${encodeURIComponent(resultId)}`),
|
||||
stop: (id: string) => post<EvalRun>(`${evaluation(id)}/stop`),
|
||||
/** 只把没做完的题接着做(A/B 时同一题几臂一起重做) */
|
||||
retry: (id: string) => post<{ evaluations: EvalRun[] }>(`${evaluation(id)}/retry`),
|
||||
/** 按现在的评分规则重新评分:只读封存,不调模型、不查业务库 */
|
||||
rescore: (id: string) => post<EvalRun & { changed: number }>(`${evaluation(id)}/rescore`),
|
||||
pin: (id: string, pinned: boolean) => post<EvalRun>(`${evaluation(id)}/pin`, { pinned }),
|
||||
compare: (id: string, base?: string | null) => get<EvalCompare>(`${evaluation(id)}/compare${qs({ base: base || undefined })}`),
|
||||
pair: (pairId: string) => get<EvalPair>(`/evals/pairs/${encodeURIComponent(pairId)}`),
|
||||
cleanup: (suiteId: string) => post<Record<string, unknown>>(`${suite(suiteId)}/cleanup`),
|
||||
|
||||
// ---- 口径命中与重复度
|
||||
signals: (days: number, points = 6) => get<EvalSignals>(`/evals/signals${qs({ days, points })}`),
|
||||
/** 口径账本的统计(E1–E4 只有这一份实现):since 是 ISO 时间 */
|
||||
ledgerStats: (since?: string | null) => get<LedgerStats>(`/ledger/stats${qs({ since: since || undefined })}`),
|
||||
|
||||
// ---- 设置里的今日花费
|
||||
spend: () => get<EvalSpend>('/settings/eval/spend'),
|
||||
}
|
||||
Reference in New Issue
Block a user