助手只写了思考、一个操作都没给时自动重来一次:问数据和评测走同一个决定

真实模型验收里 deepseek 偶发只出思考、不出操作,生成过程交出 error「助手本轮未完成:模型没有给出任何修改,也没有说明
原因」,问数据这一轮照实报了,但不会自动重来——而这种偶发情况重来一次多半就好,「重来一次」的规矩本来就有
(chat/turn 的 MAX_ATTEMPTS = 2,含第一次)。

- chat/turn:error 也由 next_step 判:机读码是 EMPTY_GENERATION(copilot_empty)的判 retry,别的仍判失败(被截断的不重来:
  额度不变,重来还是截断);error_reason 取重来时交给助手的原因(error 带的 reason,没有就去掉「助手本轮未完成:」前缀);
- api/copilot.answer_ops:一个操作都没给时 CopilotIncomplete 带上这个码;error 操作多带 reason 和 next(retry | fail),和
  final 的 next 一样由服务端定;
- 问数据页(store/chat.ts)照 error.next 走:retry 就带着原因重来一次(同 retry_instruction 的从零重建措辞,次数照
  MAX_ATTEMPTS),试满了才照实报;进度写「助手上一次没有给出任何操作,正在重新生成工作流…」(lib/terms 的 CHAT_RETRY_TEXT);
  第一次建图的用量照样记进这一轮;
- 评测(eval/answer.Driver.drive)用同一个 next_step / error_reason / retry_instruction:先重来一次,还不行才记建图失败、
  助手调用失败;每次自动重来的原因照实记在 turn.retries(没过检查、复核判不可用的重来也记),评测页逐题明细写出来。

测试:test_chat_turn_policy.py 的 test_next_step_branches(error 的两支和 error_reason)、
test_the_frontend_retries_an_error_the_server_says_to_retry、test_answer_ops_says_to_retry_an_empty_generation、
test_the_eval_driver_retries_an_empty_generation_once(重来后回答 / 重来还不行,两次的用量都算);
test_copilot_answer_ops.py 的 SSE 对照多认 error 上新加的 next、reason、code。去掉修复回跑都失败。
浏览器:check-chat 新加 emptyretry 一节(重来一次后照常回答、交回去的话带原因、两次用量都记;两次都不行照实报、不试第三次),
check-chat 840 项全过。
This commit is contained in:
ThearchyHelios
2026-10-17 11:51:34 +08:00
parent 4aa3e6f01f
commit 3dc5f5add4
11 changed files with 213 additions and 22 deletions
+6
View File
@@ -774,6 +774,12 @@ export const TURN_COST_TEXT = {
`其中 ${formatNumber(n)} 次调用的金额无法估算(模型不在价格目录中,或用量没有报全),未计入,实际花费不低于此数`,
} as const
/** 问数据一轮自动重来一次时的进度说明(服务端 chat/turn.next_step 判的 retry) */
export const CHAT_RETRY_TEXT = {
/** 助手上一次只写了思考、一个操作都没给(error.next = retry) */
empty: '助手上一次没有给出任何操作,正在重新生成工作流…',
} as const
export const JUDGE_SETTING_TEXT = {
label: '证据裁判',
hint: '报告中的结论句(如「增长主要来自新客首单」)由另一个模型按证据逐句判断:正式运行由报告撰写节点当场裁判,探索运行在点击时逐句裁判。判断由模型给出,不是系统核对,界面上一律标注「非确定」。',
+2
View File
@@ -505,6 +505,8 @@ export const EVAL_TEXT = {
filter: '只看',
repeat: (n: number) => `第 ${n + 1} 次`,
attempts: (n: number) => `这一题自动重来了 ${n} 次`,
/** 每次自动重来的原因(服务端 eval/answer 的 turn.retries) */
retriesWhy: (reasons: string[]) => `:${reasons.join(';')}`,
turnReason: '作答的经过',
answer: '答案原文',
expand: '展开',
+5 -1
View File
@@ -463,7 +463,11 @@ function ResultDetail({ evaluationId, resultId }: { evaluationId: string; result
const R = T.results
return (
<div className="space-y-1" data-eval-result-details="">
{(turn.attempts ?? 0) > 0 && <p className="text-faint">{R.attempts(turn.attempts)}</p>}
{(turn.attempts ?? 0) > 0 && (
<p className="text-faint" data-eval-retries={turn.retries?.length ?? 0}>
{R.attempts(turn.attempts)}{turn.retries?.length ? R.retriesWhy(turn.retries) : ''}
</p>
)}
{turn.reason && <p className="text-dim"><span className="text-faint">{R.turnReason}:</span>{turn.reason}</p>}
{answer && (
<details>
+7 -4
View File
@@ -2,7 +2,7 @@ import { create } from 'zustand'
import { ApiError, api, streamCopilot, streamRun } from '../api/client'
import type { CopilotOp, FixKind, RunFinal } from '../run/decode'
import { copilotContext, copilotLook, decodeRun, looksOf } from '../run/decode'
import { CHAT_BLUEPRINT_TEXT, LEDGER_TEXT, LOOK_TEXT, REJECTED_TEXT } from '../lib/terms'
import { CHAT_BLUEPRINT_TEXT, CHAT_RETRY_TEXT, LEDGER_TEXT, LOOK_TEXT, REJECTED_TEXT } from '../lib/terms'
import type { LookEvent } from '../typesApp'
import { errorMessage, humanizeError, isNetworkError } from '../lib/errors'
import { guardReview, hasEvidence } from '../lib/evidence'
@@ -1419,14 +1419,14 @@ function plan(flow: Flow, args: PlanArgs) {
* 这里会清空这一次的过程和答案——它是自动补救,用户还没拿到过答案。用户主动
* 点的重试走 retryTurn,上一次要留档。
*/
const retry = (reason: string, instruction?: string) => {
const retry = (reason: string, instruction?: string, status?: string) => {
// 服务端给了那句话(复核的 retry_instruction)就是它已经按次数判过可以重来;老服务端由这里按次数判
if ((!instruction && attempt + 1 >= MAX_ATTEMPTS) || !flow.alive()) return false
const base = built && (built.nodes?.length ?? 0) > 0 ? built : null
patch((t) => ({
attempt: attempt + 1,
phase: 'planning',
status: base ? '上次运行未成功,正在调整工作流…' : '上次运行未成功,正在重新生成工作流…',
status: status ?? (base ? '上次运行未成功,正在调整工作流…' : '上次运行未成功,正在重新生成工作流…'),
ops: [], events: [], run: null, output: null, final: undefined, runStatus: undefined,
review: null, reviewRaw: null, rawOutput: null, lastSeq: 0, failure: null, error: '',
// 换下来的那次运行花的钱还是这一轮的
@@ -1586,9 +1586,12 @@ function plan(flow: Flow, args: PlanArgs) {
void flow.persist()
break
case 'error':
settled = true
// 生成过程一个操作都没给(模型只写了思考):服务端说重来一次(error.next = retry,backend/app/chat/turn.py 的
// next_step),照它带着原因重来,次数照 MAX_ATTEMPTS;试满了才照实报。这一次建图的用量随后那条 usage 照样记进这一轮
if (op.next === 'retry' && retry(String(op.reason ?? op.message ?? ''), undefined, CHAT_RETRY_TEXT.empty)) break
// 后端给的是三段:message 人话、hint 怎么办、detail 原始异常。
// 原文不再截成一行甩给用户,收进可展开、可复制的技术细节
settled = true
fail({
...failureOf(op.message ?? '生成失败'),
...(op.hint ? { hint: String(op.hint) } : {}),