mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-22 16:42:01 +00:00
助手只写了思考、一个操作都没给时自动重来一次:问数据和评测走同一个决定
真实模型验收里 deepseek 偶发只出思考、不出操作,生成过程交出 error「助手本轮未完成:模型没有给出任何修改,也没有说明 原因」,问数据这一轮照实报了,但不会自动重来——而这种偶发情况重来一次多半就好,「重来一次」的规矩本来就有 (chat/turn 的 MAX_ATTEMPTS = 2,含第一次)。 - chat/turn:error 也由 next_step 判:机读码是 EMPTY_GENERATION(copilot_empty)的判 retry,别的仍判失败(被截断的不重来: 额度不变,重来还是截断);error_reason 取重来时交给助手的原因(error 带的 reason,没有就去掉「助手本轮未完成:」前缀); - api/copilot.answer_ops:一个操作都没给时 CopilotIncomplete 带上这个码;error 操作多带 reason 和 next(retry | fail),和 final 的 next 一样由服务端定; - 问数据页(store/chat.ts)照 error.next 走:retry 就带着原因重来一次(同 retry_instruction 的从零重建措辞,次数照 MAX_ATTEMPTS),试满了才照实报;进度写「助手上一次没有给出任何操作,正在重新生成工作流…」(lib/terms 的 CHAT_RETRY_TEXT); 第一次建图的用量照样记进这一轮; - 评测(eval/answer.Driver.drive)用同一个 next_step / error_reason / retry_instruction:先重来一次,还不行才记建图失败、 助手调用失败;每次自动重来的原因照实记在 turn.retries(没过检查、复核判不可用的重来也记),评测页逐题明细写出来。 测试:test_chat_turn_policy.py 的 test_next_step_branches(error 的两支和 error_reason)、 test_the_frontend_retries_an_error_the_server_says_to_retry、test_answer_ops_says_to_retry_an_empty_generation、 test_the_eval_driver_retries_an_empty_generation_once(重来后回答 / 重来还不行,两次的用量都算); test_copilot_answer_ops.py 的 SSE 对照多认 error 上新加的 next、reason、code。去掉修复回跑都失败。 浏览器:check-chat 新加 emptyretry 一节(重来一次后照常回答、交回去的话带原因、两次用量都记;两次都不行照实报、不试第三次), check-chat 840 项全过。
This commit is contained in:
@@ -10,7 +10,8 @@
|
||||
复核跟着换);读哪份目录按变体(answer_ops 的 catalog_view,查看的表详情、自查的 SQL 检查器都按它)。
|
||||
- 结局:reply 直接回答、asked 反问、fail 判失败(建图失败)、ready 只建不跑、retry(老服务端那条路:没自查过的图带着原因
|
||||
重来一次)、run 运行。生成过程交出 error(助手本轮未完成)、开流前就拒绝(模型没配好、数据源不在)都是建图失败,另记
|
||||
「助手调用失败」——连续几题都这样就止损(runner.py)。
|
||||
「助手调用失败」——连续几题都这样就止损(runner.py);只有生成过程一个操作都没给(只写了思考,error.next=retry)时按
|
||||
同一个规矩先带着原因重来一次,还不行才记建图失败。每次重来的原因照实记在 retries。
|
||||
- 运行:fill_input 填入口字段(单轮,history 为空),来源 eval,名字「评测:题集名·第 n 题」,选项带目录视图(Run.options
|
||||
的 catalog_view:运行时的 db_schema、冻结快照、自查都按它)、只读和遮罩(同使用者的问数据运行:评测页会显示答案里的数,
|
||||
遮罩值不能从这里露出来;评测不写业务库)。写作模型按变体写进图的 defaults:节点自己点了模型的不覆盖,照实记在
|
||||
@@ -79,6 +80,8 @@ class Turn:
|
||||
#: 这一题发起过的全部作答运行(重来的话两次),失败的也在
|
||||
runs: list[str] = field(default_factory=list)
|
||||
attempts: int = 0
|
||||
#: 每次自动重来的原因(和 attempts 一一对应):没过检查、复核说不可信、生成过程一个操作都没给
|
||||
retries: list[str] = field(default_factory=list)
|
||||
reason: str | None = None
|
||||
#: 助手调用失败(生成过程交出 error、开流前就被拒):runner 据此止损
|
||||
copilot_failed: bool = False
|
||||
@@ -101,7 +104,7 @@ class Turn:
|
||||
|
||||
def to_dict(self) -> dict[str, Any]:
|
||||
return {"path": self.path, "run_id": self.run_id, "runs": list(self.runs), "attempts": self.attempts,
|
||||
"reason": self.reason, "copilot_failed": self.copilot_failed, "timed_out": self.timed_out,
|
||||
"retries": list(self.retries), "reason": self.reason, "copilot_failed": self.copilot_failed, "timed_out": self.timed_out,
|
||||
"reply": self.reply, "asked": self.asked, "review": self.review, "looks": list(self.looks),
|
||||
"assistant_model": self.assistant_model, "usage": copy.deepcopy(self.usage),
|
||||
"timings": dict(self.timings), "own_models": list(self.own_models)}
|
||||
@@ -381,6 +384,14 @@ class Driver:
|
||||
return t
|
||||
kind = terminal.get("op")
|
||||
if kind == "error":
|
||||
# 生成过程一个操作都没给(只写了思考):按重来一次的规矩带着原因重来(同问数据页,chat/turn.next_step)
|
||||
step = terminal.get("next") or policy.next_step(terminal)
|
||||
if step == policy.NEXT_RETRY and t.attempts + 1 < policy.MAX_ATTEMPTS:
|
||||
reason = policy.error_reason(terminal)
|
||||
t.attempts += 1
|
||||
t.retries.append(reason)
|
||||
instruction = policy.retry_instruction(self.question, reason, policy.has_nodes(base_graph))
|
||||
continue
|
||||
t.path, t.reason, t.copilot_failed = "build_failed", str(terminal.get("message") or "助手本轮未完成"), True
|
||||
return t
|
||||
if kind == "reply":
|
||||
@@ -395,6 +406,7 @@ class Driver:
|
||||
if step == policy.NEXT_RETRY:
|
||||
if t.attempts + 1 < policy.MAX_ATTEMPTS:
|
||||
t.attempts += 1
|
||||
t.retries.append(policy.blocked_reason(terminal))
|
||||
instruction = policy.retry_instruction(self.question, policy.blocked_reason(terminal),
|
||||
policy.has_nodes(graph))
|
||||
base_graph = graph if policy.has_nodes(graph) else None
|
||||
@@ -423,7 +435,10 @@ class Driver:
|
||||
t.review = {k: v for k, v in review.items() if k != "usage"}
|
||||
t.usage["review"] = _add_usage(t.usage.get("review"), review.get("usage"))
|
||||
if review.get("retry_instruction"):
|
||||
from app.chat.turn import review_reason
|
||||
|
||||
t.attempts += 1
|
||||
t.retries.append(review_reason(review) or "复核判答案不可用")
|
||||
instruction = str(review["retry_instruction"])
|
||||
base_graph = row.graph if policy.has_nodes(row.graph) else None
|
||||
continue
|
||||
|
||||
Reference in New Issue
Block a user