mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-20 23:42:03 +00:00
时间线认得核查模型的输出被截断(verify_truncated):标题说「核查模型的输出达到上限(N token)被截断」,副标题说这次核查未能完成或已按截断前查到的结果收尾,下一步指到换不带推理的模型,入口落到节点的模型
decode.ts 按结构化字段(max_tokens、delivered)解读,不从原话里认,缺字段时只给不带数的标题;文案放在 terms.ts 新的 VERIFY_TRUNCATED_TEXT。check-decode 加一节:先核对 verify_agent.py 还是这么发的,再核对三种取值(没交出结果、退回 4096 后交了结果、缺字段)的标题、副标题、下一步、入口和原话。 跑完之后的复核层(engine/review.py 的 WARN_CODES)登记 verify_truncated:同 verify_limit 记成它自己的 kind、degraded,不落成笼统的 warn,也不触发「重跑一次大概率能好」。
This commit is contained in:
@@ -128,6 +128,9 @@ WARN_CODES: dict[str, tuple[str, str]] = {
|
||||
# 核查 agent 自己触顶、按已有结果收尾:多半和节点自己的 *_limit 说的是同一次触顶,照样是缺口,记成它自己的 kind,
|
||||
# 不落成笼统的 warn——步数上限(max_steps)只有它说
|
||||
"verify_limit": ("verify_limit", DEGRADED),
|
||||
# 核查 agent 的输出到了上限被截断(推理模型的思考也算在额度里):没交成结果的由节点按无法复算、未能反查记缺口,交了的
|
||||
# 可能不完整。同 verify_limit,是缺口不是断裂,记成它自己的 kind:说得清是输出额度的问题,换个模型就好
|
||||
"verify_truncated": ("verify_truncated", DEGRADED),
|
||||
}
|
||||
|
||||
# 这些 kind 重跑一次大概率能好:原因说得清,且不是「问题本身没问明白」。
|
||||
|
||||
@@ -27,6 +27,7 @@ from openai.types.chat import ChatCompletion
|
||||
|
||||
from app.core.events import EventType
|
||||
from app.engine import judge as judging
|
||||
from app.engine import review as rv
|
||||
from app.engine import verify_agent
|
||||
from app.engine.inquiry import _error_words
|
||||
from app.engine.nodes.challenge import _claim_of
|
||||
@@ -330,5 +331,15 @@ async def test_the_reason_reaches_dual_check_challenge_and_inquiry(monkeypatch,
|
||||
assert _error_words(out, timeout_s=60, daily_max_usd=1.0) == expected
|
||||
|
||||
|
||||
def test_the_review_layer_knows_the_truncation_log():
|
||||
"""跑完之后的复核层(engine/review.py)认得 verify_truncated:同 verify_limit,是缺口不是断裂,kind 是它自己,
|
||||
不落成笼统的 warn;不触发「重跑一次大概率能好」——同样的模型再跑一遍还是撞同一堵墙。"""
|
||||
assert rv.WARN_CODES["verify_truncated"] == ("verify_truncated", rv.DEGRADED)
|
||||
event = {"type": str(EventType.LOG), "node_id": "dc",
|
||||
"data": {"level": "warn", "code": "verify_truncated", "message": f"{CUT_16K},核查未能完成。{ADVICE}"}}
|
||||
[signal] = rv.scan([event], {"结论": "本周订单 120 单。"})
|
||||
assert (signal.kind, signal.severity) == ("verify_truncated", rv.DEGRADED) and not rv.should_retry([signal])
|
||||
|
||||
|
||||
def test_the_reply_shapes_used_here_are_messages():
|
||||
assert isinstance(cut_reply(), BaseMessage) and isinstance(anthropic_cut()["raw"], BaseMessage)
|
||||
|
||||
Reference in New Issue
Block a user