AgentLab/backend/app/engine/nodes/tools.py

from __future__ import annotations

import json
import time
from typing import Any

from app.core.errors import describe_exception, raw_detail
from app.core.events import EventType
from app.db.base import SessionLocal
from langgraph.func import task

from app.core.artifact_store import canonical_json, content_hash
from app.engine.approval import read_decision
from app.engine.context import NodeContext, NodeError
from app.engine.evidence import ledger_enabled, next_exec, query_entry_fields, schema_ledger_entry
from app.engine.replay import ask, once
from app.engine.state import GraphState
from app.engine.toolcalls import ToolTimeout, limit_fields, limit_of, run_bounded
from app.sandbox.base import SandboxLimits
from app.sandbox.manager import sandbox_manager
from app.engine.sql_problems import event_checks
from app.tools.datasource import DATA_UNAVAILABLE, QUERY_PREFIX, SCHEMA_PREFIX, run_versions
from app.tools.registry import (
    ToolArgsError,
    ToolBuildError,
    ToolContext,
    build_tools,
    call_is_dangerous,
    call_tool,
    get_spec,
)
from app.tools.trust import ask_gate, asks_trustable, call_policy, node_task

#: 数据源查询工具没查成时交回的话的开头（tools/datasource.py）。agent 里原话喂回模型让它改 SQL；
#: tool 节点没有下一轮可改，照常往下走的话，下游拿到的是一句报错当查询结果。
#: DATA_UNAVAILABLE 是数据本身用不了（这次运行固定的版本没了、表格文件被删），改 SQL 没用
QUERY_FAILED = ("查询失败：", "SQL 被拒绝：", DATA_UNAVAILABLE)
#: code 节点在证据链里的角色：取数（产出本身就是源数据）还是计算。缺省按计算算
EVIDENCE_ROLES = ("source", "compute")


def _tool_ctx(ctx: NodeContext) -> ToolContext:
    return ToolContext(
        run_id=ctx.run.run_id,
        node_id=ctx.node.id,
        sandbox_session=ctx.run.thread_id,
        memory_scope=ctx.cfg("memory_scope") or ctx.run.memory_scope,
        collection=ctx.cfg("collection") or ctx.run.collection,
        data_versions=run_versions(ctx.run),
        # 数据源工具运行中途补固定版本时经它留一条事件（tools/datasource.py 的 _pin_late）
        emit=ctx.emit,
    )


async def _dynamic_tool(name: str, ctx: NodeContext) -> Any:
    """数据源、MCP、自定义这类动态工具得先建出来，才问得到它危不危险、时限多长。

    内置工具的这两件事看 ToolSpec 和参数就够，不用建。
    """
    if get_spec(name) is not None:
        return None
    async with SessionLocal() as session:
        try:
            tools = await build_tools([name], _tool_ctx(ctx), session=session)
        except ToolBuildError as e:
            # 工具自己的配置写坏了：说清是哪个、去哪里改，不再往下走到 call_tool 里炸
            raise NodeError(ctx.node.id, str(e)) from e
    return tools[0] if tools else None


async def run_tool(state: GraphState, ctx: NodeContext) -> dict[str, Any]:
    """直接调用一个工具。参数里的 {{ }} 会先用当前状态渲染。"""
    name = ctx.cfg("tool", "")
    if not name:
        raise NodeError(ctx.node.id, "「调用工具」节点尚未选择工具")

    args = ctx.render(ctx.cfg("args", {}) or {}, state)
    if not isinstance(args, dict):
        raise NodeError(ctx.node.id, "工具参数必须是 JSON 对象")

    # 审批通过后节点会整个重放、再算一遍要不要问人，所以这里只能取决于 name 和 args。
    # 节点没配时取全局设置（「危险工具默认需要人工确认」），见 NodeContext.approval_mode
    tool = await _dynamic_tool(name, ctx)
    approval = ctx.approval_mode()
    policy = ("ask" if approval == "always" else "safe" if approval == "never"
              else call_policy(tool, name, args, ctx.run.tool_trust))
    if policy == "gate":
        @task
        async def gate_step(call_args: dict[str, Any]) -> bool:
            # 门控的判定进 checkpoint：审批恢复重放时不再问一遍，免得这次判得不一样
            gate = await ask_gate(tool=tool, args=call_args, node_title=ctx.node.title,
                                  task=node_task(ctx.config))
            ctx.emit(EventType.TOOL_GATED, tool=name, **gate.event())
            return gate.allowed

        policy = "safe" if await gate_step(args) else "ask"
    if policy == "ask":
        trust_key = asks_trustable(tool, ctx.run.tool_trust) if approval == "dangerous" else None
        trustable = {"trust_key": trust_key} if trust_key else {}
        decision = read_decision(await ask(
            ctx,
            {"kind": "tool_approval", "node_id": ctx.node.id, "tool": name, "args": args,
             "title": f"是否允许调用 {name}？", **trustable},
            mode="approve", tool=name, args=args, title=f"是否允许调用 {name}？", **trustable,
        ))
        if decision.args is not None:
            args = decision.args
        always = decision.always and bool(trust_key)
        await once(ctx, EventType.HUMAN_RESOLVED, tool=name, approved=decision.approved,
                   note=decision.note, actor=ctx.actor(), **({"always": True} if always else {}))
        if not decision.approved:
            raise NodeError(ctx.node.id, f"工具 {name} 的调用已被驳回"
                            + (f"：{decision.note}" if decision.note else ""))

    limit = limit_of(tool, name, args)
    ctx.emit(EventType.TOOL_START, tool=name, args=args, **limit_fields(limit))
    started = time.perf_counter()

    def _fixed(note: str) -> None:
        # 替它跑通了这一次，但节点配置里那个错的参数名原封不动，下次还会踩。
        # 所以纠正必须留一条看得见的痕迹，而不是安静地把事办了
        ctx.emit(EventType.LOG, level="warn",
                 message=f"工具 {name}：{note}。请在节点中改正。", code="tool_args_fixed")

    async def _call() -> Any:
        async with SessionLocal() as session:
            return await call_tool(name, args, _tool_ctx(ctx), session=session, on_fix=_fixed)

    try:
        result = await run_bounded(_call(), limit, name)
    except ToolTimeout as e:
        # 到点就收回控制权，驱动的收尾在后台做完。报错里写的是实际等了多久
        elapsed = int((time.perf_counter() - started) * 1000)
        ctx.emit(EventType.TOOL_ERROR, tool=name, error=str(e), timed_out=True, duration_ms=elapsed)
        if ctx.cfg("fail_fast", True):
            raise NodeError(ctx.node.id, f"{e}。数据量较大时请在参数中缩小范围；如为服务暂时无响应，"
                                         "可稍后点「继续运行」") from e
        result = {"error": str(e), "timed_out": True}
    except KeyError as e:
        # str(KeyError) 是带引号的 repr，直接拼会多出一对引号
        reason = e.args[0] if e.args else f"找不到工具 {name}"
        raise NodeError(ctx.node.id, f"{reason}。工具可能已被删除或重命名，请在节点中重新选择") from e
    except ToolArgsError as e:
        # 参数对不上且没有唯一候选可纠。报错里已经写清楚该填什么，
        # 不要再套一层 "执行失败：" 把它推远
        ctx.emit(EventType.TOOL_ERROR, tool=name, error=str(e))
        if ctx.cfg("fail_fast", True):
            raise NodeError(ctx.node.id, f"工具 {name}：{e}") from e
        result = {"error": str(e)}
    except Exception as e:  # noqa: BLE001
        # 首行写原因、不带异常类名和内部符号；原始异常进 detail 给排查的人
        reason = describe_exception(e)
        ctx.emit(EventType.TOOL_ERROR, tool=name, error=reason, detail=raw_detail(e))
        if ctx.cfg("fail_fast", True):
            raise NodeError(
                ctx.node.id,
                f"工具 {name} 执行失败：{reason}。请检查节点中填写的参数；如参数无误，"
                "则是该工具本身出错，请换一个工具或联系管理员",
            ) from e
        result = {"error": reason, "detail": raw_detail(e)}

    elapsed = int((time.perf_counter() - started) * 1000)
    evidence_on = ledger_enabled(ctx.run)
    # 查表结构的工具只在数据本身用不了时算失败：它别的回话（「结构信息不可用」之类）是正常的结果
    failed = isinstance(result, str) and (
        (name.startswith(QUERY_PREFIX) and result.startswith(QUERY_FAILED))
        or (name.startswith(SCHEMA_PREFIX) and result.startswith(DATA_UNAVAILABLE)))
    if evidence_on and failed:
        # 没查成：原话就是报错（「查询失败：no such table: x」），照写，别再套一层
        ctx.emit(EventType.TOOL_ERROR, tool=name, error=result[:2000], duration_ms=elapsed)
        if ctx.cfg("fail_fast", True):
            raise NodeError(ctx.node.id, _query_failure(name, result))
        result = {"error": result}

    # 取数快照：query（args）和结果集一起进工件库，完整出具时数字回指的就是它
    from app.core.artifact_store import put_json

    try:
        snapshot_id = await put_json(
            {"tool": name, "args": args, "result": result},
            kind="tool_snapshot", run_id=ctx.run.run_id, node_id=ctx.node.id,
        )
    except Exception:  # noqa: BLE001
        snapshot_id = None
    # 只认数据源工具交回的查询：别的工具（MCP、自定义）拼出同样形状的 JSON，里面的工件 id 不是我们落的
    query = query_entry_fields(result) if evidence_on and name.startswith(QUERY_PREFIX) else None
    schema = query.get("schema_artifact") if query else None
    # 这次查询的 SQL 检查结果单独带上：preview 只有前 2000 个字符，checks 排在 rows 后面，通常被截掉
    checks = event_checks(result) if name.startswith(QUERY_PREFIX) else []
    ctx.emit(EventType.TOOL_END, tool=name, duration_ms=elapsed,
             preview=json.dumps(result, ensure_ascii=False, default=str)[:2000],
             artifact=snapshot_id, **({"query_artifact": query["artifact"]} if query else {}),
             **({"schema_artifact": schema} if schema else {}), **({"checks": checks} if checks else {}))

    updates: dict[str, Any] = {"nodes": {ctx.node.id: result}}
    if evidence_on:
        # 证据台账：工具快照一条；查库的再记一条查询快照（外面包着的是工具快照）。报告按台账编 Q1…
        exec_no = next_exec(state, ctx.node.id)
        entries: list[dict[str, Any]] = []
        if snapshot_id:
            entries.append({"kind": "tool", "node_id": ctx.node.id, "exec": exec_no, "artifact": snapshot_id,
                            "tool": name})
        if query:
            # 查询当时的表结构快照另记一条 schema 条目；取不回来的话查询条目也不带它（不启用实体核对）
            frozen = schema_ledger_entry(schema, node_id=ctx.node.id, exec_no=exec_no) if schema else None
            entries.append({"kind": "query", "node_id": ctx.node.id, "exec": exec_no, "artifact": query["artifact"],
                            **({"via": snapshot_id} if snapshot_id else {}), "tool": name, "source": query["source"],
                            "columns": query["columns"], "rows": query["rows"], "truncated": query["truncated"],
                            **({"schema_artifact": schema, "tables": query["tables"]} if frozen else {})})
            if frozen:
                entries.append(frozen)
        if entries:
            updates["evidence"] = entries
    var_name = ctx.cfg("assign_to", "")
    if var_name:
        updates["vars"] = {var_name: result}
    return updates


def _query_failure(name: str, result: str) -> str:
    """调用工具节点上查询没查成时的报错。

    数据本身用不了（DATA_UNAVAILABLE）：原因里已经写了怎么办（重新发起运行、重新上传），照交。
    不能再加「修改节点中的 SQL」——改 SQL、继续运行都没用，只会再失败一次。SQL 的错才让人改 SQL。
    原话开头的「查询失败：」去掉，免得和前面的「查询失败：」叠成两遍。
    """
    if result.startswith(DATA_UNAVAILABLE):
        return f"工具 {name} 无法使用：{result.removeprefix(DATA_UNAVAILABLE)}"
    return f"工具 {name} 查询失败：{result.removeprefix('查询失败：')}。请据此修改节点中的 SQL 后重新运行"


async def run_code(state: GraphState, ctx: NodeContext) -> dict[str, Any]:
    """沙箱代码节点。代码本身支持模板插值，可以把上游结果直接嵌进去。"""
    code = ctx.render_str(ctx.cfg("code", ""), state)
    if not code.strip():
        raise NodeError(ctx.node.id, "「沙箱代码」节点的代码为空")
    evidence_on = ledger_enabled(ctx.run)
    role = str(ctx.cfg("evidence_role", "") or "compute")
    if evidence_on and role not in EVIDENCE_ROLES:
        raise NodeError(ctx.node.id, f"「证据角色」只能是「取数」或「计算」，当前为「{role}」")

    language = ctx.cfg("language", "python")
    limits = SandboxLimits(
        timeout=int(ctx.cfg("timeout", 30) or 30),
        memory_mb=int(ctx.cfg("memory_mb", 512) or 512),
        network=bool(ctx.cfg("network", False)),
    )

    if ctx.cfg("approval", "never") == "always":
        decision = read_decision(await ask(
            ctx,
            {"kind": "code_approval", "node_id": ctx.node.id, "code": code,
             "language": language, "title": "是否执行这段代码？"},
            mode="approve", title="是否执行这段代码？", code=code[:4000], language=language,
        ))
        if decision.code:
            code = decision.code  # 允许人工改完再跑
        await once(ctx, EventType.HUMAN_RESOLVED, approved=decision.approved, note=decision.note,
                   actor=ctx.actor())
        if not decision.approved:
            raise NodeError(ctx.node.id, "代码执行已被驳回"
                            + (f"：{decision.note}" if decision.note else ""))

    # 隔离档位：strict 要硬件级（microVM），fast 要低延迟（Seatbelt/bwrap），
    # 留空跟随整机默认。要的那档不可用时会安静退回默认，不阻断运行。
    isolation = ctx.cfg("isolation", "") or None

    # 把真正要跑的那份代码发出来。用户在编辑器里写的是带 {{ }} 的模板，
    # 送进沙箱的是渲染后的字符串——两者可能差很远：一个带引号或换行的值
    # 插进字符串字面量里就会把程序写坏，而报错指的是渲染后的行号，用户对着
    # 自己那份数怎么也对不上。这条事件是他们唯一能看到"实际跑了什么"的地方。
    ctx.emit(EventType.SANDBOX_START, language=language, limits=limits.model_dump(),
             isolation=isolation or "auto", code=code[:8000],
             code_truncated=len(code) > 8000,
             interpolated="{{" in str(ctx.cfg("code", "")))
    result = await sandbox_manager.run(
        code,
        language=language,
        limits=limits,
        session_id=ctx.run.thread_id,
        files=ctx.render(ctx.cfg("files", {}) or {}, state),
        backend=isolation,
    )
    if isolation == "strict" and result.backend != "microvm":
        # 要了硬件隔离却没拿到，必须说出来——否则用户以为自己在 VM 里跑
        ctx.emit(EventType.LOG, level="warn",
                 message=f"节点要求 strict 隔离，但 microVM 未就绪，实际使用了 {result.backend}",
                 code="isolation_fallback")
    if result.session_reset:
        # 会话工作区被清空了。同一会话的下游节点会突然读不到自己写的文件，
        # 不说一声的话那个 FileNotFoundError 根本无从追查
        ctx.emit(EventType.LOG, level="warn",
                 message="沙箱会话已重置，此前在该会话写入的文件已丢失"
                         "（多为超时重建，或同会话中各节点的内存限额不一致）",
                 code="sandbox_reset")
    ctx.emit(
        EventType.SANDBOX_END,
        ok=result.ok,
        exit_code=result.exit_code,
        duration_ms=result.duration_ms,
        backend=result.backend,
        stdout=result.stdout[:4000],
        stderr=result.stderr[:2000],
    )

    if not result.ok and ctx.cfg("fail_fast", True):
        raise NodeError(
            ctx.node.id,
            f"代码执行失败（退出码 {result.exit_code}）：{result.error or result.stderr[:500]}",
        )

    payload = result.model_dump()
    # 节点的"文本输出"要去掉 print() 补的那个换行。
    #
    # 代码节点只有 print 一条产出通道，而 print / echo / console.log 一定会补
    # 一个换行——它是传输的产物，不是值的一部分。以前 assign_to 直接给原始
    # stdout，于是 `print('ok')` 写进变量的是 "ok\n"：下游 `== 'ok'` 永远不
    # 成立，而 `== 'fail'` 也不成立。同一个变量、同一个表达式，循环条件和分支
    # 条件得出相反的结论——循环正常退出（看着像成功），分支掉进 default（判成
    # 失败），最后交出一份自相矛盾的结果。运行 d47bfcb0 就是这么回事。
    #
    # 只削尾不削头：首行的缩进是内容（比如逐行打印一段缩进文本），削掉就毁了。
    # 原始 stdout 仍在 payload["stdout"] 里，要查"到底跑了什么"看那个。
    text = result.stdout.rstrip()

    # 如果 stdout 是 JSON，顺手解析出来，下游就能直接用字段而不是再写解析
    parsed: Any = None
    sniff = result.stdout.strip()
    if sniff.startswith(("{", "[")):
        try:
            parsed = json.loads(sniff)
        except json.JSONDecodeError:
            parsed = None
    payload["data"] = parsed
    payload["text"] = text

    updates: dict[str, Any] = {"nodes": {ctx.node.id: payload}}
    if evidence_on:
        # 实际送进沙箱的那份代码（渲染之后、审批改过之后）的指纹：同一张图两次运行算出不同的数，
        # 先看这个就知道代码本身变没变
        payload["code_sha"] = content_hash(code)
        # 台账的工件就是节点产出工件：外层包装按同样的内容落盘，id 相同
        updates["evidence"] = [{"kind": "node_output", "node_id": ctx.node.id, "exec": next_exec(state, ctx.node.id),
                                "artifact": content_hash(canonical_json(payload)), "code_sha": payload["code_sha"],
                                "role": role, "language": language}]
    var_name = ctx.cfg("assign_to", "")
    if var_name:
        # {{ vars.x }} 和 {{ nodes.x.text }} 必须是同一个值：两种写法给不同的
        # 值比原来的毛病更难查
        updates["vars"] = {var_name: parsed if parsed is not None else text}
    return updates