mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-18 23:31:59 +00:00
5b4bd91476
为什么:问数据的答案要和已治理口径接起来(next-round 02 做法 2、3、9、10;总方案 X1、X2、X3、X12,拍板 L2、L4、L8)。
- 比对(ledger/match.py):探索运行(chat、canvas、trial、personal_app)成功结束、封存完、有查询快照时,在 runner 封存之后和
notify_run 同一个位置放到后台;候选口径是每个工作流最新的已发布未退役版本里查库的调用工具节点(受管、已发布都算),按数据源
和表预筛;逐个用 match_template 比,schema 用查询当时冻结的表结构、列名取同一份快照里冻结的数据目录。每次运行限时 8 秒、在
线程里、同时最多 2 个;超时、快照被改过或读不出、SQL 解析不了照实记 skipped。启动时(run_manager.setup,和调度循环同一个开关)
补比最近 7 天封存了却没比过的运行,只读工件和版本表。
- 记法(ledger/store.py,拍板 L8):内容寻址工件 kind=caliber_match(agentlab.caliber_match/1)+ run_append 的 sealed 方式追加
ledger.matched(core/events.py 登记);工件里不放时间和工作流名,同一份封存再比一次哈希一样;meta 记 calibers / related / counts。
- 标签(ledger/labels.py):单元格按查询的比对状态;指标要每个输入都等价于同一份口径同一版、绑定一致,式子按「哪个取数节点、
第几行、哪一列」换完和口径卡上的一字不差。caliber(how:independent 等价已证明;composed 助手选用留给第 3 波)/ related /
reasoning / unknown;整题判断附还缺的入口字段。
- 读(ledger/view.py):GET /api/runs/{id}/ledger(ledger_api.runs_router,和证据同一道门),没比对过、能比的按需排上;证据
片段接口加 ledger 键(没比对过的运行没有这个键,返回一字不差);报告导出的面板最上面多「口径」一步并写明「封存后比对,不在
封存范围内」。遮罩按读的那一刻重滤:绑定的值是这次运行查到过的遮罩值时不给值,差异条目和逐行对照走 _Shown。
- 来源链:POST /api/runs 加 origin_ref(只在 origin=chat 时收,服务端核对对话访问权和轮次归属,写进 Run.origin 和封存的
run.origin);WorkflowIn 加 origin(run_id、conversation_id、turn_id,核对规则同 from-run);报告导出和可验证报告下载各记一条
审计 report.exported。可验证报告列封存后追加的事件时给 ledger.matched 一句只有条数的说明。
- 统计(ledger/stats.py):E1–E4 从工件、运行、查询快照、审计现算,GET /api/ledger/stats(搭建者);E3 用 app/chat/questions
的聚类加按(数据源、normalize_sql 文本)的确定性重复;评测直接调 compute_stats(可点名 run_ids)。对账反馈、认证转化、按发布
的召回在后面几波,照实写没有数据。
测试:test_ledger_match.py(真跑探索运行:等价、相关、没有相关口径、写死的码值、非探索运行、超时、快照被改、解析失败、预筛、
指标两种、级别、只认最新版、补比)、test_ledger_api.py(账本接口、按需比、遮罩、证据片段、导出、审计、统计)、
test_run_origin_ref.py(origin_ref 与画布来源的核对)。
134 lines
6.6 KiB
Python
134 lines
6.6 KiB
Python
from __future__ import annotations
|
||
|
||
import time
|
||
import uuid
|
||
from enum import StrEnum
|
||
from typing import Any
|
||
|
||
from pydantic import BaseModel, Field
|
||
|
||
|
||
class EventType(StrEnum):
|
||
"""前端与后端之间的实时协议。画布高亮、时间线、token 流全部基于这套事件。"""
|
||
|
||
# run 级
|
||
RUN_STARTED = "run.started"
|
||
RUN_FINISHED = "run.finished"
|
||
RUN_FAILED = "run.failed"
|
||
RUN_CANCELLED = "run.cancelled"
|
||
RUN_INTERRUPTED = "run.interrupted" # 等待人工介入
|
||
RUN_RESUMED = "run.resumed"
|
||
|
||
# 节点级
|
||
NODE_STARTED = "node.started"
|
||
NODE_FINISHED = "node.finished"
|
||
NODE_FAILED = "node.failed"
|
||
NODE_SKIPPED = "node.skipped"
|
||
EDGE_TAKEN = "edge.taken" # 条件分支实际走了哪条边
|
||
|
||
# 模型级
|
||
LLM_START = "llm.start"
|
||
LLM_TOKEN = "llm.token"
|
||
# 思考的流式增量:只推给画布做实时显示,不落库
|
||
LLM_THINKING_DELTA = "llm.thinking.delta"
|
||
# 一次完整思考:调用结束时落一条,这才是进轨迹的事件
|
||
LLM_THINKING = "llm.thinking"
|
||
LLM_END = "llm.end"
|
||
|
||
# 工具 / 沙箱
|
||
TOOL_START = "tool.start"
|
||
TOOL_END = "tool.end"
|
||
TOOL_ERROR = "tool.error"
|
||
# 信任档是「始终允许 · 门控把关」的工具,门控模型对这一次调用的判定(tools/trust.py)。
|
||
# allow 之后是正常的 tool.start;escalate 之后是人工审批,协作团队里则是不执行
|
||
TOOL_GATED = "tool.gated"
|
||
# 知识检索。以前只发一条 info 日志,于是"这句结论依据的是哪份文档的哪一段"
|
||
# 在轨迹里查不到——而 SQL 取数那条路早就有工件快照可以下钻
|
||
RETRIEVE_END = "retrieve.end"
|
||
# 记忆读写。以前发的是 info 日志,而解码器丢弃所有 info——于是往长期记忆里
|
||
# 写东西这件事在界面上是隐形的。让 Copilot 主动记之后,这条不可接受
|
||
MEMORY_END = "memory.end"
|
||
# 合并查询做完了:哪几个输入(别名、节点、行数、数据源)、哪条合并 SQL、得到几行、有哪些警告。
|
||
# 运行详情据此展示这一步;完整结果在 query_artifact 指向的查询快照里
|
||
MERGE_END = "merge.end"
|
||
SANDBOX_START = "sandbox.start"
|
||
SANDBOX_END = "sandbox.end"
|
||
|
||
# 多 agent 协作中的单个 agent 步骤
|
||
AGENT_STEP_START = "agent.step.start"
|
||
AGENT_STEP_END = "agent.step.end"
|
||
# 调度者的一次决策。它是一次结构化模型调用,常常占掉团队节点大半的时间;
|
||
# 以前前后都没有事件,界面上那几十秒是黑盒
|
||
AGENT_ROUTE_START = "agent.route.start"
|
||
AGENT_ROUTE_END = "agent.route.end"
|
||
|
||
# 人工介入
|
||
HUMAN_REQUESTED = "human.requested"
|
||
HUMAN_RESOLVED = "human.resolved"
|
||
# 审批质询:运行停在审批时,审批人就待审的报告问的一个问题和得到的回答(engine/run_append.py 追加,
|
||
# node_id 为空)。这次问答的用量写在事件数据的 usage 里,计进运行用量(runner._usage_of_events)。
|
||
# 停在审批时追加的随运行结束一起封存;封存之后追加的带 post_seal: true,是批注不是证据
|
||
APPROVAL_INQUIRY = "approval.inquiry"
|
||
|
||
# 出具与口径治理
|
||
ISSUANCE = "issuance" # 出具契约的判定结果(档位 / 缺数据 / 未回指数字)
|
||
CALIBER_UPGRADE = "caliber.upgrade" # 钉住的方法卡有新版本,按声明的策略处置
|
||
# 从发布版本发起的正式运行:发布之后这一版用到的表的数据目录有变化(data/catalog_impact.catalog_drift)。
|
||
# 每张表带 impact:direct 写死的 SQL 用到的,possible Agent 可能查询的。
|
||
# 只提醒、不拦运行;落在封存范围内,出具物上看得到「当时的目录和发布时不一样」
|
||
CATALOG_DRIFT = "catalog.drift"
|
||
# 报告撰写节点的自查结果:报告文档工件 id、统计、违规清单。落在封存范围内,
|
||
# 证据接口靠它找到文档——不去翻不受封存保护的 artifacts 表
|
||
REPORT_CHECKED = "report.checked"
|
||
# 探索运行里按需裁判的结论句判定:点开哪句才判哪句,追加在封存之后(post_seal),是批注不是证据。
|
||
# 封存核对只覆盖 manifest_seq 之前的事件,追加它不影响 verify;封存的报告文档一个字都不改
|
||
EVIDENCE_JUDGED = "evidence.judged"
|
||
# 口径账本(docs/design/next-round/02-口径账本.md 做法 2):探索运行封存之后,后台拿这次执行的 SQL 和已发布口径的取数比对,
|
||
# 结果存成内容寻址工件(kind=caliber_match,格式 agentlab.caliber_match/1),再追加这一条:{artifact, manifest_hash,
|
||
# algo, counts, trigger}。追加在封存之后(post_seal),是批注不是证据:比对依据的已发布口径在运行之外,不能混进运行
|
||
# 自身的封存事实;封存核对照旧一致
|
||
LEDGER_MATCHED = "ledger.matched"
|
||
|
||
# 应用平台(docs/design/app-platform-and-look.md §3.11)
|
||
# 运行来源:发起时写进 launch_run 的 notes,在封存范围内(engine/origin.py)
|
||
RUN_ORIGIN = "run.origin"
|
||
# 待办:一次中断面向人的那一面(app/process/tasks.py)
|
||
TASK_OPENED = "task.opened"
|
||
TASK_RESPONDED = "task.responded" # 谁、怎么决定的、第几人 / 共几人
|
||
TASK_REASSIGNED = "task.reassigned"
|
||
TASK_REMINDED = "task.reminded"
|
||
TASK_ESCALATED = "task.escalated"
|
||
TASK_EXPIRED = "task.expired"
|
||
TASK_RESOLVED = "task.resolved"
|
||
TASK_CANCELLED = "task.cancelled"
|
||
# 动作:写外部系统(app/process/actions.py)。prepared 带 payload_hash、环境、遮罩后的预览
|
||
ACTION_PREPARED = "action.prepared"
|
||
ACTION_SENT = "action.sent"
|
||
ACTION_CONFIRMED = "action.confirmed"
|
||
ACTION_FAILED = "action.failed"
|
||
ACTION_UNKNOWN = "action.unknown"
|
||
ACTION_RECONCILED = "action.reconciled"
|
||
ACTION_SIMULATED = "action.simulated"
|
||
|
||
# 普通用户建应用(docs/design/normal-user-apps.md N9、§3.8)
|
||
# 读入一个附件的文字(模板函数 file_text,app/files/text.py):哪个文件、读入多少字、全文多少字、是否截断,
|
||
# 读入的那一段存成工件(artifact)。抽不出时 ok=false、reason 写原因
|
||
FILE_EXTRACTED = "file.extracted"
|
||
|
||
# 其他
|
||
LOG = "log"
|
||
USAGE = "usage" # token / 成本累计
|
||
|
||
|
||
class RunEventModel(BaseModel):
|
||
id: str = Field(default_factory=lambda: uuid.uuid4().hex)
|
||
run_id: str
|
||
seq: int = 0
|
||
type: EventType
|
||
node_id: str | None = None
|
||
ts: float = Field(default_factory=time.time)
|
||
data: dict[str, Any] = Field(default_factory=dict)
|
||
|
||
def to_wire(self) -> dict[str, Any]:
|
||
return self.model_dump(mode="json")
|