mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-20 12:52:01 +00:00
定时任务自动对比复核整改(后端):只比成功的运行、按发起先后挑上一次成功的基准、和两边的封存绑定,对比挪到认领之前在锁外做并限时限并发;失败通知的处理行不再重复原因
- 只比成功结束的运行,基准也只取成功的:失败、取消的运行指标不全,和上一次比只会得出「移除 N 个」,拿失败的那次当 基准每个指标都成了「新增」。基准改成自己查同一定时任务、同一工作流、比这次先发起的运行里成功并封存的最近一次, 不再用对比接口的 default_base(按结束时间挑:老的失败运行事后被接着跑完,会拿后一次触发当它的「上一次」)。 中间隔着失败、取消的运行时,通知写「与上一次成功的运行(#短编号,日期)相比」,Fire.compare 多一个 previous - 和封存绑定:运行的封存要盖住最后一条结束事件才算封存完(sealed_now)。runner 先写终态、再另起会话封存,失败后 接着跑完的运行在两步之间还带着失败时的清单哈希,以前这一拍会直接认领、按旧封存比、通知里写旧的清单哈希;现在 等新的封存,等不来就照常推送但不比、不写哈希。停在审批上的通知也不再写失败时留下的哈希。对比工件连同两边的清单 哈希一起存,触发历史发现任何一边不在终态或清单哈希变了就给 null;对比途中封存变了不记(条件写) - 时机和时限:锁里只挑出状态有变化的触发,认领挪到对比之后、锁外按条件 UPDATE 做。对比最多等 20 秒(含排队), 同一时刻最多 2 个;超时只记警告,通知不带对比照常推送。停机时扫描在对比途中被取消,这次触发还没认领,下次照常 比、照常推(以前先认领、后比,这条通知会永远丢掉)。同一份封存已经比过的直接用记下的结果 - 失败通知:从没开始执行的,原因刚写过,处理行不再让人「查看原因」,任务在排期上写「下一次触发会照常发起」,停用 的写怎么重新发起;开始执行过的改成「请在 AgentLab 的「记录」中查看失败原因」,和挂起那句指向同一个导航入口 - 新增 test_scheduler_compare_guards.py(封存绑定、时限、取消、并发、复用),test_scheduler_compare.py 补真实缺 指标的失败运行、上一次失败、补跑老运行几种用例;去掉实现逐项验证过会变红
This commit is contained in:
@@ -1,4 +1,5 @@
|
||||
"""定时任务:按周期自动发起工作流运行,结束、失败、停在审批时推送 Webhook,运行结束后和同一任务的上一次自动对比。
|
||||
"""定时任务:按周期自动发起工作流运行,结束、失败、停在审批时推送 Webhook,运行成功结束后和同一任务上一次成功的运行
|
||||
自动对比。
|
||||
|
||||
形状按前后端约定(Schedule、Fire 两种对象,见 _schedule_out、_fire_outs)。Webhook 地址和签名密钥加密存放,接口
|
||||
只给主机和末 4 位(url_hint)、有没有密钥(has_secret)。请求体自己解析、自己校验:错误一律回中文 detail,表单
|
||||
@@ -279,13 +280,30 @@ def _webhook_out(row: Schedule) -> dict[str, Any] | None:
|
||||
|
||||
async def _fire_outs(session: AsyncSession, fires: list[ScheduleFire]) -> list[dict[str, Any]]:
|
||||
"""Fire 对象:run_status 是运行现在的状态,notified 是这次触发的推送记录 [{event, status, at}](按时间先后),
|
||||
compare 是运行结束后和同一任务上一次的自动对比 {base_run_id, summary}(summary 同对比接口的计数),没有为 null。
|
||||
compare 是运行成功结束后和同一任务上一次成功的运行的自动对比 {base_run_id, summary, previous}(summary 同对比接口
|
||||
的计数,previous 说基准是不是紧挨着的上一次),没有为 null。
|
||||
|
||||
对比和比的时候两边的封存绑定(auto_compare):哪一边现在不在终态(被继续执行)、被删掉、清单哈希和比的时候不一样
|
||||
(重新封存过)都给 null——对比页按现在的封存现算,记下的计数和点进去看到的会对不上,或者干脆比不了。工件读不出来、
|
||||
被改过的同样给 null。"""
|
||||
compared = {f.id: f.compare_artifact for f in fires if f.compare_artifact and f.run_id}
|
||||
compares = await auto_compare.briefs(list(compared.values()))
|
||||
run_ids = {f.run_id for f in fires if f.run_id} | {brief["base_run_id"] for brief in compares.values()}
|
||||
# 运行现在的状态和清单哈希:run_status 照写,对比按它核对两边的封存
|
||||
current = {run_id: (status, seal) for run_id, status, seal in (await session.execute(
|
||||
select(Run.id, Run.status, Run.manifest_hash).where(Run.id.in_(run_ids)))).all()} if run_ids else {}
|
||||
|
||||
def compare_of(f: ScheduleFire) -> dict[str, Any] | None:
|
||||
brief = compares.get(compared.get(f.id) or "")
|
||||
if brief is None or brief["target_run_id"] != f.run_id:
|
||||
return None
|
||||
for run_id, seal in ((brief["target_run_id"], brief["target_manifest"]),
|
||||
(brief["base_run_id"], brief["base_manifest"])):
|
||||
status, now_seal = current.get(run_id, (None, None))
|
||||
if status not in auto_compare.TERMINAL or now_seal != seal:
|
||||
return None
|
||||
return auto_compare.public(brief)
|
||||
|
||||
运行又被继续执行、现在不在终态时 compare 也给 null:对比页只认结束并封存的运行,链过去只会被拒;再结束时
|
||||
通知扫描会按新的封存重新比。基准那一次被删掉、被继续执行的,工件读不出来、被改过的,同样给 null。"""
|
||||
run_ids = [f.run_id for f in fires if f.run_id]
|
||||
statuses = dict((await session.execute(select(Run.id, Run.status).where(Run.id.in_(run_ids)))).all()) \
|
||||
if run_ids else {}
|
||||
notified: dict[str, list[dict[str, Any]]] = {}
|
||||
if fires:
|
||||
rows = (await session.execute(
|
||||
@@ -296,25 +314,16 @@ async def _fire_outs(session: AsyncSession, fires: list[ScheduleFire]) -> list[d
|
||||
notified.setdefault(d.fire_id, []).append({"event": d.event, "status": d.status, "at": _iso(d.created_at)})
|
||||
# 正在发起的触发:库里是占位的「未能发起」(为了进程被强杀时照实说),进程还在、只是还没发起完,按已发起给
|
||||
launching = {f.id for f in fires if service.launching(f.id)}
|
||||
compared = {f.id: f.compare_artifact for f in fires
|
||||
if f.compare_artifact and statuses.get(f.run_id) in auto_compare.TERMINAL}
|
||||
compares = await auto_compare.briefs(list(compared.values()))
|
||||
# 基准一侧同样要在终态:被删掉(强制删除封存的正式运行)、失败后被继续执行的,对比页比不了
|
||||
base_ids = list({brief["base_run_id"] for brief in compares.values()})
|
||||
if base_ids:
|
||||
bases = dict((await session.execute(select(Run.id, Run.status).where(Run.id.in_(base_ids)))).all())
|
||||
compares = {artifact: brief for artifact, brief in compares.items()
|
||||
if bases.get(brief["base_run_id"]) in auto_compare.TERMINAL}
|
||||
return [{
|
||||
"id": f.id,
|
||||
"fire_at": _iso(f.fire_at),
|
||||
"kind": f.kind,
|
||||
"status": "started" if f.id in launching else f.status,
|
||||
"run_id": f.run_id,
|
||||
"run_status": statuses.get(f.run_id) if f.run_id else None,
|
||||
"run_status": current.get(f.run_id, (None, None))[0] if f.run_id else None,
|
||||
"reason": None if f.id in launching else f.reason,
|
||||
"notified": notified.get(f.id, []),
|
||||
"compare": compares.get(compared[f.id]) if f.id in compared else None,
|
||||
"compare": compare_of(f),
|
||||
"created_at": _iso(f.created_at),
|
||||
} for f in fires]
|
||||
|
||||
|
||||
Reference in New Issue
Block a user