运行对比的默认基准(GET /api/runs/{id}/compare/base)带上 previous:基准是不是紧挨着的上一次,取 pick_base 现成算好的那个值,和定时任务自动对比记下的 previous 同一个语义

运行详情「更多」里的入口要按它定叫法:上一次失败、取消、还没结束时,基准是再往前成功的那一次,菜单得和触发历史一样写「与上一次成功的运行对比」,不能一律写「与上一次对比」。测试钉住:同一定时任务、退回同一工作流两种范围里,失败、取消、还没结束、没封存的都算隔着,别的运行类别、别的定时任务、比这次晚发起的不算;上一次失败时运行详情和触发历史拿到同一个基准、同一个 previous;中间那次删掉之后运行详情按现在的记录算成紧挨着的上一次
This commit is contained in:
ThearchyHelios
2026-10-06 16:42:29 +08:00
parent 3f17fd3c71
commit 5c6820f602
3 changed files with 64 additions and 10 deletions
+10 -7
View File
@@ -1,11 +1,12 @@
"""运行对比:同一个工作流的两次运行按「变化三分法」对照——数据变了、口径变了、还是模板 / SQL 变了(engine/compare.py)。
GET /api/runs/{run_id}/compare/base:默认拿哪一次来比,{base_run_id, reason, base}。规则在 pick_base,定时任务结束后
的自动对比(scheduler/auto_compare.py)用的是同一个函数——触发历史里的「与上一次对比」和运行详情里的同名入口必须拿到
同一个基准,计数才对得上;触发历史里存着的那一份,事后基准不再是这里挑出来的那一次(中间失败的那次被接着运行成功
了)就不再给出(auto_compare.outdated)。这次运行是定时任务发起的,取同一定时任务、同一工作流、比它先发起的运行里
GET /api/runs/{run_id}/compare/base:默认拿哪一次来比,{base_run_id, reason, base, previous}。规则在 pick_base,定时
任务结束后的自动对比(scheduler/auto_compare.py)用的是同一个函数——触发历史里的「与上一次对比」和运行详情里的同名入口
必须拿到同一个基准,计数才对得上;触发历史里存着的那一份,事后基准不再是这里挑出来的那一次(中间失败的那次被接着运行
成功了)就不再给出(auto_compare.outdated)。这次运行是定时任务发起的,取同一定时任务、同一工作流、比它先发起的运行里
成功结束并封存的最近一次(reason: same_schedule);不是、或者同一任务之前没有成功的,取同一工作流、同一运行类别里
同样条件的最近一次(reason: same_workflow)。找不到 404。
同样条件的最近一次(reason: same_workflow)。previous 说基准是不是紧挨着的上一次(同自动对比记下的 previous):不是时
两个入口都写「与上一次成功的运行对比」。找不到 404。
GET /api/runs/{run_id}/compare?base={base_id}:{target, base, summary, template, metrics, queries, notes},每个字段
的形状见 engine/compare.py。两次运行都必须已结束、封存且封存核对一致,封存判定照搬证据接口(api/evidence._sealed):
@@ -62,11 +63,13 @@ BASE = "作为基准的运行"
@router.get("/{run_id}/compare/base")
async def compare_base(run_id: str) -> dict[str, Any]:
"""默认拿来对比的那一次运行:{base_run_id, reason: same_schedule | same_workflow, base}。"""
"""默认拿来对比的那一次运行:{base_run_id, reason: same_schedule | same_workflow, base, previous}。previous 是
pick_base 算的「是不是紧挨着的上一次」:运行详情「更多」里的入口按它定叫法(不是时写「与上一次成功的运行对比」),
和触发历史里同名的链接(自动对比记下的 previous)说法一致。"""
found = await default_base(run_id)
if found is None:
raise CodedHTTPException(404, NO_BASE_TEXT, NO_BASE)
return {"base_run_id": found.run.id, "reason": found.reason, "base": run_ref(found.run)}
return {"base_run_id": found.run.id, "reason": found.reason, "base": run_ref(found.run), "previous": found.previous}
@router.get("/{run_id}/compare")
+45 -1
View File
@@ -7,7 +7,8 @@
- 对比只读:两次运行的 last_seq、事件、工件引用、工件文件一样不多
- 遮罩列(查询当时记下的、数据源现在设的)的值不出现在结果里
- 默认基准:同一定时任务优先,否则同一工作流、同一运行类别;只挑比这次先发起、成功结束并封存的运行,按发起先后取
最近一次(失败、取消的跳过,和定时任务的自动对比挑的是同一次,见 test_scheduler_compare.py)
最近一次(失败、取消的跳过,和定时任务的自动对比挑的是同一次,见 test_scheduler_compare.py);previous 说它是不是
紧挨着的上一次
- 真跑:同一条 SQL 数据变了是 data_only;只是代进去的日期不同是 params_only,图一样
"""
from __future__ import annotations
@@ -335,6 +336,49 @@ async def test_the_default_base_follows_launch_order(client):
assert (await get(client, f"/api/runs/{waiting}/compare/base"))["base_run_id"] == later
async def test_the_default_base_says_whether_it_is_the_previous_run(client):
"""previous:基准是不是紧挨着的上一次,语义同 pick_base——同一范围(同一定时任务,或同一工作流、同一运行类别)里比
这次先发起、比基准后发起的运行一次都没有。失败、取消、还没结束、没封存的都算隔着;别的运行类别、别的定时任务(这次
是定时任务发起的)、比这次晚发起的不在范围里,不算。运行详情「更多」里的入口按它写「与上一次对比」还是「与上一次
成功的运行对比」,和触发历史里同名的链接一个说法"""
day = timedelta(days=1)
async def pick(run_id: str) -> tuple[str, str, bool]:
body = await get(client, f"/api/runs/{run_id}/compare/base")
return body["base_run_id"], body["reason"], body["previous"]
# 同一定时任务:紧挨着的上一次就是成功的
workflow = await new_workflow()
first = await bare(workflow, T0, schedule_id="sched-weekly")
await bare(workflow, T0 + day) # 手动发起的:不在同一定时任务的范围里
await bare(workflow, T0 + day, schedule_id="sched-daily", status="failed") # 别的定时任务失败的:同上
second = await bare(workflow, T0 + 2 * day, schedule_id="sched-weekly")
await bare(workflow, T0 + 3 * day, schedule_id="sched-weekly", status="failed") # 比 second 晚发起
assert await pick(second) == (first, "same_schedule", True)
# 中间隔着一次没成功的(失败、取消、还没结束、结束了没封存):基准是再往前成功的那一次,不是紧挨着的上一次
for between in ({"status": "failed"}, {"status": "cancelled"}, {"status": "running", "sealed": False},
{"status": "interrupted", "sealed": False}, {"sealed": False}):
workflow = await new_workflow()
first = await bare(workflow, T0, schedule_id="sched-weekly")
await bare(workflow, T0 + day, schedule_id="sched-weekly", **between)
current = await bare(workflow, T0 + 2 * day, schedule_id="sched-weekly")
assert await pick(current) == (first, "same_schedule", False), between
# 同一工作流、同一运行类别(手动发起的):别的运行类别不算隔着,同一类别里定时任务发起的失败的那次算
workflow = await new_workflow()
first = await bare(workflow, T0)
await bare(workflow, T0 + day, run_class="exploratory", status="failed")
second = await bare(workflow, T0 + 2 * day)
assert await pick(second) == (first, "same_workflow", True)
await bare(workflow, T0 + 3 * day, schedule_id="sched-weekly", status="failed")
third = await bare(workflow, T0 + 4 * day)
assert await pick(third) == (second, "same_workflow", False)
# 定时任务的第一次退回同一工作流:隔没隔着按退回的那个范围算
lone = await bare(workflow, T0 + 5 * day, schedule_id="sched-monthly")
assert await pick(lone) == (third, "same_workflow", True)
# --------------------------------------------------------------------------
# 真跑:虚构的 SQLite 库,两次运行之间改了数、换了日期参数
# --------------------------------------------------------------------------
+9 -2
View File
@@ -256,6 +256,9 @@ async def test_finished_run_is_compared_with_the_previous_run_of_its_schedule(re
items = {f["id"]: f for f in (await client.get(f"/api/schedules/{sid}/fires")).json()["items"]}
assert items[fire_id]["compare"] == {"base_run_id": base_id, "summary": SUMMARY, "previous": True}
assert items[base_fire]["compare"] is None
# 运行详情的默认基准:同一次、同样是紧挨着的上一次(中间手动的、别的定时任务的两次不在同一定时任务的范围里)
base = (await client.get(f"/api/runs/{target_id}/compare/base")).json()
assert (base["base_run_id"], base["previous"]) == (base_id, True)
[listed] = [s for s in (await client.get("/api/schedules")).json()["items"] if s["id"] == sid]
assert listed["last_fire"]["id"] == fire_id and listed["last_fire"]["compare"]["base_run_id"] == base_id
@@ -321,9 +324,10 @@ async def test_after_a_failed_run_the_base_is_the_last_successful_one(recorder,
assert (body["compare"]["base_run_id"], body["compare"]["previous"]) == (first, False)
items = {f["id"]: f for f in (await client.get(f"/api/schedules/{sid}/fires")).json()["items"]}
assert items[fire_id]["compare"] == {"base_run_id": first, "summary": SUMMARY, "previous": False}
# 运行详情「与上一次对比」的默认基准挑的是同一次(同一个函数):两个同名入口比的是同一对运行、计数一致
# 运行详情「与上一次对比」的默认基准挑的是同一次(同一个函数):两个同名入口比的是同一对运行、计数一致;
# previous 也一样,运行详情的菜单项和触发历史的链接都写「与上一次成功的运行对比」
base = (await client.get(f"/api/runs/{target_id}/compare/base")).json()
assert (base["base_run_id"], base["reason"]) == (first, "same_schedule")
assert (base["base_run_id"], base["reason"], base["previous"]) == (first, "same_schedule", False)
async def fires_of(client, sid: str) -> dict[str, dict]:
@@ -396,6 +400,9 @@ async def test_a_stored_compare_stays_while_its_base_is_still_the_pick(recorder,
assert (await client.delete(f"/api/runs/{second}", params={"force": "true"})).status_code == 204
assert (await fires_of(client, sid))[third_fire]["compare"] == shown
assert await default_base_of(client, third) == (first, "same_schedule")
# 运行详情的默认基准按现在的运行记录算:中间那次删掉了,第 1 周就是紧挨着的上一次(菜单写「与上一次对比」,
# 触发历史照当时记下的写「与上一次成功的运行对比」,两句都属实,比的是同一对运行)
assert (await client.get(f"/api/runs/{third}/compare/base")).json()["previous"] is True
async def test_without_an_earlier_success_there_is_no_base(recorder, client):