数据事件触发按复核意见修正:途经驳回、去抖积压、source.changed 补写、按期次分窗口、补算缺省不认、示例出口字段同一套过滤

M1 途经驳回(编排者已定):outbox.stage_run_finished 收可选的 rejected_via(缺省 None 即没途经驳回),事件内容带 rejected 和
rejected_via,说法接「(途经驳回)」,模板有 {{ event.rejected }}(true / false)。触发条件缺省只认没途经驳回的,trigger 加
include_rejected(界面「也认途经驳回的」勾选,说明照实写)。runner._finalize 把 _rejected_via(state) 传进来那一下留给编排者
在合并时接(runner 的 _rejected_via 在 W1-b 的分支上);测试直接调 stage_run_finished 传参覆盖。

C1 去抖积压:以前一拍只走一个窗口,积压时后面的越等越久、全过了宽限,而且每个窗口各记一条跳过,原因还说调度没在跑。
现在 _drain 按发生时刻把等着的事件切成窗口,一拍里把到点的处理完(最多 100 个窗口、5000 条);排在前面已过补发宽限的合成
一条 skipped_misfire(合并了几次事件、几个窗口、时间跨度,上传表格另写合掉的期次),派给任务时已经晚于宽限才说「调度未运行」,
否则照实说积压;宽限内的照常发起(照重叠规则跳过的照实记)。

C3 source.changed:这一处确实没法和变化记录同一个事务(一次探查、剖析的变化分好几批落库,一批只触发一次要等任务结束才知道),
改成说实话:models_triggers 的说明写清哪两种同事务、哪一种不是。trigger_events 加 dedupe_key(source.changed:<任务号>,唯一),
emit_source_changed 按它去重;调度的一拍(刚起的服务第一拍就补,之后每 10 分钟)由 backfill_source_changes 按任务号补写:2 天内
测到、还开着的要处理级变化,任务已结束却没有事件的补一条。分组在 Python 里做,不用各库写法不同的 JSON 取值。

C4 按期次分窗口:triggers.window_key 让上传表格按期次各自成窗口,9 月、10 月连着启用各有各的触发;同一期的重传照旧合并。
两个窗口结束在同一刻时后一个挪 1 微秒,fire_at 不撞唯一约束。

C5 应用补算:workflow.finished 缺省不认 app_backfill 发起的(升版补算连发好几条、各是某一期的历史输入),trigger 加
include_backfill(界面「也认应用补算的」),选了「只认应用补算」时本来就认;说法写「途经驳回、应用补算的不算」。

C6 示例出口字段:triggers.outputs_of 一处过滤「_」开头的键,真派发、预览、立即运行共用;示例事件也按 matches 跳过缺省不认的
途经驳回、应用补算,取合条件的最近一次。

测试:新加 test_schedule_events_review.py(11 项,先写、先看着失败;去掉 matches 的驳回判断、把每拍窗口数改回 1 回跑,对应用例
各自失败),test_schedule_events_api.py 加一项「也认」两项经接口存取和说法;check-schedules 加「上游工作流的请求体」一段、纯函数
几条、触发历史里合并跳过那一行的夹具。
验证:后端全量 14479 通过;tsc、check-copy;check-schedules 447 项、check-runs 327 项通过(拿锁、--stacks 1)。
This commit is contained in:
ThearchyHelios
2026-10-18 18:09:20 +08:00
parent 35611beb7d
commit 656a550408
12 changed files with 703 additions and 83 deletions
+7
View File
@@ -55,6 +55,10 @@ export const TRIGGER_TEXT = {
originLabel: '只认来源',
originAny: '不限来源',
filterHint: '只在上游那次正式运行由这个应用、这种来源发起时触发',
includeRejected: '也认途经驳回的',
includeRejectedHint: '上游某个审批被驳回、按驳回那条路走完时,运行仍算成功结束。不勾时这类运行不触发;勾了以后,输入模板里的 {{ event.rejected }} 是 true',
includeBackfill: '也认应用补算的',
includeBackfillHint: '应用升版后按历次输入补算,会连着结束好几次正式运行,每次是某一期的历史输入。不勾时补算的运行不触发',
debounce: '去抖',
debounceHint: '这段时间内的几次事件合成一次触发,按最新的那一次渲染输入;上一次运行还没结束时仍按重叠策略跳过',
debounceOption: (span: string) => (span ? `${span}内合成一次` : '不去抖,每次事件都触发'),
@@ -86,6 +90,9 @@ export const TRIGGER_TEXT = {
merged: (n: number) => `合并了 ${n} 次事件`,
depth: (n: number) => `触发链第 ${n} 层`,
sample: '立即运行,按最近一次事件',
/** 几个过了补发宽限的去抖窗口合成一条跳过 */
windows: (n: number) => `${n} 个去抖窗口`,
periods: (list: string) => `期次 ${list}`,
sampleExample: '立即运行,事件为示例值',
// ---- 运行详情页头
@@ -199,6 +199,8 @@ function FireRow({ fire: f, schedule, now }: { fire: ScheduleFire; schedule: Sch
function EventFire({ event }: { event: ScheduleFireEvent }) {
const notes = [
event.merged > 1 ? TT.merged(event.merged) : null,
event.windows && event.windows > 1 ? TT.windows(event.windows) : null,
event.periods && event.periods.length > 1 ? TT.periods(event.periods.join('、')) : null,
event.depth > 1 ? TT.depth(event.depth) : null,
event.sample ? (event.real ? TT.sample : TT.sampleExample) : null,
].filter(Boolean)
+18 -1
View File
@@ -6,7 +6,9 @@ import { errorMessage } from '../../lib/errors'
import { timezoneOptions } from '../../lib/freq'
import { TRIGGER_TEXT as TT } from '../../lib/termsTrigger'
import type { ScheduleEventKind, ScheduleTriggerKind, ScheduleTriggerOptions } from '../../types'
import { DEBOUNCE_OPTIONS, EVENT_KINDS, TRIGGER_KINDS, graceLabel, switchEvent, type TriggerForm } from './model'
import {
BACKFILL_ORIGIN, DEBOUNCE_OPTIONS, EVENT_KINDS, TRIGGER_KINDS, graceLabel, switchEvent, type TriggerForm,
} from './model'
import { isUnsupported } from './parts'
/**
@@ -179,6 +181,21 @@ export function EventSection({ value, onChange, timezone, setTimezone, savedName
</Field>
</div>
<p className="text-2xs leading-relaxed text-faint">{TT.filterHint}</p>
{/* 缺省不认的两种成功结束:途经驳回的、应用补算的(服务端 triggers.matches),要认的勾上 */}
<div className="space-y-1 pt-1">
<label className="flex items-start gap-2 text-xs">
<input type="checkbox" className="mt-0.5" checked={value.includeRejected} data-trigger-include-rejected=""
onChange={(e) => set({ includeRejected: e.target.checked })} />
<span>{TT.includeRejected}<span className="block text-2xs leading-relaxed text-faint">{TT.includeRejectedHint}</span></span>
</label>
{value.originKind !== BACKFILL_ORIGIN && (
<label className="flex items-start gap-2 text-xs">
<input type="checkbox" className="mt-0.5" checked={value.includeBackfill} data-trigger-include-backfill=""
onChange={(e) => set({ includeBackfill: e.target.checked })} />
<span>{TT.includeBackfill}<span className="block text-2xs leading-relaxed text-faint">{TT.includeBackfillHint}</span></span>
</label>
)}
</div>
<p className="text-2xs leading-relaxed text-faint" data-trigger-chain="">{TT.chainHint(options.data.max_depth)}</p>
</div>
)}
+12 -1
View File
@@ -43,9 +43,15 @@ export interface TriggerForm {
period: 'any' | 'new'
appId: string
originKind: string
/** 也认途经驳回的、也认应用补算的(只给上游工作流,缺省都不认) */
includeRejected: boolean
includeBackfill: boolean
debounceS: number
}
/** 应用补算的来源:选了「只认应用补算」时,「也认应用补算的」不再适用 */
export const BACKFILL_ORIGIN = 'app_backfill'
export const EVENT_KINDS: readonly ScheduleEventKind[] = ['table.version', 'workflow.finished', 'source.changed']
export const TRIGGER_KINDS: readonly ScheduleTriggerKind[] = ['cron', 'event']
/** 去抖的选项(秒):不去抖、1 分钟(缺省)、5 分钟、15 分钟、1 小时 */
@@ -60,6 +66,8 @@ export function triggerFormOf(t: ScheduleTrigger | null | undefined): TriggerFor
period: t?.period === 'new' ? 'new' : 'any',
appId: t?.app_id ?? '',
originKind: t?.origin_kind ?? '',
includeRejected: t?.include_rejected === true,
includeBackfill: t?.include_backfill === true,
debounceS: typeof t?.debounce_s === 'number' ? t.debounce_s : DEFAULT_DEBOUNCE_S,
}
}
@@ -71,6 +79,8 @@ export function triggerBody(t: TriggerForm): ScheduleTrigger {
out.workflow_id = t.subjectId
if (t.appId) out.app_id = t.appId
if (t.originKind) out.origin_kind = t.originKind
if (t.includeRejected) out.include_rejected = true
if (t.includeBackfill && t.originKind !== BACKFILL_ORIGIN) out.include_backfill = true
} else {
out.source_id = t.subjectId
if (t.event === 'table.version' && t.period === 'new') out.period = 'new'
@@ -81,7 +91,8 @@ export function triggerBody(t: TriggerForm): ScheduleTrigger {
/** 换了事件种类:对象、过滤都不再适用,清掉;去抖留着 */
export function switchEvent(t: TriggerForm, event: ScheduleEventKind): TriggerForm {
if (t.event === event) return t
return { event, subjectId: '', period: 'any', appId: '', originKind: '', debounceS: t.debounceS }
return { event, subjectId: '', period: 'any', appId: '', originKind: '', includeRejected: false, includeBackfill: false,
debounceS: t.debounceS }
}
export interface ScheduleForm {
+9
View File
@@ -4069,6 +4069,12 @@ export interface ScheduleTrigger {
/** 只认某个应用发起的、某种来源的运行,只给 workflow.finished */
app_id?: string
origin_kind?: string
/**
* 也认途经驳回的(上游走了某个审批的驳回出口、按驳回那条路跑完,状态仍是成功)、也认应用补算的;缺省都不认。只给
* workflow.finished,不写即 false
*/
include_rejected?: boolean
include_backfill?: boolean
/** 去抖:同一个任务这么多秒内的几次事件合成一次 */
debounce_s: number
/** 保存时记下的对象名(对象删掉之后界面写它);读出来才有,交上去不用带 */
@@ -4108,6 +4114,9 @@ export interface ScheduleFireEvent {
/** 立即运行时按示例事件发起的(不是真来了一次事件);real 为假时是示例值 */
sample: boolean
real: boolean
/** 几个过了补发宽限的去抖窗口合成一条跳过时才有:合了几个窗口、合掉的期次(上传表格);老服务端不给 */
windows?: number | null
periods?: string[] | null
}
export interface ScheduleFire {