mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-21 07:11:59 +00:00
补齐剖析任务的测试(设计文档 §7 后端那一串),顺手改掉几处过时的说明
新增 tests/test_catalog_profile_jobs.py,用很小的 SQLite 夹具和假的查询层让超时、失败、停在哪一条都可控: - 同源排队:起草在跑时剖析建成 queued、waiting_for = draft,起草结束后自动开始;剖析在跑时建起草任务不 409、排在后面(waiting_for = profile),同种任务照旧 409;停掉排队中的剖析任务(在队里等着的一起停掉,检查项不留「排队」);导入目录、同步起草在剖析时 409 profile_busy;同步起草、导入期间建的剖析任务排在它后面,导入期间再导入一次 409 - 停止:停在 visits 的码值上,做完的 4 项照常写进目录、没做的记 cancelled 且目录不动,后面的表 cancelled,正在等的那条查询留痕写明没等结果;已结束的再停 409 catalog_profile_finished - 关停标中断、启动标中断不续跑(进行中那张表的检查项转成跳过);重试只带没做完的表、设置取当前的,没有可重试的 422,正忙 409 - 任务级止损:连续 3 条失败(error 带驱动报错第一行)、最近 10 条 7 条超时(停下、后面的表带同一句原因);提醒在好转后清掉,成功一条重置连续失败数 - 每张表开始前重读数据源:停用、关掉剖析就停;遮罩按最新的设置 - 范围:全部 / 需要剖析 / 指定(视图、表结构里没有、没有可剖析的项建成 skipped),有待核实关系的在前;profile_due 的 never / unfinished / new_relations;挑不出表 409 profile_nothing;超 500 张 422;空表一条查询记 skipped - 留痕:IN 列表里抽到的键值(文字键)不出现在库里的 query_log;表清单、表详情带上次剖析 - 设置迁移:启动时删掉旧键,老页面带旧键保存只摘掉;保留:超过保留数删旧的,不删某张表最近一次剖析所在的任务,建任务时顺手清 剖析停在一张表中途时,那张表的 error 改说「已做完的 N 项照常写进了数据目录」;engine.py、catalog_transfer.py、catalog_jobs.py 里还写着查询次数上限、只看起草任务的几处说明跟上。
This commit is contained in:
@@ -16,7 +16,7 @@
|
||||
- **同种任务互斥**(ensure_draft_free):同一个源同时只有一个排队或进行中的起草任务,同步起草(POST /catalog/draft)
|
||||
进行期间也算在起草,建任务、重试都是 DraftBusy。剖析任务不挡起草:同源有剖析任务时起草任务照建,排在它后面
|
||||
(waiting_for = "profile"),剖析结束后自动开始(每个源一条队,见 data/catalog_job_runtime.py)。
|
||||
- **同步写操作要求源空闲**(ensure_idle、sync_write):同步起草、导入目录要的是这个源上没有别的事——有排队或进行中的
|
||||
- **同步写操作要求源空闲**(ensure_idle;sync_draft、import_write 占队):同步起草、导入目录要的是这个源上没有别的事——有排队或进行中的
|
||||
起草任务(DraftBusy)、剖析任务(catalog_profile_jobs.ProfileBusy)都不开始;开始了就占着这个源的队,执行期间
|
||||
新建的任务排在它后面。进程内登记(单进程部署)。
|
||||
- **重试**(retry_tables + create_job):新任务,只含原任务里 failed、partial、cancelled 的表;用不用模型、本次说明沿用,
|
||||
|
||||
@@ -634,7 +634,7 @@ CONFLICT_ERROR = "这张表的数据目录正被其他人修改,剖析结果
|
||||
WRITE_ERROR = "写入数据目录时出错:{line}"
|
||||
TABLE_ERROR = "剖析这张表时出错:{line}"
|
||||
#: 停止、服务重启时正在剖析的那张表:做完的项照常写进了目录,剩下的没查
|
||||
STOPPED_TABLE = "{why}:已做完的 {done} 项已写进数据目录,剩下 {rest} 项没查"
|
||||
STOPPED_TABLE = "{why}:已做完的 {done} 项照常写进了数据目录,剩下 {rest} 项没查"
|
||||
#: 停止的说法(TableHooks.stop_text 没给时)
|
||||
STOPPED = "剖析已停止"
|
||||
|
||||
|
||||
@@ -28,8 +28,8 @@ tables: {表名: {notes, version}}},含全部状态的项,表结构里已经
|
||||
没有是 none。
|
||||
- 文件格式不对(不是对象、格式标记或版本不对、表的目录不是对象、起草要求不是文字或超长)抛 TransferInvalid,接口回 422。
|
||||
|
||||
有排队或进行中的起草任务时不导入(接口先调 catalog_jobs.ensure_idle,409 catalog_draft_busy);目标数据源没有表结构时
|
||||
接口回 409(什么也对不上)。
|
||||
有排队或进行中的起草、剖析任务时不导入(接口经 catalog_jobs.import_write,409 catalog_draft_busy / profile_busy,导入期间
|
||||
占着这个源的队);目标数据源没有表结构时接口回 409(什么也对不上)。
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
|
||||
@@ -62,7 +62,7 @@ MAX_QUERY_TIMEOUT_S = 600
|
||||
#: 运行事件里有查询结果的预览
|
||||
MASK_COLUMNS_OPTION = "mask_columns"
|
||||
|
||||
#: 数据源 options 里的数据剖析设置(一个对象:开关、查询次数上限、单条时限……)。取值和校验见
|
||||
#: 数据源 options 里的数据剖析设置(一个对象:开关、每张表的查询数和时长、单条时限……)。取值和校验见
|
||||
#: data/catalog_profile.py;放在这里只为让拼连接串时摘掉它
|
||||
CATALOG_PROFILE_OPTION = "catalog_profile"
|
||||
|
||||
|
||||
Reference in New Issue
Block a user