mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-20 17:02:01 +00:00
W3-a 表结构变化:前后差异、影响面、结构版本与 schema.drift(next-round 03 B1)
以前重新探查是整份替换表结构、不比前后:删了一列,那一列上人工确认过的目录项、写死这一列的已发布模板都收不到提醒, 正式运行要到查询那一步才报错。现在: - data/schema_diff.py:纯函数,同一张表前后两次的结构比出变化(加列、删列、类型、可空、注释、主键与唯一约束、外键); 疑似改名(类型相同、夹在同样两列之间、只有一对)只说「可能」;读不到唯一约束、外键的一边不比;升级后第一次读到 (结构版本 0)只建基线,不把通用写法换成方言完整写法说成类型变了。 - 后台探查顺带记变化(data/introspect_jobs.py):刷新对象索引记新出现的表、真删除的表(第一次建索引只建基线);开始 执行时记离开范围的有目录的表、范围规则和上一次不同;逐批读完拿上一次的结构比,读不到结构的记 table_reflect_failed。 离开范围、读不到结构不算删除。记变化出错只记日志,不挡探查。 - 变化记录 source_changes(db/models_sources.py 的 SourceChange,格式 agentlab-change/1,seq 自增不复用、按指纹去重), 记录与读取在 data/source_changes.py;取值观察的表 TableObservation 同文件建好。 - 影响面(data/catalog_impact.structure_impact):目录里说到被删、被改的列的项(列级项、业务主键、业务日期、有效记录条件 按 parse_valid_filter 取列、两端的关联关系)带状态,人工确认过的升为要处理;已发布模板写死的 SQL 换上新结构再跑 sql_unknown_columns,说得出「这条 SQL 现在会报列不存在」。sql_unknown_columns 从 api/copilot.py 挪到 data/sqlcheck_columns.py 共用,copilot 那边只改 import。 - 发布时记 WorkflowVersion.schema_versions(只记直接引用、结构版本大于 0 的表);正式运行发起时比对,变了写 schema.drift (core/events.py 登记,只提醒、不拦);版本详情给出 schema_versions、schema_changes;发布前检查把这一版直接引用的表上 还没处理的结构变化列成警告(schema.change_open),不拦发布。 测试:test_schema_diff(纯函数)、test_schema_changes(SQLite 夹具 ALTER 前后、影响面、去重、真删除与离开范围、 schema.drift、发布前检查、升级后基线)。
This commit is contained in:
@@ -446,6 +446,11 @@ class RefreshStats:
|
||||
note: str | None = None
|
||||
#: 第一次建对象索引时从升级前的老缓存接进来几张(legacy_seed)
|
||||
adopted: int = 0
|
||||
#: 这次新出现的、不在了(真删除)的对象名(结构变化按它记 table_added / table_removed,next-round 03 B1);
|
||||
#: first_build:这个 schema 的对象索引是这一次才建起来的——全是新的,只建基线、不记「新出现的表」
|
||||
added_names: list[str] = field(default_factory=list)
|
||||
removed_names: list[str] = field(default_factory=list)
|
||||
first_build: bool = False
|
||||
|
||||
|
||||
def _chunks(items: list[Any], size: int = 500) -> Iterable[list[Any]]:
|
||||
@@ -548,14 +553,18 @@ async def refresh_index(session: AsyncSession, source_id: str, schema: str, resu
|
||||
await session.execute(update(_SO).where(_SO.id.in_(chunk)).values(removed_at=None)
|
||||
.execution_options(synchronize_session=False))
|
||||
gone: list[str] = []
|
||||
gone_names: list[str] = []
|
||||
if not result.capped:
|
||||
gone = [r.id for name, r in existing.items() if name not in seen and r.removed_at is None]
|
||||
gone_names = [name for name, r in existing.items() if name not in seen and r.removed_at is None]
|
||||
gone = [existing[name].id for name in gone_names]
|
||||
for chunk in _chunks(gone):
|
||||
# 真删除:不在范围里了,结构(meta)留着——下一波的结构差异要拿它和以前比
|
||||
# 真删除:不在范围里了,结构(meta)留着——结构差异(data/schema_diff)要拿它和以前比、算影响面
|
||||
await session.execute(update(_SO).where(_SO.id.in_(chunk)).values(removed_at=now, in_scope=False)
|
||||
.execution_options(synchronize_session=False))
|
||||
return RefreshStats(total=len(seen), added=len(new_rows), removed=len(gone), method=result.method,
|
||||
capped=result.capped, note=result.note, adopted=len(seeds))
|
||||
capped=result.capped, note=result.note, adopted=len(seeds),
|
||||
added_names=[r["name"] for r in new_rows] if existing else [], removed_names=gone_names,
|
||||
first_build=not existing)
|
||||
|
||||
|
||||
async def live_objects(session: AsyncSession, source_id: str, schema: str) -> list[tuple[str, str]]:
|
||||
|
||||
Reference in New Issue
Block a user