mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-15 16:41:59 +00:00
ThearchyHelios
1a6082f033
为什么：几千张表的库以前用不了——探查每个源最多取 200 个对象、按数据库列出的顺序截断，同步请求、整份替换、不排队； 落在窗口外的表在目录、look、剖析里被说成「表已不在」。 做了什么： - db/models_sources.py：source_objects（对象索引一行一个对象：范围、原因、结构指纹与 struct_version、first_seen / last_seen / removed_at、reflected_at、按需加入的留痕）、introspect_jobs / introspect_tasks（后台探查任务与逐表状态）。 - data/source_objects.py：每种方言一条字典查询建对象索引（失败退回 Inspector，上限 5 万，截断时不判删除）；探查范围规则 （options.introspect_scope：通配、按 name_key、排除优先、显式列出 / 移出；有目录的表、已发布模板写死 SQL 用到的表 pinned； 命中超上限拒绝并说出命中数）；唯一的 rebuild_schema_cache 从范围内已反射的行物化 schema_cache（形状不变，另加 scope 摘要）； 三种「不在」分开说（removed / missing / out_of_scope / reflect_failed）；按需加入（当场只读反射、落盘、留痕、进程内按源加锁）。 - data/introspect_jobs.py：探查改成后台任务（core/job_runtime，lane kind introspect，和同源起草、剖析串行；按批反射、逐表记状态、 可停止、读完的照样物化；重启标中断不续跑）。 - api/datasources.py：POST /introspect 返回 202 和任务，dry_run 同步只刷新索引、返回命中数；/introspect-jobs 读任务、停止； /introspect-scope 读、预览、保存规则；/schema?table= 带剖析事实、说清三种「不在」；DataSourceOut 加 schema_scope、introspect_job。 - schema_view：search_tables（BM25 倒排，遮罩列只用列名，范围外只按名字和注释、权重低一档）、profile_lines（剖析事实一节， 附「只供写查询参考」，遮罩按渲染那一刻重滤，上传表格快照不一致时不给）、absent_detail。 - look：候选超过 PREFILTER_LIMIT 时只给预筛结果 + 已用到的表 + 一跳关联；点名或挑中范围外的表按需加入（每次查看最多 4 张）， look 记录加 added_to_scope、prefiltered；表详情带剖析事实。 - tools/datasource：db_schema__ 加 keyword、不传 table 时只列前 50 张；点名范围外的表按需加入（每次运行最多 8 张）；查询结果 照实列「未按目录检查的表」（unchecked_tables，不新增检查规则）；建工具时读剖析事实。 - 剖析：_relation_ends 分清「范围外，可以加入」和「表结构里没有」；任务记上传表格的 snapshot_id；last_facts。表助手、/schema 用同一段剖析事实。 - 目录接口：清单只列范围内，absent_reason 分开说；GET /catalog/search 查对象索引，POST /catalog/scope/add 加入范围。 - 第 1 波留下的一处：check_valid_filter 和 stored_valid_filter 拼有效记录条件时按 quote_name 强制加引号。 - 工具参数纠错：空着的可选参数不止一个时，只认拼写明显接近的那一个（db_schema 多了 keyword 以后 tabel 仍能纠成 table）。 - 测试：3,000 张表的合成库（对象索引、缺省范围超上限拒绝、规则圈 400 张后台读完、停止、重启标中断、和剖析排队、同步起草 409）、删除与结构版本、Inspector 回退、截断不判删除、范围规则、pinned、方言金样；改了同步探查的老测试改为等任务做完。
45 lines
2.1 KiB
Python
45 lines
2.1 KiB
Python
"""测试里建的数据源，用完就删。
|
||
|
||
数据源表在每个测试进程的测试库里是共用的：留下来的源会出现在助手的数据源清单里（50 张表的合成库还会
|
||
触发挑表、多一次模型调用），别的用例的结果就跟着执行顺序变。阶段 1B 就是这样被绊过一次。
|
||
删数据源时它的数据目录随外键级联删除（测试库开着 PRAGMA foreign_keys=ON）。
|
||
"""
|
||
from __future__ import annotations
|
||
|
||
from sqlalchemy import delete, select
|
||
|
||
from app.data.engine import engines
|
||
from app.db.base import SessionLocal
|
||
from app.db.models import DataSource
|
||
|
||
|
||
async def drop_source(source_id: str | None = None, *, name: str | None = None) -> None:
|
||
"""按 id 或名字删一个数据源，并作废它的连接池。不存在就什么都不做。"""
|
||
async with SessionLocal() as session:
|
||
if source_id is None:
|
||
source_id = (await session.execute(
|
||
select(DataSource.id).where(DataSource.name == name))).scalar_one_or_none()
|
||
if source_id is None:
|
||
return
|
||
await session.execute(delete(DataSource).where(DataSource.id == source_id))
|
||
await session.commit()
|
||
await engines.invalidate(source_id)
|
||
|
||
|
||
async def introspect_now(client, source_id: str, *, expect: int = 202) -> dict:
|
||
"""探查结构并等它做完（探查是后台任务：POST /introspect 回 202 和任务，next-round 03 A1），返回数据源此刻的样子
|
||
（DataSourceOut）。expect 不是 202 时只发请求、断言状态码，返回响应体。"""
|
||
from app.data import introspect_jobs
|
||
|
||
r = await client.post(f"/api/datasources/{source_id}/introspect")
|
||
assert r.status_code == expect, r.text
|
||
if expect != 202:
|
||
return r.json()
|
||
job_id = r.json()["job"]["id"]
|
||
await introspect_jobs.manager.wait(job_id, timeout=120)
|
||
r = await client.get(f"/api/datasources/{source_id}/introspect-jobs/{job_id}")
|
||
assert r.status_code == 200, r.text
|
||
body = r.json()
|
||
assert body["job"]["status"] in ("succeeded", "partial"), body["job"]
|
||
return body["source"]
|