mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-16 00:21:57 +00:00
剖析与探查的方言修正(C1)和没有真库时的方言验证(C2)
为什么:剖析是全站唯一主动查业务库的地方,以前只在守卫放行和字符串片段两层上测过,从没在真库上跑过。
本机四个容器(PG 16、MySQL 8.4、MariaDB 11、Oracle Free 23)实测,旧的 IN 列表写法在 PostgreSQL 上整数子列
对文字主键直接报 operator does not exist: character varying = integer,关系一条都核对不了。
C1 方言修正:
- IN 列表的字面量按被指向列的类型族写(key_literals):父列文字写 '12',父列数字只收整数写法的值,父列是时间、
对不上的不拼并在备注里写「两端类型不同」;子表是 CHAR(n) 时去掉补齐的尾随空格。
- 列类型改存按方言编译的完整写法(VARCHAR2(20 CHAR)、NUMBER(10, 0)、ENUM('a','b')、TIMESTAMP WITH TIME ZONE),
编译不了退回 str()。SQLAlchemy 把 Oracle 的 VARCHAR2 反射成通用 VARCHAR(容器实测),照数据字典写成 VARCHAR2。
ENUM / SET 另记 enum_values;Oracle 小写带引号的表和列记 quote_name;各索引(含主键)的首列记进
index_first_columns(下一波取值观察判断能不能对大表发窗口查询)。新探查的快照哈希会变,旧运行封存的不受影响。
- catalog._type_family 认 ENUM / SET 是文字、INTERVAL 不是数字,去掉引号里的取值再认;新增 column_family
(有 enum_values 的是文字,PostgreSQL 枚举编译出来只有类型名);is_date_column 不再把 ENUM('date') 认成日期列。
- 码值候选:ENUM / SET 不看列名直接算候选,ENUM 列定义里这次没出现的取值也写进码值(含义待填);VARCHAR2(20 CHAR)
的长度按 20 算;CHAR 码值去尾随空格;MySQL 上写明按排序规则分组、比较(可能不分大小写)。
- 统计信息估出的行数不超过整表统计上限时再跑一次有上限的计数确认,统计过期的大表不再被当成小表做整表统计。
- 日期列的最小值、最大值只看 0001-01-02 到 9999-12-31 之间的值,零日期、占位日期、PG 的 ±infinity 不计入,
照实写「另有 N 个无效日期未计入」,日期范围里带 invalid 个数(界面显示)。
- 新增取值观察用的方言方法 date_literal / day_trunc / sample_from,以及按日行数、时间窗口里的取值分布、块采样三类
查询的拼法(窗口上端截在 9999-12-31 之前,不让 infinity 多出一天)。
- 说明文字不再说「抽样」:大表看的是「按存储顺序取前 N 行」;设置项「抽样键值数」改叫「核对键值数」。
C2 验证:
- tests/test_profile_dialect_golden.py:五种方言 × 全部剖析和观察查询的完整 SQL 钉在 tests/fixtures/dialect/,
sqlglot 逐条解析、过只读守卫,再用 qualify + annotate_types 核对 IN 两边类型族一致(附旧写法的对照)。
- scripts/dialect-it.sh(不进 CI):本机起四个容器,建虚构夹具(保留字列、Oracle 小写带引号的表、CHAR 码值、
MySQL ENUM、零日期 / infinity / 占位日期、做旧的统计信息、超上限的大表、带索引的日期列),用 AgentLab 自己的
探查和剖析代码跑全部查询,断言零报错、结论和手算一致。四种库都通过;MariaDB 插入时自己更新行数估算,统计信息
做不旧,照实打印。把 IN 列表改回旧写法回跑,PG 上照样报出上面那条错误。跑完删容器、留镜像。
This commit is contained in:
@@ -2771,7 +2771,7 @@ export const SCHEMA_PARTIAL_TEXT = {
|
||||
// - 剖析是后台任务:逐张表进行,每张表剖析完就写进目录;查询一条一条地发,可以随时停止。关掉对话框照常进行。
|
||||
// 目录只在整张表结束时写一次:停止、关停服务时正在做的那张来得及收尾,做完的项照常写进去;进程被杀时那张表没来得及收尾,
|
||||
// 这次做完的项一项都没写进去。说停下以后写进了什么,按逐表的状态照实说(cancelledNote / interruptedNote),不一律说「已写进」。
|
||||
// - 预算按表算:「每张表最多查询数」「每张表时长上限」用完只停这张表,下一张表重新计数;另有单条查询时限、抽样键值数、
|
||||
// - 预算按表算:「每张表最多查询数」「每张表时长上限」用完只停这张表,下一张表重新计数;另有单条查询时限、核对键值数、
|
||||
// 整表统计行数上限。标签和服务端校验报错里的叫法一致(catalog_profile._NUMBER_FIELDS),保存被拒时按机读码认出是哪一项。
|
||||
// - 没有整次总量上限:任务自己在连续失败、多数超时时停下(止损),写明原因。
|
||||
// - 「没查成」≠ 结论错了:因为次数、时长、超时、出错没查成的项保留剖析以前的结论,可以「重试没做完的表」。
|
||||
@@ -2783,7 +2783,7 @@ export const PROFILE_FIELD_LABEL: Record<'enabled' | CatalogProfileNumberKey, st
|
||||
table_max_queries: '每张表最多查询数',
|
||||
table_max_s: '每张表时长上限',
|
||||
query_timeout_s: '单条查询时限',
|
||||
sample_size: '抽样键值数',
|
||||
sample_size: '核对键值数',
|
||||
max_scan_rows: '整表统计行数上限',
|
||||
}
|
||||
|
||||
@@ -2799,7 +2799,7 @@ export const PROFILE_FIELD_HINT: Record<CatalogProfileNumberKey, string> = {
|
||||
table_max_queries: '剖析一张表最多发出的查询条数,用完只停这张表,下一张表重新计数',
|
||||
table_max_s: '剖析一张表最多用的时长,到时只停这张表,下一张表重新计时',
|
||||
query_timeout_s: '超过即中断这条查询;不超过数据源自身的查询时限,也不超过这张表剩下的时长',
|
||||
sample_size: '核对一条关联关系时,从本表抽取的不同键值个数',
|
||||
sample_size: '核对一条关联关系时,从本表取的不同键值个数:取的是数据库先给出的那些,不是随机抽样',
|
||||
max_scan_rows: '不超过此行数的表才做去重计数、最小值和最大值等整表统计',
|
||||
}
|
||||
|
||||
@@ -2863,7 +2863,7 @@ export const PROFILE_TEXT = {
|
||||
budgetPerTable: (queries: number, secs: number) =>
|
||||
`每张表最多 ${formatNumber(queries)} 条查询、${formatNumber(secs)} 秒,用完只停这张表,下一张表重新计数`,
|
||||
budgetQuery: (secs: number) => `单条查询不超过 ${formatNumber(secs)} 秒`,
|
||||
budgetSample: (n: number) => `每条关联关系抽样 ${formatNumber(n)} 个键值`,
|
||||
budgetSample: (n: number) => `每条关联关系取 ${formatNumber(n)} 个不同键值核对`,
|
||||
budgetScan: (n: number) => (n > 0 ? `行数超过 ${formatNumber(n)} 的表不做整表统计` : '不做整表统计'),
|
||||
/** 上限的估算:表数 × 每张表的上限 */
|
||||
budgetTotal: (tables: number, queries: number, span: string) =>
|
||||
@@ -3002,7 +3002,7 @@ export const PROFILE_TEXT = {
|
||||
relationLowCoverage: '覆盖率不足,可能不是这条关系',
|
||||
relationNotUnique: '被指向列未核实唯一',
|
||||
coverage: (pct: string) => `覆盖率 ${pct}`,
|
||||
sampled: (sample: number, matched: number) => `抽样 ${formatNumber(sample)} 个键值,对上 ${formatNumber(matched)} 个`,
|
||||
sampled: (sample: number, matched: number) => `取了 ${formatNumber(sample)} 个不同键值,对上 ${formatNumber(matched)} 个`,
|
||||
cardinalityUnknown: '基数未核实',
|
||||
codeRows: (n: number) => `${formatNumber(n)} 行`,
|
||||
codesSummary: (values: number, rows: number) => `${formatNumber(values)} 个取值,共 ${formatNumber(rows)} 行`,
|
||||
@@ -3012,10 +3012,12 @@ export const PROFILE_TEXT = {
|
||||
dateProposal: (col: string) => `提议按 ${col} 作为业务日期`,
|
||||
dateSpan: (min: string, max: string) => `取值从 ${min} 到 ${max}`,
|
||||
dateRanges: '日期列的取值范围',
|
||||
/** 日期列的最小值、最大值不计入的值(catalog_profile.VALID_DATE_FROM):零日期、0001-01-01、9999-12-31、无穷大 */
|
||||
dateInvalid: (n: number) => `另有 ${formatNumber(n)} 个无效日期未计入(零日期或占位日期)`,
|
||||
skippedTitle: (n: number) => `跳过 ${formatNumber(n)} 项`,
|
||||
moreSkipped: (n: number) => `…另有 ${formatNumber(n)} 项`,
|
||||
queriesTitle: (n: number) => `看发过的查询(${formatNumber(n)} 条)`,
|
||||
queriesHint: 'SQL 里的取值都换成了「?」:抽样到的键值不保存在 AgentLab 中;遮罩的列不出现在任何查询里',
|
||||
queriesHint: 'SQL 里的取值都换成了「?」:取到的键值不保存在 AgentLab 中;遮罩的列不出现在任何查询里',
|
||||
queryKind: { row_estimate: '行数估算', relation: '关系', codes: '码值', date: '日期' } as Record<string, string>,
|
||||
queryOutcome: { ok: '成功', timeout: '超时', error: '失败', rejected: '未通过只读守卫' } as Record<string, string>,
|
||||
queryRows: (n: number) => `${formatNumber(n)} 行`,
|
||||
|
||||
@@ -780,6 +780,10 @@ export function ProfileTaskBody({ detail: d, mode, filled = {}, focusAfter = nul
|
||||
<StatusChip status={date.status} className="mr-1.5 align-middle" />
|
||||
{PT.dateProposal(date.column)}
|
||||
<span className="tnum text-dim">,{PT.dateSpan(date.min.slice(0, 19), date.max.slice(0, 19))}</span>
|
||||
{(() => {
|
||||
const invalid = d.date_ranges.find((r) => r.column === date.column)?.invalid
|
||||
return invalid ? <span className="tnum text-dim">,{PT.dateInvalid(invalid)}</span> : null
|
||||
})()}
|
||||
</li>
|
||||
</Group>
|
||||
)}
|
||||
@@ -788,6 +792,7 @@ export function ProfileTaskBody({ detail: d, mode, filled = {}, focusAfter = nul
|
||||
{d.date_ranges.map((r) => (
|
||||
<li key={r.column} className="tnum text-xs text-dim" data-profile-date-range={r.column}>
|
||||
<span className="mono text-fg">{r.column}</span>:{PT.dateSpan(r.min.slice(0, 19), r.max.slice(0, 19))}
|
||||
{r.invalid ? `,${PT.dateInvalid(r.invalid)}` : null}
|
||||
</li>
|
||||
))}
|
||||
</Group>
|
||||
|
||||
@@ -14,7 +14,7 @@ import type { ProfileForm } from './profile'
|
||||
// 数据剖析的设置:开关、五项预算、风险说明。数据源编辑框里是其中一段;导入表格的源没有编辑框,数据目录页在
|
||||
// 剖析被拒(未开启)时也要就地打开它,所以另有一个只改这一项的弹窗(options 的其余键原样带上)。
|
||||
// 剖析会对业务库发查询,开关默认关着;开启后五项预算才展开,风险说明写的是此刻填的数。
|
||||
// 预算按表算:每张表最多查询数、每张表时长上限(用完只停这张表),另有单条查询时限、抽样键值数、整表统计行数上限;
|
||||
// 预算按表算:每张表最多查询数、每张表时长上限(用完只停这张表),另有单条查询时限、核对键值数、整表统计行数上限;
|
||||
// 没有整次剖析的总量上限(任务自己在连续失败、多数超时时停下)。
|
||||
// ===========================================================================
|
||||
|
||||
|
||||
@@ -3528,7 +3528,8 @@ export interface CatalogProfileTaskDetail extends CatalogProfileTaskRow {
|
||||
findings: CatalogProfileFinding[]
|
||||
skipped: CatalogProfileSkip[]
|
||||
/** 日期类列的取值范围 */
|
||||
date_ranges: { column: string; min: string; max: string }[]
|
||||
/** invalid:零日期、占位日期这类不计入最小值和最大值的个数(没有时不给) */
|
||||
date_ranges: { column: string; min: string; max: string; invalid?: number }[]
|
||||
query_log: CatalogProfileQuery[]
|
||||
}
|
||||
|
||||
|
||||
Reference in New Issue
Block a user