Excel 导入改造期 2:配方引擎与确认向导——表从哪一行哪一列开始、哪些是合计、日期怎么补年份,都写进一份可校验的配方;首次导入经人确认,之后每期按配方重放并核对

配方语言(agentlab-recipe/2,新 recipe_types、recipe)
- 封闭、不含正则、保存时静态校验:常量只能从表里的候选文字里选,占位符只能映射成空值,单位从固定词表里取
- 交叉表和列表两种版式;分段各自定位、不依赖先后顺序;合计按标签语义区间核对,关系恒等式、口径不同的声明都写在配方里
- 固定的解析器集合(parsers/2):全角、各类横线、千分位、月日写法宽容归一,规范写法存库、原文另记

执行器(新 xlsx_cells、recipe_engine)
- 两遍读取逐行对账,每个非空格都要有去向(格子账);交叉表逆透视成长表,按统计期补年份并断言覆盖整期
- 合计行改作核对并另存一张表,不和明细混在一列;区域外文字、隐藏行列、合并单元格、空行之后的文字都单独报出
- STRICT 加主键写临时库;按锚点段记溯源,供后续证据下钻用;大表流式读取,扫描在 sheetData 处停止

校验与说明(新 recipe_checks、recipe_notes)
- SQL 核对分通过、不一致、无法核对三种结果,失败分结构、数据质量、需确认三类;结构类直接拒收
- 数据质量类可以写理由接受,接受不改库、只改状态和说明
- 表的说明按核对结果生成、不含数字,经过数字检查;没核对过的不写「已核对」

起草(新 recipe_suggest、recipe_ai)
- 先用规则起草:建议卡片加待确认问题(关系要不要登记、占位符表示什么)
- 规则起草不完整时才提示 AI 兜底:界面先展示要发出的全部文字,用户同意才发;只发结构,数字、隐藏行列、遮罩列不发,公式先脱敏;同意绑定模型和服务方;AI 只写配方,有限次修订,记 token 和费用;截断单独识别
- 无论规则还是 AI 起草,都必须人工确认才能启用

导入流程(新 recipe_imports、recipe_confirm、recipe_diff、api/table_imports)
- 暂存 → 起草 → 回答问题或改配方 → 试运行 → 勾确认项、写接受理由 → 确认并启用;接入期 1 的构建、导入记录、快照和运行固定版本
- 上传新一期按已确认的配方重放,不调用模型,出回执和差异卡,手动启用
- 改配方报破坏性变更(breaking:*)、单位变化、工作表改名的兜底,都要逐项勾选确认

前端导入向导(新 pages/import)
- 原始网格(行列号、去向着色)、建议卡片、配方面板(表单,不露正则)、试运行回执、确认清单、差异卡、AI 起草的同意对话框
This commit is contained in:
ThearchyHelios
2026-10-01 22:00:07 +08:00
parent 8059cd5147
commit 2d5e50fa88
64 changed files with 36299 additions and 112 deletions
+352 -1
View File
@@ -842,7 +842,9 @@ export const UPLOAD_TEXT = {
// 交叉表、多块结构
shapeTitle: '该表格不是一行一条记录的明细表',
shapeLead: '检测到以下结构,默认不导入:',
shapeRecipe: '这类表格需要按配方导入(指定表头、分段和合计行的处理方式),该功能将在后续版本提供。',
shapeRecipe: '这类表格可以按配方导入:指定表头、分段和合计行的处理方式,试运行核对、逐条确认后再启用。',
/** CSV 没有配方这条路(配方只认 Excel 的工作表结构) */
shapeRecipeCsv: '按配方导入目前只支持 Excel(.xlsx)文件:可另存为 .xlsx 后再按配方导入。',
shapeHeader: (row: number) => `如果表头不在第 ${row} 行,请取消后修改表头行号,再重新上传。`,
/** 结构问题之外,预告的混合列:选按原样导入以后还要再选一次 */
shapeMixedLead: '另外,以下各列以数字为主,但混有非数字的值。选择按原样导入后,还需要选择这些值的处理方式:',
@@ -901,3 +903,352 @@ export const RAW_STATE_LABEL: Record<string, string> = {
purged: '原件已清除',
absent: '未保存原件',
}
/**
* 按配方导入(期 2):向导、原始网格、建议卡片、配方面板、试运行回执、确认清单、差异卡、AI 起草。
* 后端返回的问题、确认项、核对标题是整句人话,界面原样显示;这里只放界面自己的文字和枚举的显示名。
*
* 配方面板里不出现「正则」一类字样:配方语言是封闭的,没有任何字段能写匹配规则
*/
export const RECIPE_TEXT = {
// ---- 入口
entry: '按配方导入',
entryHint: '交叉表、分段表格按配方导入:起草配方、试运行核对,逐条确认后启用',
reupload: '上传新一期',
reuploadHint: '按已确认的配方导入新一期的文件:先试运行,看过回执和差异后再启用',
redraft: '修改配方',
redraftHint: '不换文件,修改当前配方后重新试运行',
openStaging: '有未完成的导入',
openStagingHint: '继续上次未完成的导入',
// ---- 向导
titleFirst: '按配方导入',
titleNamed: (name: string) => `按配方导入「${name}」`,
titleReupload: (name: string) => `上传新一期「${name}」`,
titleRedraft: (name: string) => `修改配方「${name}」`,
steps: { pick: '选择文件', draft: '起草配方', trial: '试运行', confirm: '确认启用', done: '完成' },
pickReupload: '选择新一期的文件:将按当前配方试运行,回执和差异核对无误后再启用。',
nameHint: '将用作工具名的一部分;启用之前不会创建数据源',
nameLabel: '数据源名',
nameInvalid: '须以小写字母开头,只能包含小写字母、数字和下划线',
nameTakenDb: (name: string) => `「${name}」已被其他数据库用作标识,请更换名称`,
descriptionLabel: '说明(供助手参考)',
pickDrop: '拖入文件,或点击选择',
/** 与选择框的 accept 一致 */
pickFormats: '支持 Excel(.xlsx、.xlsm)',
pickAria: '选择表格文件',
pickWrongType: (name: string) => `「${name}」不是 Excel 文件:按配方导入只支持 .xlsx、.xlsm`,
cancelUpload: '取消上传',
cancel: '取消',
close: '关闭',
staging: '正在读取表格、起草配方',
reuploading: '正在读取表格、按当前配方试运行',
loading: '正在读取这次导入',
discard: '放弃这次导入',
discardTitle: '放弃这次导入?',
discardConsequences: ['已起草的配方、回答和试运行结果都不保留', '数据源的当前版本不受影响'],
discarded: '已放弃这次导入',
closed: '这次导入已结束(过期或已放弃),请重新开始',
rawMissing: '当前导入的原始文件已清除,无法直接修改配方:请用「上传新一期」带着文件进入修改',
later: '稍后继续',
laterHint: '关闭向导,进度已保存在服务端;可从卡片上的「有未完成的导入」继续',
// ---- 起草
trialRun: '试运行',
trialRunning: '试运行中',
trialBlocked: '配方有问题,修改后才能试运行',
trialStale: '上次的试运行已失效(之后修改过配方或录入),请重新试运行',
trialStaleConfirm: '上次的试运行已失效,不能据此启用:请回到配方重新试运行',
partial: '仅检查了前 500 行,完整检查在试运行时进行',
partialHint: '表格较大,起草时只检查了每张工作表的前 500 行;试运行会检查全部',
draftIncomplete: '规则起草未能完成',
cardsTitle: '建议',
questionsTitle: '待确认',
noCards: '没有需要说明的建议',
reasonLabel: '理由(必填)',
reasonPlaceholder: '说明为什么这样选',
reasonSubmit: '提交',
reasonRequired: '请填写理由',
answering: '正在应用',
suggested: (label: string) => `建议:${label}`,
// ---- 网格
gridLabel: '原始表格',
legendTitle: '图例',
unclaimed: '没有去处',
hiddenCells: '隐藏的行列',
gridTruncated: (n: string, total: string) => `仅显示前 ${n} 行,共 ${total} 行`,
noGrid: '没有可显示的工作表',
// ---- AI 起草
aiOffer: '让 AI 起草(会把表格结构发给模型)',
aiUnavailable: '未配置模型接入,无法使用 AI 起草(设置 → 模型接入)',
aiConsentTitle: '发送表格结构给模型',
aiConsentLead: (model: string) => `将把下面这段内容发送给「${model}」:工作表名称、表头和行标签等结构文字`
+ '(写成文字的日期和统计期说明也会发送,如「8月1日」「统计时间范围:…」)、数字单元格和日期格式单元格的类型、'
+ '合并区域、去掉了常量的公式形状、系统发现的关系。',
aiConsentNot: '不会发送数字单元格的值、日期格式单元格里的日期、像数字的文字和隐藏行列的内容;'
+ '其他文字只发字数,列表数据列只发个数统计、不发内容(每行最左一格的「合计」「小计」这类标签和占位符照发)。'
+ '配方需要修订时,还会把配方的问题列表发给同一个模型,其中的这些内容同样已遮掉。',
aiConsentAfter: 'AI 只起草配方,导入前仍需试运行并逐条确认。',
aiPreviewLabel: (chars: string) => `将要发送的全文(${chars} 字)`,
aiAgree: '同意并发送',
aiPreviewing: '正在准备将要发送的内容',
aiDrafting: 'AI 起草中',
/** cost 是 formatCost 的结果(「$0.012」) */
aiDone: (tokens: string, cost: string) => `AI 起草完成,用了 ${tokens} token(约 ${cost})`,
aiStale: '表格内容或模型设置已变化,请重新查看将要发送的内容',
// ---- 配方面板
panel: '配方',
panelHint: '每项修改都会立即保存并重新检查;有问题的字段旁会标出原因',
panelProblems: '配方有以下问题',
viewJson: '查看配方 JSON',
hideJson: '收起配方 JSON',
pasteJson: '粘贴配方',
pasteLead: '粘贴一份完整的配方 JSON,保存后同样经过检查。',
pasteSave: '保存配方',
pasteInvalid: 'JSON 格式有误,未保存',
pasteNotObject: '配方必须是一个 JSON 对象',
saving: '正在保存',
noRecipe: '还没有配方:请回答上面的问题,或粘贴一份配方',
readonlyNote: '表单没有覆盖的字段只能通过粘贴配方修改',
sheet: (name: string) => `工作表「${name}」`,
table: (name: string) => `表「${name}」`,
crosstab: '交叉表',
listBlock: (id: string) => `列表「${id}」`,
segment: (id: string) => `分段「${id}」`,
derivedSegment: (id: string) => `合计段「${id}」`,
tableName: '表名',
columnName: '列名',
unit: '单位',
noUnit: '无单位',
grain: '主键',
grainHint: '用作主键的列(最多 4 列)',
labels: '标签',
totalLabels: '合计标签',
addLabel: '添加',
labelPlaceholder: '从表格中选择或输入',
removeLabel: (label: string) => `移除标签「${label}」`,
locateBy: '定位方式',
sectionTitle: '分段标题',
stopAtTotal: '遇到时段合计行时结束本段',
dimName: '维度列名',
dimParser: '标签写法',
valueName: '值列名',
constants: '常量列',
constPick: '取值',
deriveCols: '由时段派生的列',
deriveRole: { start: '区间起点', end: '区间终点' } as Record<string, string>,
keepDim: '合计项列名',
keepAs: '原表合计另存为表',
keepTable: '另存的表名',
values: '数据区的值',
valueType: '类型',
placeholders: '占位符',
placeholderText: '占位符文字',
placeholderMeaning: '含义',
placeholderStore: '一律存为空值',
addPlaceholder: '添加占位符',
removePlaceholder: (text: string) => `移除占位符「${text}」`,
blank: '空格',
textNumber: '文本写的数字',
formula: '公式',
period: '统计期',
preferPrefix: '优先展示以此开头的格子',
crossCheck: '与文件名里的日期核对',
addPeriod: '从格子里解析统计期',
noPeriod: '未配置统计期',
axisChecks: '日期检查',
axisChecksHint: '取消任一项,确认清单里会多出一条需确认的放宽',
headerRows: '表头行数',
afterTitle: '只在这行文字之后找表头',
columns: '列',
colHeader: '表头',
colType: '类型',
colStore: '存法',
addColumn: '添加列',
removeColumn: (name: string) => `移除列「${name}」`,
extraColumns: '表头里多出的列',
blankRows: '数据中间的空行',
totalRow: '合计行',
totalRowOn: '有合计行',
totalLabelColumn: '合计标签所在的列',
totalPick: '合计行以此开头',
totalKeep: '原表合计另存为表(留空则只核对)',
hiddenRows: '隐藏行',
hiddenCols: '隐藏列',
fallback: '工作表改名时',
otherSheets: '配方没有列出的其他工作表',
relations: '关系',
relationRegister: '登记',
relationDismiss: '不登记',
relationReason: '不登记的理由(必填)',
relationTotal: '合计列',
relationParts: '组成列',
relationNoCache: '请在建议卡片的问题里选择「登记」',
notComparable: (a: string, b: string) => `「${a}」与「${b}」口径不同`,
sumEq: (total: string, parts: string) => `${total} = ${parts}`,
dismissed: (claims: string) => `不登记系统发现的关系 ${claims}`,
// ---- 试运行回执
receipt: '试运行回执',
ledger: (n: string) => `单元格去向:非空单元格 ${n} 个`,
ledgerAll: '全部有去处',
ledgerUnclaimed: (n: string) => `其中 ${n} 个没有去处`,
/** 格子账为空:配方里的工作表一张都没读到(如工作表改名后对不上),去向和两遍读取都无从谈起 */
ledgerNone: '未读取到配方中的工作表,无法核对单元格去向',
ledgerSheetsMissing: (n: string) => `配方中有 ${n} 张工作表未读取到,以上只计入已读取的工作表`,
ledgerUnbalanced: (sum: string, read: string) => `各去向合计 ${sum} 个,与读取到的 ${read} 个不符`,
passAgree: '两遍读取一致',
passDiffer: (scan: string, read: string) => `两遍读取不一致:第一遍 ${scan} 个、第二遍 ${read} 个`,
tables: '表与行数',
rows: (n: string) => `${n} 行`,
/** 拒收、需要录入时执行器没有写完(或根本没写库):只列表和列,不显示行数 */
tablesUnwritten: '试运行没有完成写入,以下只列出表和列;行数以通过后的试运行为准',
rowsUnwritten: '未写入',
periodLine: (start: string, end: string) => `统计期:${start} 至 ${end}`,
periodFromCells: (cells: string) => `取自 ${cells}`,
periodHuman: (who: string) => `人工录入(${who})`,
checks: '核对',
notes: '说明预览',
problems: '问题',
outsideText: '区域外文字',
placeholderCounts: '占位符',
placeholderCount: (text: string, n: string) => `「${text}」${n} 格`,
statusPassed: '试运行通过:请逐条确认后启用',
statusNeedsDecision: '有核对未通过但可以接受:在确认清单里写明理由',
statusNeedsInput: '无法从表格中确定统计期:请录入本期统计期',
statusRejected: '试运行未通过:请修改配方或文件',
backToRecipe: '修改配方',
toConfirm: '下一步:逐条确认',
backToReceipt: '返回回执',
periodStart: '统计期起',
periodEnd: '统计期止',
periodSuggest: (start: string, end: string) => `文件名中的日期:${start} 至 ${end}`,
periodUseSuggest: '填入',
periodSubmit: '按此统计期试运行',
periodInvalid: '请填写两个日期,且起点不晚于终点',
// ---- 确认清单
confirmTitle: '启用前请逐条确认',
confirmLead: '以下各项需逐条勾选;可接受的核对须写明理由。',
acceptTitle: '可接受的核对',
acceptLabel: '接受理由(必填)',
acceptPlaceholder: '说明为什么可以接受',
signLabel: '署名',
signNote: '署名(未认证)',
commitFirst: '确认并启用',
commitReupload: '启用',
committing: '正在启用',
commitBlocked: '请勾选全部必选的确认项,并为每条可接受的核对写明理由',
/** 不必勾的确认项(ConfirmItem.required=false)旁的标注 */
confirmOptional: '可选',
missing: '这一项尚未确认',
rerunTrial: '请重新试运行',
baseChanged: '在你试运行之后,当前版本已被更新,请重新试运行',
nameTaken: '该名称已被占用:请放弃这次导入,换一个名称后重新导入',
// ---- 完成
done: (name: string) => `已启用「${name}」`,
doneUnchanged: (seq: string) => `与第 ${seq} 次导入相同,未新建版本`,
doneReused: '内容与以前的某次导入相同,沿用了那次的数据文件',
finish: '完成',
// ---- 卡片上的配方信息
recipeVersion: (seq: string) => `配方第 ${seq} 版`,
recipeActivated: (when: string) => `${when}${/\d$/.test(when) ? ' ' : ''}启用`,
recipeActivatedTitle: (when: string) => `当前配方于 ${when} 启用`,
recipeSigned: (who: string) => `署名「${who}」(未认证)`,
// ---- 差异卡
diffTitle: '与上一期相比',
/** 差异卡的 kind 不在 DIFF_KIND_LABEL 里时的通用名(不露键名) */
diffKindOther: '其他变化',
diffRequires: '需确认',
diffNone: '与上一期相比没有需要说明的差异',
sameAsImport: (seq: string) => `与第 ${seq} 次导入相同,无需重复导入`,
} as const
/** 格子的去向(契约 Role):网格图例、回执里的格子账 */
export const LEDGER_ROLE_LABEL: Record<string, string> = {
value: '数据值',
derived_value: '合计格',
derived_label: '合计标签',
col_header: '列表头',
row_label: '行标签',
section_title: '分段标题',
context: '统计期',
outside_text: '区域外文字',
ignored_column: '忽略的列',
hidden_excluded: '排除的隐藏行',
total_label: '合计标签',
total_value: '合计格',
}
/** 核对结果的状态 */
export const CHECK_STATUS_LABEL: Record<string, string> = {
passed: '通过',
mismatch: '不一致',
unverifiable: '无法核对',
info: '说明',
}
/** 问题和核对的类别:结构问题不能接受,只能改配方或文件;数据质量可以写明理由后接受 */
export const PROBLEM_CATEGORY_LABEL: Record<string, string> = {
structure: '结构问题(需修改配方或文件)',
data_quality: '数据质量(可写明理由后接受)',
confirm: '需确认',
input: '需要录入',
recipe: '配方问题',
info: '说明',
}
/** 上传新一期的差异种类(recipe_diff 的 kind) */
export const DIFF_KIND_LABEL: Record<string, string> = {
period: '统计期',
rows: '行数',
placeholders: '占位符',
checks: '核对结果',
file_name: '文件名',
full_calc: '打开时重算',
context_text: '统计期的写法',
context_source_added: '统计期来源',
column_order: '列顺序',
label_writing: '标签写法',
header_writing: '表头写法',
canon_values: '规范写法',
row_order: '行顺序',
block_order: '各块的先后',
derived_form: '合计的形态',
axis_form: '日期表头的形态',
outside_added: '新增的区域外文字',
outside_removed: '不再出现的区域外文字',
outside_changed: '区域外文字有变化',
outside_moved: '区域外文字挪了位置',
ignored_columns: '忽略的列',
hidden: '隐藏的行列',
}
/**
* 配方的起草方式(table_recipes.origin):卡片上「配方第 N 版 · 规则起草」。manual 是在配方面板里改过或
* 粘贴的规则草稿,mixed 是 AI 草稿又经人改过
*/
export const RECIPE_ORIGIN_LABEL: Record<string, string> = {
rules: '规则起草',
ai: 'AI 起草',
manual: '手工编辑',
mixed: 'AI 起草后手工修改',
}
/** 配方面板里各取值的显示名(封闭取值,界面不露英文枚举) */
export const RECIPE_CHOICE_LABEL = {
locateBy: { labels: '按标签', section_title: '按分段标题' } as Record<string, string>,
dimParser: { hour_range: '时段(如 7-8)', text: '文字' } as Record<string, string>,
valueType: { INTEGER: '整数', REAL: '小数' } as Record<string, string>,
blankCross: { reject: '拒收', null: '存为空值(需确认)' } as Record<string, string>,
blankList: { null: '存为空值', reject: '拒收' } as Record<string, string>,
textNumber: { reject: '拒收', parse_thousands: '千分位写法按数字保存(需确认)' } as Record<string, string>,
formulaCross: { reject: '拒收', accept_cached: '按保存值导入(需确认)' } as Record<string, string>,
formulaList: { accept_cached: '按保存值导入', reject: '拒收' } as Record<string, string>,
meaning: { 无数据: '无数据', 不适用: '不适用' } as Record<string, string>,
hiddenRows: { reject_if_any: '有隐藏行时拒收', include: '照常导入', exclude: '跳过' } as Record<string, string>,
hiddenCols: { reject_if_any: '有隐藏列时拒收', include: '照常导入' } as Record<string, string>,
fallback: { only_visible_sheet: '用唯一有内容的可见工作表(需确认)', none: '必须同名' } as Record<string, string>,
otherSheets: { confirm: '记入回执,需确认', reject: '拒收' } as Record<string, string>,
extraColumns: { reject: '拒收', ignore: '忽略(需确认)' } as Record<string, string>,
blankRows: { stop: '到此为止', skip: '跳过继续(需确认)' } as Record<string, string>,
colType: { TEXT: '文字', INTEGER: '整数', REAL: '小数', DATE: '日期' } as Record<string, string>,
colStore: { '': '默认', canonical: '规范写法', raw: '原文' } as Record<string, string>,
axisChecks: { contiguous: '逐日连续', covers_context: '恰好覆盖统计期' } as Record<string, string>,
}