Word / PDF 真的传得进来了,表格切开也还读得懂

上一轮做了解析,但那条路在产品上够不着:

- environment.yml 装的是 [microvm,dev,db],没有 docs——新机器起来,传 PDF
  只会得到一句"要先装解析库"
- 文件选择框的 accept 里压根没有 .pdf / .docx,点上传根本选不中这些文件

两处都补上。表格类(xlsx)故意不放进 accept:它进知识库会被切成文本,
聚合算不了、数字也无法回指,那条路该走数据源。

装上依赖实测各格式:Word(含表格)、PDF(含中文,扫描件会明说要先 OCR)、
HTML、txt/md/csv/json 都通;Excel 和 PPT 不认得,报错说得清楚。

**切块对表格的处理是这次的主要工作。** 一份 60 行的 Word 表格切出来长这样:

    块1 首行  | 上海 | 172151 | 13%

门店名被切没了,也没有表头——召回到这块,模型看到的是一列没有主语的数字。
两个毛病:

1. 重叠按字符切(buf[-120:]),会从行中间断开。改成只在行边界取,
   整段没有换行就宁可不要重叠
2. 表格横跨多块时,除第一块外都没有列名。改成开新块时把表头补在最前面

第二条我第一版写成了 tail+header+block,表头被夹在重叠的那几行后面成了中间
一行——"表头在不在"查出来是 True,看着修好了,块的开头其实仍然是一串没有
主语的数。测试里专门有一条盯着表头必须领头,就是为这个。

端到端验过:60 行表格的 Word 传上去切成 3 段,搜"门店销售额"召回的片段
第一行就是"门店 | 城市 | 销售额 | 同比"。
This commit is contained in:
ThearchyHelios
2026-09-19 22:58:01 +08:00
parent a027261701
commit 901d840b86
4 changed files with 149 additions and 10 deletions
+3 -1
View File
@@ -15,4 +15,6 @@ dependencies:
# [microvm] 带上独立内核的沙箱后端(约 35MB wheel,首次运行还要下载
# 约 50MB 运行时,外加一次 OCI 镜像拉取)。不需要就把方括号去掉,
# 沙箱会退回 Seatbelt —— 代价是内存限额在 macOS 上限不住。
- -e ./backend[microvm,dev,db]
# [docs] 让 PDF / Word 传得进知识库。约十几兆,但少了它上传这类文件
# 只会得到一句"要先装解析库"——而界面上并不会拦着你去传
- -e ./backend[microvm,dev,db,docs]