mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-15 00:21:58 +00:00
Word / PDF 真的传得进来了,表格切开也还读得懂
上一轮做了解析,但那条路在产品上够不着:
- environment.yml 装的是 [microvm,dev,db],没有 docs——新机器起来,传 PDF
只会得到一句"要先装解析库"
- 文件选择框的 accept 里压根没有 .pdf / .docx,点上传根本选不中这些文件
两处都补上。表格类(xlsx)故意不放进 accept:它进知识库会被切成文本,
聚合算不了、数字也无法回指,那条路该走数据源。
装上依赖实测各格式:Word(含表格)、PDF(含中文,扫描件会明说要先 OCR)、
HTML、txt/md/csv/json 都通;Excel 和 PPT 不认得,报错说得清楚。
**切块对表格的处理是这次的主要工作。** 一份 60 行的 Word 表格切出来长这样:
块1 首行 | 上海 | 172151 | 13%
门店名被切没了,也没有表头——召回到这块,模型看到的是一列没有主语的数字。
两个毛病:
1. 重叠按字符切(buf[-120:]),会从行中间断开。改成只在行边界取,
整段没有换行就宁可不要重叠
2. 表格横跨多块时,除第一块外都没有列名。改成开新块时把表头补在最前面
第二条我第一版写成了 tail+header+block,表头被夹在重叠的那几行后面成了中间
一行——"表头在不在"查出来是 True,看着修好了,块的开头其实仍然是一串没有
主语的数。测试里专门有一条盯着表头必须领头,就是为这个。
端到端验过:60 行表格的 Word 传上去切成 3 段,搜"门店销售额"召回的片段
第一行就是"门店 | 城市 | 销售额 | 同比"。
This commit is contained in:
+3
-1
@@ -15,4 +15,6 @@ dependencies:
|
||||
# [microvm] 带上独立内核的沙箱后端(约 35MB wheel,首次运行还要下载
|
||||
# 约 50MB 运行时,外加一次 OCI 镜像拉取)。不需要就把方括号去掉,
|
||||
# 沙箱会退回 Seatbelt —— 代价是内存限额在 macOS 上限不住。
|
||||
- -e ./backend[microvm,dev,db]
|
||||
# [docs] 让 PDF / Word 传得进知识库。约十几兆,但少了它上传这类文件
|
||||
# 只会得到一句"要先装解析库"——而界面上并不会拦着你去传
|
||||
- -e ./backend[microvm,dev,db,docs]
|
||||
|
||||
Reference in New Issue
Block a user