mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-15 06:31:58 +00:00
ThearchyHelios
913380f738
**倒排**：以前每次检索都 select(Chunk) 全量载入，再在 Python 里重建一遍 BM25 ——不只是扫表，是对每一段重新分词、重新统计词频，每次查询都来一遍。几百段 无感，上万段就是秒级，而那正是知识库开始有用的规模。 没用 SQLite 的 FTS5。方案里写了实施前先验证，验了：trigram 分词器要求查询 至少三个字符，中文的「商家」「订单」「权限」这些两字词一个都召不回。照搬会 让召回大幅倒退。现有分词器本来就做中文单字 + 二元组，自己存一张 chunk_terms 既保住召回，也不把知识库锁死在 SQLite 上。 快是次要的，一致才是前提——所以先写了"倒排必须和全表扫给出同一个名次"的 测试。它当场抓到两个真问题： 1. BM25 被算了两次：倒排按全集统计（N、avg_len、df）算一次，hybrid_rank 又在候选子集上重建一次，而子集的 df 和平均长度是另一套数。改成把倒排 算好的分传下去，不再重算。 2. 原来的 BM25.score 遍历的是**带重复**的查询词表：「导出订单最多多少行」 里「多」出现两次，贡献就加两次。倒排用 set() 去重，顶部那条差了 2.32。 改成按查询词频加权。 还有一处是排序确定性：分数并列时稳定排序保留输入顺序，而两条路径喂进去的 顺序天生不同——同一个查询会因为走了哪条路给出不同名次。两边都按 id 定序。 倒排跟着 ingest 建、跟着删文档清、跟着 reindex 重建；没建倒排的片段（存量 数据升级上来就是这样）退回全表扫——宁可慢，也不要因为索引没建好就说"没搜到"。 **解析**：upload 以前只收 UTF-8，PDF 传上去直接 415，而 mime 字段记了却从不 参与判断。现在认 PDF / DOCX / HTML。解析库走可选依赖 [docs]（几十兆，只用 纯文本的人不该为此付出安装时间），HTML 用已在依赖里的 bs4。 几处是实际验出来的，不是想出来的：DOCX 要连表格一起取（合同和口径说明的关键 信息常常整个在表里）；PDF 每行拖着排版填充空格，不清掉会混进切块和词频统计 （实测 416 字里只有 68 字是正文）；扫描件提不出文字要明说，否则悄悄存一份 空文档，用户以为传成功了却永远搜不到。 PDF/DOCX 两条路径在临时 venv 里用真文件验过（含中文、表格、扫描件、坏文件）， 没有动开发环境。