mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-16 19:31:58 +00:00
1e9f32b869
在本机 LM Studio 上接 Qwen3-Embedding-4B 时撞出来的两个兼容问题。
**维度不能猜。** 原来是"名字里有 3-large 就 3072,否则一律 1536"。本地部署的
模型五花八门——bge-m3 是 1024、Qwen3-Embedding-4B 是 2560——猜错的后果不是
差一点,是所有存量向量都被判成"和当前 embedder 对不上",检索整体退回关键词。
改成建 embedder 时实际探一次。
**langchain 默认发的是 token 数组。** 它先把文本分词,再把 token id 数组发过去,
OpenAI 官方认,LM Studio 这类本地服务只收字符串,直接 400:
'input' field must be a string or an array of strings
自定义 base_url 时关掉这个行为发原文。我们的片段都在 800 字上下,本来也用不着
那套长度保护。顺带设了 chunk_size=512——远端接口单次批量有上限,不分块的话
大文档必挂。
报错也改了:原来只说"检查 OPENAI_API_KEY",现在带上试的是哪个地址、哪个模型
——本地服务没起的话,照着旧文案去翻 key 是白费功夫。
实测 Qwen3-Embedding-4B(2560 维)对比本地哈希向量:
hit@1 hit@5 MRR 字面 语义 入库 每查
哈希 88% 100% 0.911 100% 75% 0.2s 0.00s
Qwen3 94% 100% 0.958 100% 88% 3.4s 0.09s
涨的全在语义类,字面类没被搞坏。has_semantics() 转真后 alpha 默认从 0 自动
回到 0.5,不用手调。
一个没料到的结果:纯向量(alpha=1)只有 81%,比纯关键词(alpha=0)的 88% 还低,
混合(0.5)才是 94%。专有名词靠 BM25、换了说法靠向量,两边各管一半——混合
检索在这份语料上是真有必要,不是摆设。
样本只有 16 题,差一题就是 6 个百分点,别把 94% 当结论;方向是明确的。