Files
AgentLab/backend
ThearchyHelios 1e9f32b869 embedding 能接本地端点了:维度改成探测,不再按模型名猜
在本机 LM Studio 上接 Qwen3-Embedding-4B 时撞出来的两个兼容问题。

**维度不能猜。** 原来是"名字里有 3-large 就 3072,否则一律 1536"。本地部署的
模型五花八门——bge-m3 是 1024、Qwen3-Embedding-4B 是 2560——猜错的后果不是
差一点,是所有存量向量都被判成"和当前 embedder 对不上",检索整体退回关键词。
改成建 embedder 时实际探一次。

**langchain 默认发的是 token 数组。** 它先把文本分词,再把 token id 数组发过去,
OpenAI 官方认,LM Studio 这类本地服务只收字符串,直接 400:

    'input' field must be a string or an array of strings

自定义 base_url 时关掉这个行为发原文。我们的片段都在 800 字上下,本来也用不着
那套长度保护。顺带设了 chunk_size=512——远端接口单次批量有上限,不分块的话
大文档必挂。

报错也改了:原来只说"检查 OPENAI_API_KEY",现在带上试的是哪个地址、哪个模型
——本地服务没起的话,照着旧文案去翻 key 是白费功夫。

实测 Qwen3-Embedding-4B(2560 维)对比本地哈希向量:

            hit@1  hit@5   MRR    字面    语义    入库    每查
    哈希      88%   100%  0.911   100%    75%    0.2s   0.00s
    Qwen3    94%   100%  0.958   100%    88%    3.4s   0.09s

涨的全在语义类,字面类没被搞坏。has_semantics() 转真后 alpha 默认从 0 自动
回到 0.5,不用手调。

一个没料到的结果:纯向量(alpha=1)只有 81%,比纯关键词(alpha=0)的 88% 还低,
混合(0.5)才是 94%。专有名词靠 BM25、换了说法靠向量,两边各管一半——混合
检索在这份语料上是真有必要,不是摆设。

样本只有 16 题,差一题就是 6 个百分点,别把 94% 当结论;方向是明确的。
2026-09-20 09:31:00 +08:00
..