mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-17 10:41:58 +00:00
913380f738
**倒排**:以前每次检索都 select(Chunk) 全量载入,再在 Python 里重建一遍 BM25 ——不只是扫表,是对每一段重新分词、重新统计词频,每次查询都来一遍。几百段 无感,上万段就是秒级,而那正是知识库开始有用的规模。 没用 SQLite 的 FTS5。方案里写了实施前先验证,验了:trigram 分词器要求查询 至少三个字符,中文的「商家」「订单」「权限」这些两字词一个都召不回。照搬会 让召回大幅倒退。现有分词器本来就做中文单字 + 二元组,自己存一张 chunk_terms 既保住召回,也不把知识库锁死在 SQLite 上。 快是次要的,一致才是前提——所以先写了"倒排必须和全表扫给出同一个名次"的 测试。它当场抓到两个真问题: 1. BM25 被算了两次:倒排按全集统计(N、avg_len、df)算一次,hybrid_rank 又在候选子集上重建一次,而子集的 df 和平均长度是另一套数。改成把倒排 算好的分传下去,不再重算。 2. 原来的 BM25.score 遍历的是**带重复**的查询词表:「导出订单最多多少行」 里「多」出现两次,贡献就加两次。倒排用 set() 去重,顶部那条差了 2.32。 改成按查询词频加权。 还有一处是排序确定性:分数并列时稳定排序保留输入顺序,而两条路径喂进去的 顺序天生不同——同一个查询会因为走了哪条路给出不同名次。两边都按 id 定序。 倒排跟着 ingest 建、跟着删文档清、跟着 reindex 重建;没建倒排的片段(存量 数据升级上来就是这样)退回全表扫——宁可慢,也不要因为索引没建好就说"没搜到"。 **解析**:upload 以前只收 UTF-8,PDF 传上去直接 415,而 mime 字段记了却从不 参与判断。现在认 PDF / DOCX / HTML。解析库走可选依赖 [docs](几十兆,只用 纯文本的人不该为此付出安装时间),HTML 用已在依赖里的 bs4。 几处是实际验出来的,不是想出来的:DOCX 要连表格一起取(合同和口径说明的关键 信息常常整个在表里);PDF 每行拖着排版填充空格,不清掉会混进切块和词频统计 (实测 416 字里只有 68 字是正文);扫描件提不出文字要明说,否则悄悄存一份 空文档,用户以为传成功了却永远搜不到。 PDF/DOCX 两条路径在临时 venv 里用真文件验过(含中文、表格、扫描件、坏文件), 没有动开发环境。
103 lines
3.6 KiB
Python
103 lines
3.6 KiB
Python
from __future__ import annotations
|
|
|
|
import uuid
|
|
from datetime import datetime, timezone
|
|
from typing import Any, AsyncIterator
|
|
|
|
from sqlalchemy import JSON, DateTime, MetaData, event
|
|
from sqlalchemy.ext.asyncio import AsyncSession, async_sessionmaker, create_async_engine
|
|
from sqlalchemy.orm import DeclarativeBase, Mapped, mapped_column
|
|
|
|
from app.core.config import settings
|
|
|
|
NAMING_CONVENTION = {
|
|
"ix": "ix_%(column_0_label)s",
|
|
"uq": "uq_%(table_name)s_%(column_0_name)s",
|
|
"fk": "fk_%(table_name)s_%(column_0_name)s",
|
|
"pk": "pk_%(table_name)s",
|
|
}
|
|
|
|
|
|
def utcnow() -> datetime:
|
|
return datetime.now(timezone.utc)
|
|
|
|
|
|
def new_id() -> str:
|
|
return uuid.uuid4().hex
|
|
|
|
|
|
class Base(DeclarativeBase):
|
|
metadata = MetaData(naming_convention=NAMING_CONVENTION)
|
|
|
|
# 图定义、节点配置、事件负载都是任意形状的 JSON,统一映射到 SQLite 的 JSON 列
|
|
type_annotation_map = {dict[str, Any]: JSON, list[Any]: JSON}
|
|
|
|
|
|
class TimestampMixin:
|
|
created_at: Mapped[datetime] = mapped_column(DateTime(timezone=True), default=utcnow)
|
|
updated_at: Mapped[datetime] = mapped_column(
|
|
DateTime(timezone=True), default=utcnow, onupdate=utcnow
|
|
)
|
|
|
|
|
|
engine = create_async_engine(settings.db_url, echo=False, future=True)
|
|
|
|
|
|
@event.listens_for(engine.sync_engine, "connect")
|
|
def _set_sqlite_pragma(dbapi_conn, _record): # pragma: no cover - 驱动回调
|
|
"""WAL + 外键约束。WAL 让读写不互相阻塞,事件写入和前端轮询能并行。"""
|
|
cur = dbapi_conn.cursor()
|
|
cur.execute("PRAGMA journal_mode=WAL")
|
|
cur.execute("PRAGMA foreign_keys=ON")
|
|
cur.execute("PRAGMA busy_timeout=5000")
|
|
cur.close()
|
|
|
|
|
|
SessionLocal = async_sessionmaker(engine, expire_on_commit=False, class_=AsyncSession)
|
|
|
|
|
|
async def get_session() -> AsyncIterator[AsyncSession]:
|
|
"""FastAPI 依赖注入用的会话。"""
|
|
async with SessionLocal() as session:
|
|
yield session
|
|
|
|
|
|
# 轻量迁移:create_all 只建新表,不给已有表加列。SQLite 的 ADD COLUMN
|
|
# 便宜且带默认值回填,够用;等真需要改列类型再考虑 alembic。
|
|
_COLUMN_MIGRATIONS: list[tuple[str, str, str]] = [
|
|
("runs", "run_class", "TEXT DEFAULT 'exploratory'"),
|
|
("runs", "version", "INTEGER"),
|
|
("runs", "version_hash", "VARCHAR(64)"),
|
|
("runs", "manifest_hash", "VARCHAR(64)"),
|
|
("runs", "started_by", "VARCHAR(100)"),
|
|
("workflows", "status", "TEXT DEFAULT 'draft'"),
|
|
("workflows", "published_version", "INTEGER"),
|
|
("workflows", "published_by", "VARCHAR(100)"),
|
|
("workflow_versions", "graph_hash", "VARCHAR(64)"),
|
|
("approvals", "resolved_by", "VARCHAR(100)"),
|
|
# 存量向量没有这两列,回填成空串 / 0 —— 正好表示"不知道是谁建的",
|
|
# 检索侧会把它们当成对不上当前 embedder 处理
|
|
("chunks", "embed_model", "VARCHAR(100) DEFAULT ''"),
|
|
("chunks", "embed_dim", "INTEGER DEFAULT 0"),
|
|
("memories", "embed_model", "VARCHAR(100) DEFAULT ''"),
|
|
("memories", "embed_dim", "INTEGER DEFAULT 0"),
|
|
("chunks", "token_len", "INTEGER DEFAULT 0"),
|
|
]
|
|
|
|
|
|
def _migrate(conn) -> None: # pragma: no cover - 同步回调
|
|
from sqlalchemy import text
|
|
|
|
for table, column, ddl in _COLUMN_MIGRATIONS:
|
|
cols = {row[1] for row in conn.execute(text(f"PRAGMA table_info({table})"))}
|
|
if cols and column not in cols:
|
|
conn.execute(text(f"ALTER TABLE {table} ADD COLUMN {column} {ddl}"))
|
|
|
|
|
|
async def init_db() -> None:
|
|
from app.db import models # noqa: F401 确保模型已注册到 metadata
|
|
|
|
async with engine.begin() as conn:
|
|
await conn.run_sync(Base.metadata.create_all)
|
|
await conn.run_sync(_migrate)
|