mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-17 19:31:58 +00:00
2e7d6103ea
- 配置:database_url、checkpoint_url(启动时校验写法,只认 PostgreSQL)、连接池四项;启动日志写用的是哪种库(主机、库名、用户,不写密码) - 引擎(db/base.make_engine):SQLite 照旧 WAL、外键、忙等;PostgreSQL 用连接池、探活、会话时区 UTC,装上方言调整(db/postgres.py):建表时 String(n) 是不限长的 VARCHAR(SQLite 从不查长度,导过来的存量也可能超长)、ORDER BY 里可空列的 NULL 位置照 SQLite 补写(升序在前、降序在后,窗口函数里同样);Integer 列在 PostgreSQL 上是 BIGINT(列挂到表上时换成 with_variant,绑定参数跟着列按 BIGINT 转换);JSON 列两边都存原文(PostgreSQL 的 json,不用 JSONB:JSONB 重排对象里的键,快照的列序、表的先后读回来就变了);JSON 里的 NaN 写成 null、NUL 去掉(PostgreSQL 不收) - 迁移按方言:已有的列和索引用 inspector 认;PostgreSQL 上补列的类型取模型里这一列的、缺省值取迁移表里的(布尔 0/1 换成 false/true),ADD COLUMN IF NOT EXISTS;去重语句里的布尔按方言写;部分唯一索引补 postgresql_where;init_db 在 PostgreSQL 上拿咨询锁(几个进程同时启动不撞) - 应用库上的 SQLite 专用写法改成按方言编译的表达式(db/portable.py):json_extract 的十几处(口径召回、出具、对账、个人应用、幂等键、访问控制、数据源变化通知、剖析任务、待办超时)换成 json_eq / json_flag / json_text,json_type 换成 json_is_string(两种库同一套带类型的比较);能力登记的 sqlite insert 换成按会话方言的 insert_ignore;能力使用次数的 json_each 按方言分支;附件「没绑记录」的条件不靠 json 的等号;按报错文字认唯一约束的地方换成 unique_violation(按表和列认,两种库的报错都认得) - 断点(engine/checkpoints.py):PostgreSQL 时开 psycopg 连接池、在咨询锁里 setup;runner 只认 BaseCheckpointSaver,读断点仍只走 saver 的公开接口 - 依赖:新 extra postgres(asyncpg、psycopg[binary] 3、psycopg-pool、langgraph-checkpoint-postgres 3.1.2);langgraph-checkpoint 卡在 <4.3(断点格式就在这个包里,postgres 包新版要 4.3,不动已装的 4.2.0);锁文件补上新包 - 运行收尾:记 action.unknown、安排核实做完才把运行摘掉(以前先摘掉,等「不在跑了」再读事件的一方在库慢时读不到这一条) - 测试:AGENTLAB_TEST_DATABASE_URL 时跑在 PostgreSQL 上(每个 xdist 进程建自己的库、按事件循环分的连接池 tests/pgpool.py),不设时盖掉环境里的数据库地址照旧用 SQLite;scripts/test-postgres.sh 起临时的 postgres:16 容器跑全量;sqlite_only 标记;另开连接改库的几个竞态测试、触发器测试改成两种库都能跑(tests/appdb.py);新增 test_db_portable 守着方言调整、JSON 键序、超长字符串、大整数、NULL 排序、时区、PostgreSQL 老库迁移
58 lines
2.8 KiB
Python
58 lines
2.8 KiB
Python
"""应用库、断点库的地址:规范写法、换算成 psycopg 用的连接串、写进日志的样子(不带密码)。
|
||
|
||
不依赖 app.core.config:配置的校验器要调这里,这里再导 config 就成了循环导入。
|
||
"""
|
||
|
||
from __future__ import annotations
|
||
|
||
from sqlalchemy.engine import URL, make_url
|
||
from sqlalchemy.exc import ArgumentError
|
||
|
||
#: 应用库认的写法。asyncpg 是 SQLAlchemy 这边的驱动;postgresql:// / postgres:// 是常见的通用写法,一律换成 asyncpg
|
||
_APP_SCHEMES = {"postgresql+asyncpg", "postgresql", "postgres"}
|
||
#: 断点库认的写法:psycopg 只认 libpq 的 postgresql:// / postgres://;带驱动名的 SQLAlchemy 写法也收,去掉驱动名
|
||
_CHECKPOINT_SCHEMES = {"postgresql", "postgres", "postgresql+psycopg", "postgresql+asyncpg"}
|
||
|
||
#: asyncpg 和 libpq 对 SSL 的参数名不一样:asyncpg 是 ssl=require,libpq 是 sslmode=require(取值同一套)
|
||
_ASYNCPG_TO_LIBPQ = {"ssl": "sslmode"}
|
||
|
||
|
||
def _parse(raw: str, schemes: set[str], example: str) -> URL:
|
||
try:
|
||
url = make_url(raw)
|
||
except ArgumentError:
|
||
raise ValueError(f"认不出这个地址,应当写成 {example}") from None
|
||
if url.drivername not in schemes:
|
||
raise ValueError(f"只认 PostgreSQL({example}),不认 {url.drivername}://;用 SQLite 就不要设这一项")
|
||
if not url.database:
|
||
raise ValueError(f"地址里要写库名,例如 {example}")
|
||
return url
|
||
|
||
|
||
def normalize_database_url(raw: str) -> str:
|
||
"""AGENTLAB_DATABASE_URL → postgresql+asyncpg://…(密码原样保留)。认不出的写法抛 ValueError。"""
|
||
url = _parse(raw, _APP_SCHEMES, "postgresql+asyncpg://用户:密码@主机:5432/库名")
|
||
return url.set(drivername="postgresql+asyncpg").render_as_string(hide_password=False)
|
||
|
||
|
||
def normalize_checkpoint_url(raw: str) -> str:
|
||
"""AGENTLAB_CHECKPOINT_URL → libpq 认的 postgresql://…。认不出的写法抛 ValueError。"""
|
||
url = _parse(raw, _CHECKPOINT_SCHEMES, "postgresql://用户:密码@主机:5432/库名")
|
||
return libpq_conninfo(url.render_as_string(hide_password=False))
|
||
|
||
|
||
def libpq_conninfo(database_url: str) -> str:
|
||
"""SQLAlchemy 的地址 → psycopg 的连接串:去掉驱动名,asyncpg 写法的参数换成 libpq 的。"""
|
||
url = make_url(database_url)
|
||
query = {_ASYNCPG_TO_LIBPQ.get(k, k): v for k, v in url.query.items()}
|
||
return url.set(drivername="postgresql", query=query).render_as_string(hide_password=False)
|
||
|
||
|
||
def describe(database_url: str) -> str:
|
||
"""写进日志的样子:主机、端口、库名、用户,不写密码。"""
|
||
url = make_url(database_url)
|
||
host = url.host or "本机套接字"
|
||
port = f":{url.port}" if url.port else ""
|
||
user = f",用户 {url.username}" if url.username else ""
|
||
return f"{host}{port}/{url.database}{user}"
|