mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-20 14:31:58 +00:00
只读数据源真的只读了:WITH … DELETE 不再从首关键字下面钻过去,连接本身也写不进去
守卫只看首关键字,而 with / pragma 都在只读白名单里。在只读的 SQLite 源上 实测:`WITH k AS (SELECT 1) DELETE FROM t` 被放行,5 行删得只剩 2 行; `PRAGMA user_version = 7` 也写进去了。调用方只看到一个 ResourceClosedError—— pysqlite 只在 INSERT/UPDATE/DELETE 开头的语句前隐式开事务,WITH 开头的直接 自动提交,连接关闭时的回滚兜不住。Excel/CSV 上传生成的正是这种 SQLite 源。 两层一起收: 守卫:以查询开头的语句(SELECT / WITH / EXPLAIN)要把正文扫一遍,先抹掉注释 和引号里的内容,再找写关键字(DELETE、UPDATE、INTO、FOR UPDATE、EXPLAIN ANALYZE 里的语句……),关键字后紧跟 ( 的是同名函数不算(MySQL 的 INSERT()、 TRUNCATE())。PRAGMA 改成只读白名单,`= 值` 和 `(值)` 两种赋值写法都拦。 另收一小撮有副作用的函数,其中 set_config 必须拦:PG 真库实测,它能把连接层 的只读关掉,同一连接的下一个事务就能写。函数名加引号、dblink 另开连接这两种 绕法也补上了。is_write 与只读判定共用一份判定,免得审批那道门另有一套口径。 连接层:只读源连接时就只读(engine_args)。SQLite 以 mode=ro 打开(file: URI, 路径带空格、中文、# 都测过);PostgreSQL 设会话默认事务只读;MySQL / MariaDB 设会话事务只读。Oracle 没有会话级开关,只剩守卫——README 写明请配只读账号。 真库验证(临时实例,已清理):PostgreSQL 18 与 MySQL 8.0 上,DELETE、WITH … DELETE、 PG 的数据修改 CTE、nextval、EXPLAIN ANALYZE 绕过守卫直连执行,都被数据库以 只读事务拒绝;可写源不受影响。 测试:守卫新增 33 例(藏在查询里的写、会写的 PRAGMA、同名函数与引号标识符不误杀), 去掉修复重跑是 17 例失败;test_readonly_source.py 6 例(当初那条绕过、绕过守卫 直连写、中文路径、可写源不受波及、各库的会话参数)。297 → 334 passed。 顺带查到但没在这里修的:可写源上的写操作既不审批也不生效——is_dangerous_call 全仓库没人调用,而 run_query 从不 commit,写完就被回滚。两件事必须一起修 (先接审批再让写入生效,反过来就是一个无审批写库的窗口),放在审批统一那一步。
This commit is contained in:
@@ -107,10 +107,41 @@ def build_url(source: Any, *, reveal: bool = False) -> str:
|
||||
return f"{driver}://{auth}{host}/{source.database or ''}{('?' + query) if query else ''}"
|
||||
|
||||
|
||||
def engine_args(source: Any) -> tuple[str, dict[str, Any]]:
|
||||
"""真正连库用的连接串和额外参数。只读源在这里拿到**连接层**的只读。
|
||||
|
||||
守卫按关键字判定,而模型能写出什么 SQL 事前无法穷举——`WITH … DELETE`
|
||||
就曾从首关键字白名单下面钻过去,在 SQLite 上真把数据删了(pysqlite 只在
|
||||
INSERT/UPDATE/DELETE 开头的语句前隐式开事务,WITH 开头的直接自动提交)。
|
||||
所以只读不能只靠猜,连接本身就得写不进去:
|
||||
|
||||
- SQLite:以 mode=ro 打开文件,写操作由 SQLite 自己拒绝。
|
||||
- PostgreSQL:会话的默认事务只读。能关掉它的 SET / set_config() 守卫都拦。
|
||||
- MySQL / MariaDB:会话事务只读。能关掉它的只有 SET,守卫拦。
|
||||
- Oracle:没有会话级只读开关,只剩守卫这一道——只读数据源请配只读账号。
|
||||
"""
|
||||
url = build_url(source, reveal=True)
|
||||
if not source.readonly:
|
||||
return url, {}
|
||||
kind = (source.kind or "").lower()
|
||||
if kind == "sqlite":
|
||||
path = source.database or ""
|
||||
if path and path != ":memory:":
|
||||
from urllib.parse import quote
|
||||
url = f"{_DRIVERS['sqlite']}:///file:{quote(path)}?mode=ro&uri=true"
|
||||
return url, {}
|
||||
if kind in ("postgres", "postgresql"):
|
||||
return url, {"connect_args": {"server_settings": {"default_transaction_read_only": "on"}}}
|
||||
if kind in ("mysql", "mariadb"):
|
||||
return url, {"connect_args": {"init_command": "SET SESSION TRANSACTION READ ONLY"}}
|
||||
return url, {}
|
||||
|
||||
|
||||
class EngineCache:
|
||||
"""按数据源 id 缓存 engine。连接池的建立不便宜,不该每次查询都重来一遍。
|
||||
|
||||
配置变了要显式 invalidate——改了密码却还在用旧连接,排查起来很费神。
|
||||
配置变了要显式 invalidate——改了密码却还在用旧连接,排查起来很费神;
|
||||
改了只读开关却还在用旧连接,只读就形同虚设。
|
||||
"""
|
||||
|
||||
def __init__(self) -> None:
|
||||
@@ -125,12 +156,14 @@ class EngineCache:
|
||||
async with self._lock:
|
||||
if key in self._engines:
|
||||
return self._engines[key]
|
||||
url, extra = engine_args(source)
|
||||
engine = create_async_engine(
|
||||
build_url(source, reveal=True),
|
||||
url,
|
||||
pool_size=3,
|
||||
max_overflow=2,
|
||||
pool_pre_ping=True, # 长时间空闲后连接会被数据库掐掉,先探活再用
|
||||
pool_recycle=1800,
|
||||
**extra,
|
||||
)
|
||||
self._engines[key] = engine
|
||||
return engine
|
||||
|
||||
Reference in New Issue
Block a user