mirror of
https://github.com/ThearchyHelios/AgentLab.git
synced 2026-11-17 19:31:58 +00:00
多进程协调(W2-b)第一步:新增 app/cluster——工作进程在库里登记、心跳续租约(属主随进程,进程没了它认领的行一起到期),调度当班的租约,发给属主进程的停止 / 记事件请求,PostgreSQL 的 LISTEN/NOTIFY 叫醒,跨进程的互斥锁(咨询锁),SQLite 单进程守卫(第二个进程拒绝启动);运行、问数据一轮、起草 / 剖析 / 探查 / 评测 / 影子起草、文档、发布单记 owner,启动整理改成只接手属主不在了的行,当班进程隔一会儿再接手一次;运行的并发名额改成库里按交互 / 应用 / 定时 / 系统四类发(各有全站上限和优先级,设置里可调),替掉进程内的信号量;同源队记在库里;运行停止、记事件跨进程交给属主;运行事件、问数据事件跨进程转发(库里按 seq 追,不落库的流式增量和保活心跳只转给在看的进程);每日花费账先占住那一行再读写;访问密钥限流、登录失败计数在 PostgreSQL 时记在库里;登录设置、对外地址、向量模型、能力快照、数据源连接池、应用页面缓存跨进程失效;上传版本库、记录表、按需探查、出具、召回、补算、按需视图、个人刷新、定时发起的锁换成跨进程的锁
This commit is contained in:
@@ -405,20 +405,13 @@ def target_schema(row: Any) -> str | None:
|
||||
return index_schema(row) or None
|
||||
|
||||
|
||||
_locks: "weakref.WeakKeyDictionary[asyncio.AbstractEventLoop, dict[str, asyncio.Lock]]" = weakref.WeakKeyDictionary()
|
||||
def source_lock(source_id: str) -> Any:
|
||||
"""写一个源的对象索引和 schema_cache 时持的锁:后台探查的开头和收尾、按需加入、加入范围都持它。跨进程的锁
|
||||
(app/cluster/mutex:本进程按事件循环各一把 asyncio 锁,PostgreSQL 时另取咨询锁):多进程时按需探查、加入范围也是
|
||||
一个接一个,schema_cache、结构版本不会被两个进程各写一半。"""
|
||||
from app.cluster import mutex
|
||||
|
||||
|
||||
def source_lock(source_id: str) -> asyncio.Lock:
|
||||
"""写一个源的对象索引和 schema_cache 时持的锁(进程内,按事件循环各一份:asyncio.Lock 不能跨循环用)。后台探查的开头
|
||||
和收尾、按需加入、加入范围都持它。"""
|
||||
loop = asyncio.get_running_loop()
|
||||
by_source = _locks.get(loop)
|
||||
if by_source is None:
|
||||
by_source = _locks[loop] = {}
|
||||
lock = by_source.get(source_id)
|
||||
if lock is None:
|
||||
lock = by_source[source_id] = asyncio.Lock()
|
||||
return lock
|
||||
return mutex.lock(f"source-objects:{source_id}")
|
||||
|
||||
|
||||
def _scope_filter(source_id: str, schema: str) -> tuple[Any, ...]:
|
||||
|
||||
Reference in New Issue
Block a user