HA stage 2: DB-shared rate limiting + second server unit + monitor both-servers check (#52)

Co-authored-by: host <host@test.local>

cloud/server.py

@@ -127,8 +127,8 @@ TERMINAL_STATUSES = frozenset(
 DEFAULT_SWEEP_THRESHOLD_SECONDS = 300
 # 限流默认值：每 IP / 每 API key 每分钟 120 次；环境变量
 # CLOUD_RATE_LIMIT_PER_MINUTE / CLOUD_RATE_LIMIT_WINDOW_SECONDS 可调。
-# 限流是内存滑动窗口，不跨进程共享（多 worker 部署时每进程独立计数，
-# 这是诚实边界，不是全局限流）。
+# 限流默认内存滑动窗口；Postgres 下改走 DB 共享计数（多 server
+# 共用，见 DbRateLimiter），并发下可能多放行少量请求（非原子计数）。
 DEFAULT_RATE_LIMIT_PER_MINUTE = 120
 DEFAULT_RATE_LIMIT_WINDOW_SECONDS = 60
 TASK_STATUS_KEYS = (
@@ -201,6 +201,69 @@ class RateLimiter:
             return True
 
 
+class DbRateLimiter:
+    """DB 共享滑动窗口限流（HA 阶段 2，多 server 共用计数）。
+
+    与 RateLimiter 同接口（allow(key)，per_minute/window_seconds
+    属性可改，测试注入小阈值验证 429 的路子不变）：每次 allow 写
+    一行 hit、清过期行、数窗口内行数。Postgres 下多 server 共享
+    同一张表，计数跨进程；SQLite 下与内存版等价（单测用）。
+    并发下计数与写入非原子，可能多放行少量请求——限流是 abuse
+    缓解，不是精确配额。表与索引懒建（workers 表同款模式），
+    不进 POSTGRES_SCHEMA。列名用 hit_key（key 在部分方言里是
+    保留字，避开它）。
+    """
+
+    def __init__(self, db_path, per_minute=DEFAULT_RATE_LIMIT_PER_MINUTE,
+                 window_seconds=DEFAULT_RATE_LIMIT_WINDOW_SECONDS,
+                 time_fn=None):
+        self.db_path = str(db_path)
+        self.per_minute = per_minute
+        self.window_seconds = window_seconds
+        self._time_fn = time_fn or time.time
+
+    def allow(self, key):
+        now = self._time_fn()
+        window = self.window_seconds
+        limit = self.per_minute
+        conn = _db_connect(self.db_path)
+        try:
+            conn.execute(
+                "CREATE TABLE IF NOT EXISTS rate_limit_hits("
+                "hit_key TEXT, ts REAL)")
+            conn.execute(
+                "CREATE INDEX IF NOT EXISTS rate_limit_hits_key_ts"
+                " ON rate_limit_hits(hit_key, ts)")
+            conn.execute(
+                "DELETE FROM rate_limit_hits WHERE ts <= ?",
+                (now - window,))
+            conn.execute(
+                "INSERT INTO rate_limit_hits(hit_key, ts) VALUES(?, ?)",
+                (key, now))
+            row = conn.execute(
+                "SELECT COUNT(*) FROM rate_limit_hits WHERE hit_key = ?",
+                (key,)).fetchone()
+            conn.commit()
+            return row[0] <= limit
+        finally:
+            conn.close()
+
+
+def _make_rate_limiter(db_path):
+    """建限流器：Postgres 下用 DB 共享计数（多 server 共用），
+    否则用内存版（单机与单测）。后端只看环境变量，与其它分发一致。"""
+    per_minute = _rate_limit_from_env(
+        "CLOUD_RATE_LIMIT_PER_MINUTE", DEFAULT_RATE_LIMIT_PER_MINUTE)
+    window_seconds = _rate_limit_from_env(
+        "CLOUD_RATE_LIMIT_WINDOW_SECONDS",
+        DEFAULT_RATE_LIMIT_WINDOW_SECONDS)
+    if _db_backend_name() == "postgres":
+        return DbRateLimiter(db_path, per_minute=per_minute,
+                             window_seconds=window_seconds)
+    return RateLimiter(per_minute=per_minute,
+                       window_seconds=window_seconds)
+
+
 def _db_backend_name():
     """当前数据库后端名：环境变量，未设则 sqlite；绝不返回连接串。"""
     return (os.environ.get("CLOUD_DB_BACKEND") or "sqlite").strip().lower()
@@ -705,13 +768,7 @@ class CloudControlPlaneHandler(BaseHTTPRequestHandler):
         # 无 key 时按客户端 IP 计。
         limiter = getattr(self.server, "rate_limiter", None)
         if limiter is None:
-            limiter = RateLimiter(
-                per_minute=_rate_limit_from_env(
-                    "CLOUD_RATE_LIMIT_PER_MINUTE",
-                    DEFAULT_RATE_LIMIT_PER_MINUTE),
-                window_seconds=_rate_limit_from_env(
-                    "CLOUD_RATE_LIMIT_WINDOW_SECONDS",
-                    DEFAULT_RATE_LIMIT_WINDOW_SECONDS))
+            limiter = _make_rate_limiter(self.server.db_path)
             self.server.rate_limiter = limiter
         # 测试注入：server.rate_limit_per_minute / rate_limit_window_seconds
         # 改动后即时生效，不用重启 server。
@@ -2796,14 +2853,10 @@ def create_server(db_path, host="127.0.0.1", port=8765, backend=None):
     server = ThreadingHTTPServer((host, port), CloudControlPlaneHandler)
     server.db_path = db_path
     server.daemon_threads = True
-    # 限流器：内存滑动窗口，默认值与环境变量覆盖见 RateLimiter；
-    # 测试可直接改 server.rate_limit_per_minute / window_seconds。
-    server.rate_limiter = RateLimiter(
-        per_minute=_rate_limit_from_env(
-            "CLOUD_RATE_LIMIT_PER_MINUTE", DEFAULT_RATE_LIMIT_PER_MINUTE),
-        window_seconds=_rate_limit_from_env(
-            "CLOUD_RATE_LIMIT_WINDOW_SECONDS",
-            DEFAULT_RATE_LIMIT_WINDOW_SECONDS))
+    # 限流器：Postgres 下 DB 共享计数（多 server 共用），否则内存
+    # 滑动窗口；默认值与环境变量覆盖见 _make_rate_limiter；测试可
+    # 直接改 server.rate_limit_per_minute / window_seconds。
+    server.rate_limiter = _make_rate_limiter(db_path)
     server.rate_limit_per_minute = None
     server.rate_limit_window_seconds = None
     # OAuth 回调注入点：生产为 None（走真实换 token + 真实 userinfo），