host
fde7bf4c3e
- 拆模块：CHV 从 cloud/sandbox.py 巨类拆到 cloud/chv/（executor/ pool/config/api_client/ssh_transport/disk/errors），sandbox 只留 兼容 re-export，旧导入路径与新路径是同一对象 - 去重复：goal 解析、host 顶层参数、runner 超时抽成共享 helper， Local 与 CHV 在矩阵输入下结论全等（Docker goal-resume 变体 有意保留内联版，见 PR 描述） - 安全：SSH host key 按 VM 钉死（state_dir/<vm>/known_hosts， ssh-keyscan 首次捕获 TOFU），废除 no + /dev/null；CHV_SSH_USER 空串与 CHV_SSH_PORT 越界直接拒绝，不静默 fallback - execute 语义：只读已运行 VM，未运行报 vm_not_running，不为 status 起 VM - 预热池：registry 落盘、重启载入只当孤儿、reconcile 清理、 损坏 quarantine；条目仍一次性，绝不复用脏 VM - 长任务：VM 中途死亡判 interrupted（断点可续跑）；中途心跳 经评估不做（无客内进度信号可采） - #215 未合并：只列复用清单，不复制模块 测试：原 42 项 + 新 24 项全过；相关旧套件与 cloud 全量 1496 项 全过（skipped=4）。验证仍是 mock + 干跑 + 单元测试，未做真机、 压测、安全审计；堆叠于 #216 之上，base 为 feat-cloud-hypervisor。
258 lines
11 KiB
Python
258 lines
11 KiB
Python
"""快照预热池 WarmPool（含 state_dir registry 持久化与孤儿清理）。
|
||
|
||
隔离红线（与 #216 一致，绝不妥协）：预热条目是一次性的
|
||
干净快照 VM，acquire 消耗掉它，release 一律销毁，绝不把
|
||
一个任务用过的 VM（带任务文件、带 agent 痕迹）翻出来给
|
||
下一个任务/租户复用；池子空了就回落冷启动（wake_vm），
|
||
绝不因为池空就降级 Docker/Local。
|
||
|
||
Registry（本轨新增）：
|
||
- 文件：state_dir/warm-pool.json（registry_path 可覆盖），
|
||
内容为 {<合成名>: {"state", "vm", "task_id", "snapshot_url"}}。
|
||
每次 prewarm/acquire/release 后立即落盘（临时文件 + 原子
|
||
rename），worker 崩溃后重启仍能发现上一世的条目。
|
||
- 载入时绝不复用：新池实例从 registry 读到的条目一律标为
|
||
orphan（不计入 warm_count，acquire 绝不发给任务），因为
|
||
旧 VMM 进程已随旧 worker 消失，无法验证它还是当初那个
|
||
干净快照 VM。它们只能走 reconcile_orphans() 清理。
|
||
- reconcile_orphans()：worker 启动/清理时的显式入口，对
|
||
每个 orphan/assigned 条目尽力调 executor.shutdown_vm
|
||
（清 socket 与残留登记），条目清掉并落盘，返回已清理的
|
||
VM 名列表。registry 里没有的残留 socket 仍由执行器的
|
||
cleanup_stale_vms() 扫 state_dir 处理，两者互补，不互相
|
||
替代；reconcile 绝不在构造时自动执行（同一 state_dir 只
|
||
能有一个活池，构造时自动清理会误杀另一个活池的 VM）。
|
||
- 损坏 fail-safe：registry 不是合法 JSON / 顶层不是 dict 时，
|
||
整个文件 quarantine 成 <path>.corrupt（尽力而为），池子
|
||
从空开始，绝不用损坏数据复用 VM；单条目结构非法时只
|
||
丢该条（记 registry_corrupt_entries），不连坐其它条目。
|
||
registry 写失败时只记日志警告、不炸任务流（池子内存态
|
||
仍可用，重启后孤儿改由 socket 扫描兜底）。
|
||
"""
|
||
|
||
import json
|
||
import logging
|
||
import os
|
||
|
||
_LOGGER = logging.getLogger("cloud.cloud_hypervisor")
|
||
|
||
_REGISTRY_FILENAME = "warm-pool.json"
|
||
|
||
|
||
class WarmPool:
|
||
"""快照预热池（快速启动设计，接口与状态机在代码里）。
|
||
|
||
目标：冷启动（preflight + 起 VMM + create + boot + SSH
|
||
就绪）是慢路径；预热池提前把干净 VM 起好并暂停，任务
|
||
来时 acquire 直接 resume，省掉冷启动的大头。
|
||
状态机：cold（未预热）→ prewarming（wake 中）→ warm
|
||
（已暂停待分配）→ assigned（已分配给某任务）→
|
||
running（已 resume）→ recycled/destroyed（release 后）。
|
||
prewarm 的实现：对每个条目调 executor.wake_vm（冷启动）
|
||
再 pause_vm，得到 paused 的干净 VM；mock 单测里 wake/
|
||
pause 均可注入假实现，真机上这一步需要 KVM 宿主（见
|
||
就绪清单“需 KVM 宿主实测”）。snapshot_url 未设时
|
||
prewarm 返回 []（无基准快照可预热，不是静默造快照）。
|
||
"""
|
||
|
||
def __init__(self, executor, size=None, snapshot_url=None,
|
||
registry_path=None):
|
||
self.executor = executor
|
||
self.size = int(size if size is not None
|
||
else getattr(executor, "warm_pool_size", 0))
|
||
self.snapshot_url = snapshot_url \
|
||
if snapshot_url is not None \
|
||
else getattr(executor, "snapshot_url", None)
|
||
self._entries = {} # 合成名 -> {"state", "vm", "task", ...}
|
||
self.registry_path = registry_path
|
||
if self.registry_path is None:
|
||
state_dir = getattr(executor, "state_dir", None)
|
||
if state_dir:
|
||
self.registry_path = os.path.join(
|
||
state_dir, _REGISTRY_FILENAME)
|
||
self.registry_corrupt = False
|
||
self.registry_corrupt_entries = 0
|
||
self._load_registry()
|
||
|
||
# -- registry ------------------------------------------------------
|
||
def _load_registry(self):
|
||
"""载入 registry：读到的条目一律标 orphan（见模块
|
||
docstring，绝不直接当 warm 发给任务）。无文件时为空
|
||
池；损坏时 quarantine 并从空开始。"""
|
||
if not self.registry_path:
|
||
return
|
||
try:
|
||
with open(self.registry_path, "r") as fh:
|
||
data = json.load(fh)
|
||
except FileNotFoundError:
|
||
return
|
||
except (OSError, ValueError):
|
||
self.registry_corrupt = True
|
||
self._quarantine_registry()
|
||
return
|
||
if not isinstance(data, dict):
|
||
self.registry_corrupt = True
|
||
self._quarantine_registry()
|
||
return
|
||
for name, entry in data.items():
|
||
if not isinstance(entry, dict) \
|
||
or not entry.get("vm") \
|
||
or entry.get("state") not in ("warm", "assigned"):
|
||
self.registry_corrupt_entries += 1
|
||
continue
|
||
self._entries[name] = {
|
||
"state": "orphan",
|
||
"vm": entry["vm"],
|
||
"task": {"id": entry.get("task_id") or name},
|
||
"snapshot_url": entry.get("snapshot_url"),
|
||
}
|
||
|
||
def _quarantine_registry(self):
|
||
"""把损坏的 registry 文件挪到 <path>.corrupt 旁（尽力
|
||
而为），原路径不再留损坏数据给下一次载入。"""
|
||
if not self.registry_path:
|
||
return
|
||
try:
|
||
os.replace(self.registry_path,
|
||
self.registry_path + ".corrupt")
|
||
except OSError:
|
||
_LOGGER.warning("chv_pool_registry_quarantine_failed "
|
||
"path=%s", self.registry_path)
|
||
|
||
def _save_registry(self):
|
||
"""落盘当前条目（只写 warm/assigned 态；orphan 是
|
||
待清理的上一世条目，reconcile 后即删，不写回）。
|
||
写失败只记日志，不炸任务流。"""
|
||
if not self.registry_path:
|
||
return
|
||
data = {}
|
||
for name, entry in self._entries.items():
|
||
if entry["state"] not in ("warm", "assigned"):
|
||
continue
|
||
task = entry.get("task") or {}
|
||
task_id = task.get("id") if isinstance(task, dict) \
|
||
else None
|
||
data[name] = {
|
||
"state": entry["state"],
|
||
"vm": entry.get("vm"),
|
||
"task_id": task_id,
|
||
"snapshot_url": entry.get("snapshot_url"),
|
||
}
|
||
try:
|
||
directory = os.path.dirname(self.registry_path)
|
||
if directory:
|
||
os.makedirs(directory, exist_ok=True)
|
||
tmp_path = self.registry_path + ".tmp"
|
||
with open(tmp_path, "w") as fh:
|
||
json.dump(data, fh)
|
||
os.replace(tmp_path, self.registry_path)
|
||
except OSError:
|
||
_LOGGER.warning("chv_pool_registry_save_failed path=%s",
|
||
self.registry_path)
|
||
|
||
def reconcile_orphans(self):
|
||
"""清理上一世残留条目：对每个 orphan/assigned 条目
|
||
尽力 shutdown_vm（清 socket 与残留登记），条目清掉
|
||
并落盘，返回已清理的 VM 名列表。worker 启动/清理时
|
||
显式调它（见模块 docstring 的单活池假设）。"""
|
||
cleaned = []
|
||
for name, entry in list(self._entries.items()):
|
||
if entry["state"] not in ("orphan", "assigned"):
|
||
continue
|
||
vm = entry.get("vm") or name
|
||
try:
|
||
self.executor.shutdown_vm(vm)
|
||
except Exception:
|
||
pass
|
||
self._entries.pop(name, None)
|
||
cleaned.append(vm)
|
||
if cleaned:
|
||
self._save_registry()
|
||
try:
|
||
self.executor._emit(
|
||
"warm_pool_reconcile", {"id": None},
|
||
"cleaned=%s" % ",".join(cleaned))
|
||
except Exception:
|
||
pass
|
||
return cleaned
|
||
|
||
# -- 池操作 ----------------------------------------------------------
|
||
def warm_count(self):
|
||
return sum(1 for e in self._entries.values()
|
||
if e["state"] == "warm")
|
||
|
||
def orphan_count(self):
|
||
"""上一世残留条目数（待 reconcile，不可分配）。"""
|
||
return sum(1 for e in self._entries.values()
|
||
if e["state"] in ("orphan", "assigned"))
|
||
|
||
def prewarm(self, count=None):
|
||
"""预热到目标数：已有 warm 条目不重复建；每个新条目
|
||
用一个合成任务名 wake + pause（合成任务 id 为
|
||
warm-<序号>，绝不与真实任务 id 撞名）。返回新增的
|
||
warm VM 名列表。"""
|
||
if self.snapshot_url is None:
|
||
return []
|
||
target = int(count) if count is not None else self.size
|
||
added = []
|
||
i = 0
|
||
while self.warm_count() < target:
|
||
i += 1
|
||
name = "warm-%d" % i
|
||
if name in self._entries:
|
||
continue
|
||
task = {"id": name}
|
||
self._entries[name] = {"state": "prewarming",
|
||
"task": task}
|
||
try:
|
||
self.executor.wake_vm(task)
|
||
self.executor.pause_vm(task)
|
||
except Exception:
|
||
self._entries.pop(name, None)
|
||
raise
|
||
vm = self.executor.vm_name(task)
|
||
self._entries[name] = {
|
||
"state": "warm", "task": task, "vm": vm,
|
||
"snapshot_url": self.snapshot_url}
|
||
added.append(name)
|
||
if added:
|
||
self._save_registry()
|
||
return added
|
||
|
||
def acquire(self, task):
|
||
"""分配一个预热 VM 给任务：有 warm 条目时消耗一个
|
||
（状态 assigned，返回 mode=warm + 该条目的合成任务
|
||
名，供调用方 resume 后使用）；无 warm 条目时返回
|
||
mode=cold（调用方回落 wake_vm 冷启动）。"""
|
||
for name, entry in list(self._entries.items()):
|
||
if entry["state"] == "warm":
|
||
entry["state"] = "assigned"
|
||
entry["task"] = task
|
||
self._save_registry()
|
||
self.executor._emit(
|
||
"warm_pool_acquire", task,
|
||
"vm=%s" % name)
|
||
return {"mode": "warm", "vm": name,
|
||
"pool_task": entry["task"]}
|
||
return {"mode": "cold", "vm": None, "pool_task": None}
|
||
|
||
def release(self, task, pool_vm=None):
|
||
"""释放：无论 warm 还是 cold 路径，VM 一律销毁
|
||
（executor.shutdown_vm），池条目清掉；绝不把用过
|
||
的 VM 放回 warm 池。返回 True 表示确实销毁了一个
|
||
条目或 VM。"""
|
||
destroyed = False
|
||
if pool_vm and pool_vm in self._entries:
|
||
self._entries.pop(pool_vm, None)
|
||
destroyed = True
|
||
try:
|
||
if self.executor.shutdown_vm(task):
|
||
destroyed = True
|
||
except Exception:
|
||
pass
|
||
self._save_registry()
|
||
self.executor._emit(
|
||
"warm_pool_release", task,
|
||
"vm=%s destroyed=%s" % (pool_vm, destroyed))
|
||
return destroyed
|