host
baf26beb78
审计报告 ~/workspace/chv-security-audit/REPORT.md（No-Go， Critical 0 / High 7 / Medium 8 / Low 5）代码层修复，mock 测试覆盖，真机动态验证一律未做、只列清单（见 docs/chv-production-readiness.md §11）。 High： - H1 egress 代码门：代理地址校验、直连显式允许+审计、 每 VM 独立 tap/mac/ip 校验、net 字段白名单；宿主防火墙 列为部署清单，代码门+防火墙缺一不可。 - H2 网关 key 移出 argv：provisioned seed 盘客内文件 /etc/chv/guest-env（0600）投递，传输层密钥进 argv 直接 ValueError；keyscan 模式密钥投递 fail-closed。 - H3 任务盘删除：stop/recycle/cleanup 删 disk.raw（保留期 0）+ 残留盘 GC，删失败审计+脏标记。 - H4 默认值改 provisioned：keyscan 只作显式 opt-in。 - H5 seed.iso 生成即 0600；宿主私钥 seed 盘建好后即删； 崩溃残留扫描 cleanup_stale_secrets。 - H6 state_dir 默认出 /tmp（~/.local/share/.../chv-vms， preflight 保 0700）；api-socket 组/其它可写即 fail-fast。 - H7 tap 隔离校验：net.json 登记+stop 释放，共享即拒绝审计。 Medium：M1 shlex 远程转义；M2 清理失败即拒起（脏标记）； M3 配额默认 50GB + 快照数/总量/保留期上限；M4 SHA256 必填 + BUILDINFO versions 实测记录（事前 lockfile 列清单）； M5 host key/ preflight/失败审计补齐；M6 reuse 须声明单租户 项目；M7 容量计数只认连通 socket；M8 sshd 加固进 build.sh 断言。Low：L1 链接不跟随；L2 路径白名单；L3 失败审计； L4 双变量警告+字段白名单；L5 预热盘/任务盘对应关系定义。 旧测试：实验室默认值与生产默认值区分标注；行为已变的旧 测试按新语义更新（容量死 socket、快照白名单、磁盘路径 白名单、网关 argv、reuse 租户声明）。 测试：新 test_chv_secfix 39 项；旧 117 项 + 2 项新增断言 = 158 项；worker 相关 129 项；前端 vitest 9 项；cloud 全量 1588 项（skipped 4）。
289 lines
13 KiB
Python
289 lines
13 KiB
Python
"""快照预热池 WarmPool（含 state_dir registry 持久化与孤儿清理）。
|
||
|
||
隔离红线（与 #216 一致，绝不妥协）：预热条目是一次性的
|
||
干净快照 VM，acquire 消耗掉它，release 一律销毁，绝不把
|
||
一个任务用过的 VM（带任务文件、带 agent 痕迹）翻出来给
|
||
下一个任务/租户复用；池子空了就回落冷启动（wake_vm），
|
||
绝不因为池空就降级 Docker/Local。
|
||
|
||
Registry（本轨新增）：
|
||
- 文件：state_dir/warm-pool.json（registry_path 可覆盖），
|
||
内容为 {<合成名>: {"state", "vm", "task_id", "snapshot_url"}}。
|
||
每次 prewarm/acquire/release 后立即落盘（临时文件 + 原子
|
||
rename），worker 崩溃后重启仍能发现上一世的条目。
|
||
- 载入时绝不复用：新池实例从 registry 读到的条目一律标为
|
||
orphan（不计入 warm_count，acquire 绝不发给任务），因为
|
||
旧 VMM 进程已随旧 worker 消失，无法验证它还是当初那个
|
||
干净快照 VM。它们只能走 reconcile_orphans() 清理。
|
||
- reconcile_orphans()：worker 启动/清理时的显式入口，对
|
||
每个 orphan/assigned 条目尽力调 executor.shutdown_vm
|
||
（清 socket 与残留登记），条目清掉并落盘，返回已清理的
|
||
VM 名列表。registry 里没有的残留 socket 仍由执行器的
|
||
cleanup_stale_vms() 扫 state_dir 处理，两者互补，不互相
|
||
替代；reconcile 绝不在构造时自动执行（同一 state_dir 只
|
||
能有一个活池，构造时自动清理会误杀另一个活池的 VM）。
|
||
- 损坏 fail-safe：registry 不是合法 JSON / 顶层不是 dict 时，
|
||
整个文件 quarantine 成 <path>.corrupt（尽力而为），池子
|
||
从空开始，绝不用损坏数据复用 VM；单条目结构非法时只
|
||
丢该条（记 registry_corrupt_entries），不连坐其它条目。
|
||
registry 写失败时只记日志警告、不炸任务流（池子内存态
|
||
仍可用，重启后孤儿改由 socket 扫描兜底）。
|
||
"""
|
||
|
||
import json
|
||
import logging
|
||
import os
|
||
|
||
_LOGGER = logging.getLogger("cloud.cloud_hypervisor")
|
||
|
||
_REGISTRY_FILENAME = "warm-pool.json"
|
||
|
||
|
||
class WarmPool:
|
||
"""快照预热池（快速启动设计，接口与状态机在代码里）。
|
||
|
||
目标：冷启动（preflight + 起 VMM + create + boot + SSH
|
||
就绪）是慢路径；预热池提前把干净 VM 起好并暂停，任务
|
||
来时 acquire 直接 resume，省掉冷启动的大头。
|
||
状态机：cold（未预热）→ prewarming（wake 中）→ warm
|
||
（已暂停待分配）→ assigned（已分配给某任务）→
|
||
running（已 resume）→ recycled/destroyed（release 后）。
|
||
prewarm 的实现：对每个条目调 executor.wake_vm（冷启动）
|
||
再 pause_vm，得到 paused 的干净 VM；mock 单测里 wake/
|
||
pause 均可注入假实现，真机上这一步需要 KVM 宿主（见
|
||
就绪清单“需 KVM 宿主实测”）。snapshot_url 未设时
|
||
prewarm 返回 []（无基准快照可预热，不是静默造快照）。
|
||
"""
|
||
|
||
def __init__(self, executor, size=None, snapshot_url=None,
|
||
registry_path=None):
|
||
self.executor = executor
|
||
self.size = int(size if size is not None
|
||
else getattr(executor, "warm_pool_size", 0))
|
||
self.snapshot_url = snapshot_url \
|
||
if snapshot_url is not None \
|
||
else getattr(executor, "snapshot_url", None)
|
||
self._entries = {} # 合成名 -> {"state", "vm", "task", ...}
|
||
self.registry_path = registry_path
|
||
if self.registry_path is None:
|
||
state_dir = getattr(executor, "state_dir", None)
|
||
if state_dir:
|
||
self.registry_path = os.path.join(
|
||
state_dir, _REGISTRY_FILENAME)
|
||
self.registry_corrupt = False
|
||
self.registry_corrupt_entries = 0
|
||
self._load_registry()
|
||
|
||
# -- registry ------------------------------------------------------
|
||
def _load_registry(self):
|
||
"""载入 registry：读到的条目一律标 orphan（见模块
|
||
docstring，绝不直接当 warm 发给任务）。无文件时为空
|
||
池；损坏时 quarantine 并从空开始。"""
|
||
if not self.registry_path:
|
||
return
|
||
try:
|
||
with open(self.registry_path, "r") as fh:
|
||
data = json.load(fh)
|
||
except FileNotFoundError:
|
||
return
|
||
except (OSError, ValueError):
|
||
self.registry_corrupt = True
|
||
self._quarantine_registry()
|
||
return
|
||
if not isinstance(data, dict):
|
||
self.registry_corrupt = True
|
||
self._quarantine_registry()
|
||
return
|
||
for name, entry in data.items():
|
||
if not isinstance(entry, dict) \
|
||
or not entry.get("vm") \
|
||
or entry.get("state") not in ("warm", "assigned"):
|
||
self.registry_corrupt_entries += 1
|
||
continue
|
||
self._entries[name] = {
|
||
"state": "orphan",
|
||
"vm": entry["vm"],
|
||
"task": {"id": entry.get("task_id") or name},
|
||
"snapshot_url": entry.get("snapshot_url"),
|
||
}
|
||
|
||
def _quarantine_registry(self):
|
||
"""把损坏的 registry 文件挪到 <path>.corrupt 旁（尽力
|
||
而为），原路径不再留损坏数据给下一次载入。"""
|
||
if not self.registry_path:
|
||
return
|
||
try:
|
||
os.replace(self.registry_path,
|
||
self.registry_path + ".corrupt")
|
||
except OSError:
|
||
_LOGGER.warning("chv_pool_registry_quarantine_failed "
|
||
"path=%s", self.registry_path)
|
||
|
||
def _save_registry(self):
|
||
"""落盘当前条目（只写 warm/assigned 态；orphan 是
|
||
待清理的上一世条目，reconcile 后即删，不写回）。
|
||
写失败只记日志，不炸任务流。"""
|
||
if not self.registry_path:
|
||
return
|
||
data = {}
|
||
for name, entry in self._entries.items():
|
||
if entry["state"] not in ("warm", "assigned"):
|
||
continue
|
||
task = entry.get("task") or {}
|
||
task_id = task.get("id") if isinstance(task, dict) \
|
||
else None
|
||
data[name] = {
|
||
"state": entry["state"],
|
||
"vm": entry.get("vm"),
|
||
"task_id": task_id,
|
||
"snapshot_url": entry.get("snapshot_url"),
|
||
}
|
||
try:
|
||
directory = os.path.dirname(self.registry_path)
|
||
if directory:
|
||
os.makedirs(directory, exist_ok=True)
|
||
tmp_path = self.registry_path + ".tmp"
|
||
with open(tmp_path, "w") as fh:
|
||
json.dump(data, fh)
|
||
os.replace(tmp_path, self.registry_path)
|
||
except OSError:
|
||
_LOGGER.warning("chv_pool_registry_save_failed path=%s",
|
||
self.registry_path)
|
||
|
||
def reconcile_orphans(self):
|
||
"""清理上一世残留条目：对每个 orphan/assigned 条目
|
||
尽力 shutdown_vm（清 socket 与残留登记），条目清掉
|
||
并落盘，返回已清理的 VM 名列表。worker 启动/清理时
|
||
显式调它（见模块 docstring 的单活池假设）。"""
|
||
cleaned = []
|
||
for name, entry in list(self._entries.items()):
|
||
if entry["state"] not in ("orphan", "assigned"):
|
||
continue
|
||
vm = entry.get("vm") or name
|
||
try:
|
||
self.executor.shutdown_vm(vm)
|
||
except Exception:
|
||
pass
|
||
self._entries.pop(name, None)
|
||
cleaned.append(vm)
|
||
if cleaned:
|
||
self._save_registry()
|
||
try:
|
||
self.executor._emit(
|
||
"warm_pool_reconcile", {"id": None},
|
||
"cleaned=%s" % ",".join(cleaned))
|
||
except Exception:
|
||
pass
|
||
return cleaned
|
||
|
||
# -- 池操作 ----------------------------------------------------------
|
||
def warm_count(self):
|
||
return sum(1 for e in self._entries.values()
|
||
if e["state"] == "warm")
|
||
|
||
def orphan_count(self):
|
||
"""上一世残留条目数（待 reconcile，不可分配）。"""
|
||
return sum(1 for e in self._entries.values()
|
||
if e["state"] in ("orphan", "assigned"))
|
||
|
||
def prewarm(self, count=None):
|
||
"""预热到目标数：已有 warm 条目不重复建；每个新条目
|
||
用一个合成任务名 wake + pause（合成任务 id 为
|
||
warm-<序号>，绝不与真实任务 id 撞名）。返回新增的
|
||
warm VM 名列表。"""
|
||
if self.snapshot_url is None:
|
||
return []
|
||
target = int(count) if count is not None else self.size
|
||
added = []
|
||
i = 0
|
||
while self.warm_count() < target:
|
||
i += 1
|
||
name = "warm-%d" % i
|
||
if name in self._entries:
|
||
continue
|
||
task = {"id": name}
|
||
self._entries[name] = {"state": "prewarming",
|
||
"task": task}
|
||
try:
|
||
self.executor.wake_vm(task)
|
||
self.executor.pause_vm(task)
|
||
except Exception:
|
||
self._entries.pop(name, None)
|
||
raise
|
||
vm = self.executor.vm_name(task)
|
||
self._entries[name] = {
|
||
"state": "warm", "task": task, "vm": vm,
|
||
"snapshot_url": self.snapshot_url}
|
||
added.append(name)
|
||
if added:
|
||
self._save_registry()
|
||
return added
|
||
|
||
def acquire(self, task):
|
||
"""分配一个预热 VM 给任务（feat-chv-fix，P1-3 接线）：
|
||
|
||
有 warm 条目时先调 executor.resume_vm() 把暂停的 VM
|
||
真正唤醒（resume 失败即条目作废、继续找下一个，
|
||
绝不把 paused 的 VM 当 running 发给任务），再标
|
||
assigned 并返回 mode=warm；resume 全部失败或无 warm
|
||
条目时返回 mode=cold（调用方回落 wake_vm 冷启动）。
|
||
注意：本方法只解决“acquire 不再悬空 resume 责任”
|
||
这一半；worker dispatch 前查池的另一半仍未接线
|
||
（见执行器/就绪文档的“未接线缺口”标注），预热收益
|
||
在生产路径上仍不是已交付特性。
|
||
feat-chv-secfix（L5，接线时的盘对应关系定义——接线
|
||
本身仍未做，不假装已接）：预热 VM 的磁盘是干净快照
|
||
盘，不是任务盘。将来 dispatch 前查池接线时必须做到：
|
||
acquire 返回的 VM 在派任务前仍须按任务重新供给磁盘
|
||
（provision_task_disk 的 copy 盘，或校验快照来源与该
|
||
任务的对应关系后才能用快照盘），绝不能把预热盘直接
|
||
当任务盘用；接线时须补“任务盘来源”不变量的测试，
|
||
否则 acquire 的 warm 路径不得合入生产路径。"""
|
||
for name, entry in list(self._entries.items()):
|
||
if entry["state"] != "warm":
|
||
continue
|
||
resume = getattr(self.executor, "resume_vm", None)
|
||
if resume is not None:
|
||
try:
|
||
resume(entry.get("task") or task)
|
||
except Exception:
|
||
self._entries.pop(name, None)
|
||
self._save_registry()
|
||
continue
|
||
# 无 resume_vm 的鸭子型执行器（旧测试替身）：
|
||
# 保持旧 assigned 语义，不因此丢弃条目；真实
|
||
# CloudHypervisorExecutor 一律有 resume_vm，走
|
||
# 上面分支，责任不悬空。
|
||
entry["state"] = "assigned"
|
||
entry["task"] = task
|
||
self._save_registry()
|
||
try:
|
||
self.executor._emit(
|
||
"warm_pool_acquire", task,
|
||
"vm=%s" % name)
|
||
except Exception:
|
||
pass
|
||
return {"mode": "warm", "vm": name,
|
||
"pool_task": entry["task"]}
|
||
return {"mode": "cold", "vm": None, "pool_task": None}
|
||
|
||
def release(self, task, pool_vm=None):
|
||
"""释放：无论 warm 还是 cold 路径，VM 一律销毁
|
||
（executor.shutdown_vm），池条目清掉；绝不把用过
|
||
的 VM 放回 warm 池。返回 True 表示确实销毁了一个
|
||
条目或 VM。"""
|
||
destroyed = False
|
||
if pool_vm and pool_vm in self._entries:
|
||
self._entries.pop(pool_vm, None)
|
||
destroyed = True
|
||
try:
|
||
if self.executor.shutdown_vm(task):
|
||
destroyed = True
|
||
except Exception:
|
||
pass
|
||
self._save_registry()
|
||
self.executor._emit(
|
||
"warm_pool_release", task,
|
||
"vm=%s destroyed=%s" % (pool_vm, destroyed))
|
||
return destroyed
|