feat: Cloud Hypervisor 执行器生产级 v1（cloud-hypervisor）
单任务单 VM：API 唤醒（preflight→vmm.ping→vm.create→vm.boot→SSH 就绪）、 暂停/快照/休眠等价/关闭/回收、预热快照池、每任务磁盘 copy、容量与磁盘配额门、 受控 egress fail-closed、VM 事件审计与分类失败；worker/server/autoscaler 接线 （executor=cloud-hypervisor，任务内 LLM 不可自选）；默认关闭，不进生产路由。 未做真实 VM 验证：生产主机与本 VM 均无 /dev/kvm、无嵌套虚拟化，验证为 mock + 干跑命令 + 单元测试；真 VM、快照恢复、压测、安全审计见 docs/chv-production-readiness.md。CI 账单故障仍是硬门禁，本提交只到 PR OPEN。
This commit is contained in:
host committed
1 parent
aebc6238a6
commit
c371bbdf1e
9 files changed
+2364
-11
No files matched your search
@@ -0,0 +1,173 @@
|
||||
# Cloud Hypervisor 执行器生产就绪清单
|
||||
|
||||
> 状态图例：✅ 代码已完成 · 🧪 mock 测试已覆盖（无真 VM） ·
|
||||
> ⏳ 需 KVM 宿主实测 · 🏗️ 需镜像构建 · 📈 需压测 · 🔒 需安全审计
|
||||
>
|
||||
> 本清单是 PR 的一部分，不是事后补的口号。凡是标 ⏳/🏗️/📈/🔒
|
||||
> 的项，在本轨内一律不声称已验证、已建成、已通过。
|
||||
|
||||
## 0. 交付点卡在哪一关（必读，先于逐项清单）
|
||||
|
||||
- **CI 门禁（未过，交付点 = PR OPEN）**：CI 必须通过才能合并。
|
||||
此前全仓 CI 因 GitHub 账单问题 0 步骤失败；若账单未恢复、
|
||||
CI 仍失败，本 PR 只到 OPEN，不合并，更不为变绿改 CI 配置
|
||||
或绕过检查。
|
||||
- **真 VM 门禁（未过，执行器默认关闭）**：生产启用（把真实任务
|
||||
路由到 cloud-hypervisor、部署到生产主机）必须先有带 /dev/kvm
|
||||
的宿主并完成真实 VM 启动、快照恢复、任务端到端验证。
|
||||
当前事实：生产主机 124.222.165.170 本身就是 CVM
|
||||
（systemd-detect-virt=kvm，DMI product=CVM），/dev/kvm 不存在、
|
||||
无 vmx/svm 标志、无 kvm 模块、未装 cloud-hypervisor，无嵌套
|
||||
虚拟化透传；本 VM 容器内同样无 /dev/kvm。
|
||||
故真 VM、快照恢复、压测在本轨内一律不声称已验证；执行器
|
||||
默认关闭（server 默认仍是 docker，worker 默认仍是 local，
|
||||
CHV 只在任务创建时显式选 `executor=cloud-hypervisor` 且有
|
||||
CHV worker 认领时才跑），不进入生产任务路由。
|
||||
- **还差什么才能真正上生产**（按顺序）：① 用户侧开通带 /dev/kvm
|
||||
的裸金属或开启嵌套虚拟化的实例；② 在该宿主上构建并发布
|
||||
chv-guest 镜像（见 §4）；③ 在该宿主上跑通真实 VM 启动、
|
||||
快照恢复、任务端到端、预热池与压测；④ 安全审计通过（§6）；
|
||||
⑤ CI 账单恢复且本 PR CI 变绿后，按当时 main 头复核 diff 再合并、
|
||||
再部署。缺任何一项，都不把 CHV 推上生产。
|
||||
|
||||
## 1. 单任务单 VM 隔离
|
||||
|
||||
- ✅🧪 一个任务一个 VM：dispatch/run/goal 均走 wake → 跑 → finally
|
||||
shutdown，同一任务重复 wake 先关旧 VM；VM 名、api-socket、
|
||||
每任务磁盘路径均按任务派生，互不相同（测试断言）。
|
||||
- ✅🧪 每任务磁盘独立：copy 模式复制基础镜像为每任务磁盘；
|
||||
reuse 模式仅单租户实验，生产禁用（代码与文档双写）。
|
||||
- ✅🧪 租户无共享路径：执行器不挂载宿主根、宿主代码目录或含
|
||||
密钥目录；客机代码在镜像内 `/app`，不在宿主共享挂载上。
|
||||
- ✅🧪 密钥不进镜像/代码/prompt：SSH argv 只有 key 文件路径；
|
||||
模型 key 由客机 cloud-init 预置的环境变量名注入；测试断言
|
||||
命令中不含哨兵密钥值。
|
||||
- 🔒 需安全审计：VM 逃逸面（virtio 设备、tap 桥接、SSH 配置）、
|
||||
客机 root 提权面、租户间东西向隔离的宿主网络配置，须由
|
||||
安全审计逐项确认，代码自查不能代替审计。
|
||||
|
||||
## 2. 快速启动：预热快照池 + 镜像缓存
|
||||
|
||||
- ✅🧪 快照/恢复接口：snapshot_vm / restore_vm（restore 后显式
|
||||
resume，见 §3），WarmPool 接口与状态机（cold → prewarming →
|
||||
warm → assigned → running → recycled/destroyed）。
|
||||
- ✅🧪 冷启动回落：池空时 acquire 返回 cold，调用方回落 wake_vm
|
||||
冷启动，绝不降级 Docker/Local。
|
||||
- ✅🧪 预热条目一次性：acquire 消耗、release 一律销毁，绝不跨
|
||||
任务复用脏 VM。
|
||||
- ⏳ 需 KVM 宿主实测：预热池的真实冷启动耗时、resume 耗时、
|
||||
池大小与命中率、快照来源一致性，均需真机数据，mock 数字
|
||||
不能当性能结论。
|
||||
- 📈 需压测：多 VM 并行预热/分配/销毁的宿主 CPU/内存/磁盘
|
||||
压力、快照存储增长，均未测。
|
||||
|
||||
## 3. 完整生命周期
|
||||
|
||||
- ✅🧪 create / boot：API 模式 wake_vm（vmm.ping → vm.create →
|
||||
vm.boot → SSH 就绪）。
|
||||
- ✅🧪 pause-resume（sleep-wake）：pause_vm / resume_vm（ch-remote）。
|
||||
- ✅🧪 snapshot-restore：restore_vm（restore + 显式 resume +
|
||||
SSH 就绪），恢复后默认 paused 的坑已在代码与测试里钉住。
|
||||
- ✅🧪 hibernate：CHV 无原生 hibernate 端点，本轨用 pause +
|
||||
snapshot + shutdown 等价实现，文档与代码双写“等价实现”，
|
||||
不声称接了原生端点；唤醒走 restore_vm。
|
||||
- ✅🧪 shutdown-destroy / recycle：shutdown_vm（ch-remote
|
||||
shutdown + 杀进程 + 删 socket）、recycle_vm（保留
|
||||
task_checkpoints/task_attempts，丢失 guest /tmp 与未拷出
|
||||
的 worktree 临时物，绝不声称恢复临时文件）。
|
||||
- ⏳ 需 KVM 宿主实测：上述全部生命周期在真机上的状态转换、
|
||||
快照恢复后 guest 状态一致性、休眠后文件/worktree 保留，
|
||||
均未在真机验证。
|
||||
|
||||
## 4. 完整开发环境（客机镜像）
|
||||
|
||||
- ✅ 客机镜像内容清单：`chv-guest/README.md` 按
|
||||
`cloud/docker/Dockerfile` 能力对齐（Python 3.12、git、
|
||||
pandoc/poppler/latex、python-docx/openpyxl/pptx/PyMuPDF/
|
||||
Pillow、codex 0.164.0-alpha.9 成套、Playwright + Chromium、
|
||||
openssh-server、cloud-init）。
|
||||
- ✅ 构建脚本骨架：`chv-guest/build.sh`（参数校验、版本 tag
|
||||
格式、KVM 宿主检查、TODO 步骤清单）。
|
||||
- 🏗️ 需镜像构建：镜像本身未构建、未发布；BUILDINFO 版本核对、
|
||||
浏览器版本钉死、中文 LaTeX 单独一版，均待构建时做。
|
||||
- ⏳ 需 KVM 宿主实测：镜像在真 VM 里启动、codex/Playwright/
|
||||
git/文档工具链逐项跑通，均未验证。
|
||||
|
||||
## 5. 资源与成本
|
||||
|
||||
- ✅🧪 每 VM 配额：CPU/内存进 VmConfig（CHV_CPU/CHV_MEM），
|
||||
磁盘配额门（CHV_DISK_GB，超限拒绝），宿主容量门
|
||||
（CHV_MAX_VMS，超限明确拒绝排队，不降级）。
|
||||
- ✅ 超时与最大轮次：SSH 单次超时（CHV_TASK_TIMEOUT）+
|
||||
worker task_timeout 外层护栏；goal 最大轮次 100（与 Local
|
||||
同款），执行器内部不重试（重试是 worker max_retries 语义）。
|
||||
- ✅ 成本复用：不另起一套计费；worker 现有 quota/成本语义
|
||||
（per-user USD 配额、quota 看门狗、成本写库）仍是唯一口径，
|
||||
执行器只把 host.py 用量原样返回。
|
||||
- ✅ 空闲休眠省成本：hibernate_vm（pause + snapshot +
|
||||
shutdown）+ WarmPool 释放即销毁，空闲 VM 不占 vCPU/内存
|
||||
（快照只占磁盘，见 §2 压测项）。
|
||||
- ✅ autoscaler：按 executor 过滤队列深度（已有）+ 本轨透传
|
||||
`--executor` 给拉起的 worker（否则 CHV 池永远饿死）。
|
||||
- 📈 需压测：配额下的真实资源占用、超限拒绝的排队行为、
|
||||
成本与配额在长任务下的实际表现，均未测。
|
||||
|
||||
## 6. 网络与治理
|
||||
|
||||
- ✅🧪 受控 egress：默认 fail-closed（CHV_EGRESS_PROXY 未设且
|
||||
未显式允许直连时 preflight 直接失败）；客机命令加 env
|
||||
代理前缀，出口只走白名单代理（Tinyproxy 思路复用）。
|
||||
- ⏳🔒 需宿主网络配置 + 安全审计：tap 桥接是否真的只路由到
|
||||
白名单代理、VM 能否绕过代理直连外网，是宿主网络配置问题，
|
||||
执行器代码不能自证，必须在 KVM 宿主上实测并审计。
|
||||
- ✅ 审批门：任务 approval 经 `_approval_cli_args` 进客内 host.py
|
||||
顶层参数，VM 内 agent 不能自改；delete/deploy/spend 类动作
|
||||
仍走 server 的 approval/merge_gate，不由 VM 内 agent 自批
|
||||
（本轨不改 approval/merge_gate 语义，只复用）。
|
||||
- ✅ 工具与系统调用范围收敛：VM 边界本身就是系统调用边界
|
||||
（客机独立内核）；plan 任务走 read-only 沙箱参数；最大步数
|
||||
（goal 100 轮）、时间（task_timeout）、重试（worker 1 次）
|
||||
超限即停并审计（vm_failed 带 kind）。
|
||||
|
||||
## 7. 可观测与审计
|
||||
|
||||
- ✅🧪 VM 事件审计：create/boot/ready/pause/resume/snapshot/
|
||||
restore/shutdown/destroy/failed/recycled/warm_pool_acquire/
|
||||
release 均经 audit_callback 发出；worker 接线后转 AuthStore
|
||||
审计（_audit 本身 best-effort）。
|
||||
- ✅🧪 失败分类：ChvFailure 带 kind（kvm_missing/binary_missing/
|
||||
kernel_missing/image_missing/ssh_key_missing/cpu_flag_missing/
|
||||
egress_not_configured/api_timeout/guest_not_ready/vm_create_failed/
|
||||
vm_boot_failed/host_capacity_exceeded/disk_quota_exceeded），
|
||||
不笼统 failed。
|
||||
- ✅ 断点对齐：VM 快照/休眠与现有 task_checkpoints/task_attempts
|
||||
语义对齐（recycle 保留两者，丢失临时文件）；goal 断点续跑
|
||||
方法（goal_resume_breakpoint_task）已实现，worker 层对非
|
||||
Local 执行器的断点续跑目前仍明确失败（见执行器 docstring），
|
||||
后续 worker 接线是单独一轨，不在本轨假装已通。
|
||||
- ⏳ 需 KVM 宿主实测：审计事件在真机任务 timeline 里的完整
|
||||
呈现、失败分类与真实故障的对应关系，均未验证。
|
||||
|
||||
## 8. 多 VM 并发与容量
|
||||
|
||||
- ✅🧪 worker 注册：`_executor_name()` 返回 cloud-hypervisor，
|
||||
worker register/heartbeat 已上报 executor + capacity（现有
|
||||
机制复用，无需新表）。
|
||||
- ✅🧪 多 VM 并行：`_vms` 登记 + 锁保护，wake 按任务名登记，
|
||||
不同任务互不覆盖；容量门在 wake 前检查。
|
||||
- ✅🧪 残留 VM 清理：cleanup_stale_vms 处理已死/已关/socket
|
||||
残留三种情况，只清 chv- 前缀 socket。
|
||||
- ✅🧪 容量不足明确拒绝：kind=host_capacity_exceeded，调用方
|
||||
排队/拒绝，绝不降级 Docker/Local（测试断言 launcher 未调用）。
|
||||
- 📈 需压测：多 VM 并行下的宿主容量、VM 启动并发上限、残留
|
||||
清理在高压下的表现，均未测。
|
||||
|
||||
## 9. 默认关闭与生产启用条件（重申）
|
||||
|
||||
- ✅ 默认关闭：server 默认执行器仍是 docker，worker 默认 local；
|
||||
CHV 只在显式选 executor 且有 CHV worker 时才跑；无 CHV_*
|
||||
配置时 preflight 直接失败。
|
||||
- ⏳ 生产启用前置（全部未完成）：带 /dev/kvm 的宿主开通 →
|
||||
chv-guest 镜像构建发布 → 真实 VM 启动/快照恢复/任务端到端
|
||||
验证 → 压测 → 安全审计 → CI 变绿后按当时 main 头复核 diff
|
||||
再合并部署。缺一不可。
|
||||
Reference in new issue
Block a user