admin/codex-app-server
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
644 Commits 12 Branches 0 Tags
a5f836e9fdd246b8c509dadaffe0fe7362fbfc8c
Commit Graph
18 Commits
Author SHA1 Message Date
host 7a6fae7993 feat(chv): 阶段 1 持久 VM、overlay 分层与预热快照 
- disk.py：overlay 模式（qcow2 backing file 指只读 base，
  建盘/复用/重建校验 + qemu-img fail-closed）、数据盘
  data.qcow2 独立供给（不进快照/GC/stop）、配额增量口径
  （overlay 本次增量 0）、快照登记 tenant 字段、每 VM
  tenant.json、持久登记 persistent/<tenant>.json、快照
  登记按 URL 查找。
- config.py：CHV_DISK_MODE 白名单加 overlay（默认仍 copy；
  错误文案保留旧子串，防回归测试钉死）。
- executor.py：VmConfig image_type 按后缀（.qcow2→Qcow2，
  其余 Raw）+ 数据盘第三块盘；overlay 供给写 tenant 标记；
  snapshot_vm 登记带 tenant，_validate_restore 归属校验
  （跨用户 snapshot_tenant_mismatch 拒绝 + 审计，legacy
  未标记/未登记放行并警告）；stop/GC 在 overlay 模式下
  保护持久登记/快照认领的盘；持久 VM（prewarm/acquire/
  suspend/dispatch_task_persistent/recycle_persistent_vm，
  CHV_WARM_POOL_SIZE>=1 启用，=0 退化冷启旧语义），
  resume 只认 vm.info=Paused + socket 活性 + 归属一致。
- tests：cloud/tests/test_chv_opt_stage1.py 26 项（overlay、
  tenant、持久池、跨用户拒绝、两连任务、显式回收）。
回归：discover test_chv_*.py 与 test_cloud_hypervisor.py
全过（结构契约：函数 ≤50 行、公开 API 全注解、文案钉死）。
不推、不合、不部署；只本地分支。
 2026-11-08 09:45:00 +00:00
host c904ae9358 carry-over: 在途 V-9 根因修复 + Muse P2 对齐原样带入（未改一行业务逻辑） 
来源：feat-chv-muse-p2 @ c918d69 的 6 个未提交文件（+157/-29）：
build.sh（GT 哈希轮换 + 99-chv-sync.cfg runcmd chown）、
check_lockfile.py / generate_lockfile.py（DECLARED_SOURCES 加
chv-cell/chv-broker/chv-browser）、executor.py（_wait_guest_env_usable）、
hostkeys.py（guest-env owner 恒 root:root）、test_chv_v3_fixes.py。
单测：python3 -m unittest cloud.tests.test_chv_v3_fixes 38/38 通过。
本提交只搬运，不含阶段 1 改动；阶段 1 另起提交。
 2026-11-08 09:45:00 +00:00
host 1836c5af32 fix(chv): V-7 复测缺陷复修 D1/D2 + F1 瞬时 reset 重试 
D1：snapshot_vm 在配额预检后、ch-remote 前建好 file:// 目标
目录（新 helper _ensure_snapshot_dir；fresh URL 直接 snapshot
曾 rc=1 Destination is not a directory）。建目录只在 snapshot_vm
一处，hibernate 经此调用；配额拒绝仍先于任何文件改动。
D2：keep_disk=True 时 stop 保留 seed.iso（_remove_vm_seed_files
抽出；快照 config.json 的 disks 同时引用 disk.raw 与 seed.iso），
且 cleanup_stale_secrets 不清有登记快照的 VM 的 seed（与
gc_stale_disks 的盘保护同款逻辑）；正常 stop 仍删两者。
F1：首条任务 SSH 撞 kex 阶段瞬时 reset（rc=255 + kex/reset 标记）
时重试恰好 1 次（_call_ssh_with_transient_retry，_run_guest 与
_run_guest_goal 共用；host key 拒绝/认证失败/远端失败不重试；
审计 vm_ssh_transient_retry）。§5“执行器内部不重试”的唯一例外，
结论写入 docs/chv-production-readiness.md §3/§5/§7。
测试：test_chv_v3_fixes 新增 12 项（D1×3、D2×4、F1×5）；旧代码
上 12 项中 9 项失败（余 3 项为守卫既有行为）。全量 test_chv*
470 测试通过。
 2026-11-08 09:45:00 +00:00
host 65504ae8cb fix(chv): V-3/F1/F2 真机缺陷修复 + V-1/V-4 附带修复 
V-3 快照/restore：
- snapshot 改传裸 URL（source_url= 是 restore 的键，服务端
  Could not extract path from URL）；快照产物是目录，校验
  改为目录非空，登记计量/剪枝同步支持目录
- restore 起 VMM 前补 _restore_prepare：杀旧 VMM（登记的 +
  未登记跨实例扫描）并清旧 socket，与 _wake_prepare 对等
- hibernate 评估结论：快照 config.json 引用原盘，旧 stop 删
  盘致 restore 必失败；hibernate 的 stop 改 keep_disk=True，
  GC 不删有登记快照的 VM 的盘，restore 前预检快照引用的盘
  （snapshot_disk_missing fail-fast）

F1：re-wake 删旧盘——H5 删私钥致 re-wake 必然生成新 key 对，
旧盘复用时 cloud-init 不重应用新 seed，sshd 仍呈旧 key 而
known_hosts 钉新 key；wake 本就是冷启动，旧盘不是要保留的状态

F2：stop_vm 跨实例按 socket 进程扫描杀未登记 VMM
（/proc cmdline 精确 socket + VMM 二进制名 + 跳过自身/pid 1，
绝不误杀 ch-remote 与他人 VMM）

V-4：remote_command source 失败改 || exit 126 fail-fast；
guest-env 条目 owner 改归 SSH 用户（0600 不变），root 仍 root:root

V-1 附带：build.sh 预建 /app/work（1777 粘滞位 + stat 断言）；
host.py default_codex_bin() 改 shutil.which，裸名不再让
health 报 ok:false

测试：新 test_chv_v3_fixes.py 23 项；旧快照测试按目录产物改写；
test_chv* 458 全过，全量 cloud 套件 1930 全过（skipped=8）
 2026-11-08 09:45:00 +00:00
host cef6353c85 fix(chv): restore 路径补 H7 net 校验+登记，seed 暂存文件走 atomic_file 
restore_vm 此前既不校验 net 冲突、也不登记 net.json：
已登记 VM 的 tap/mac/ip 会被恢复出的 VM 静默复用，且
恢复出的 VM 自身不登记、后来的 wake 也看不到它，两边
都漏判。现与 wake 同款：_validate_restore 在起 VMM 前
校验冲突（net_tap_conflict + vm_failed 审计），
_restore_boot 在 restore 成功后登记 net.json，登记失败
审计 net_registry_write_failed + 拒绝恢复（P2-19 语义，
stop_vm 清半恢复 VM）。

hostkeys.write_seed/_apply_seed_extras 的 meta-data、
user-data、network-config 改走 atomic_file（mkstemp 0600
→ 写 → fsync → rename）：user-data 含 host 私钥明文，
直接写 + 事后 chmod 会在 chmod 前以 umask 权限短暂可读；
半截文件本身到不了 ISO（唯一消费者 genisoimage 只在
write_seed 返回后跑），原子写同时堵住权限窗口与半截残留。

回归测试 6 个：restore 冲突拒起/恢复后登记/登记失败
拒起/无 net_json 不登记；seed 走原子写（0600、无 tmp
残留）/写失败不留半截文件。CHV 全套件 395 测试通过。
 2026-11-08 09:44:59 +00:00
host b3cd353a76 fix(chv): P2-20/P2-19/P2-17/P2-18 残留收尾 + NO_PROXY 合并 
- P2-20：_guest_env_delivered 加专用锁，读写只走
  _delivered_secrets/_mark/_clear 三个入口，并发 hammer 测试钉死
- P2-19：_record_net_entries 失败发 net_registry_write_failed
  独立审计并返回 False；_boot_vm 见 False 即拒起（wake 随后清半醒 VM）
- P2-17：net.json 删失败发 vm_net_registry_delete_failed 审计；
  _write_dirty_marker 失败发 dirty_marker_write_failed 审计并返回
  False，stop 不抛的契约不变
- P2-18：新增 cloud/chv/atomic_file.py（mkstemp 随机名 + 文件
  fsync + rename + 目录 fsync），net.json/known_hosts/
  snapshots.json/pool registry/脏标记/spill 全部走它，固定 .tmp 清零
- H1 附带：NO_PROXY 实测确有覆盖 bug（env 重复赋值以后者为准，
  调用方 NO_PROXY 被 egress 的 localhost 值静默覆盖），改为合并
  单条发出；egress 已设时调用方代理变量（含小写）一律不发
- 测试：新增 cloud/tests/test_chv_residual.py（23 项），旧 closeup
  两处钉死旧语义的测试按新语义更新
 2026-11-08 09:44:59 +00:00
host 82e4150e24 fix(chv): CHV 54 VmConfig 形态——payload.kernel/cmdline 纯字符串 + 磁盘显式 image_type Raw 
真机 CHV 54.0.0 实测：旧顶层 kernel:{path}/cmdline:{args}
create 时 204 照放、vm.boot 400 'No bootitem provided'；
补 payload 后又报 'Image type required for disk'（raw 盘
无魔数、探测失败），磁盘须显式 image_type，枚举原名
Raw（JSON 写小写 raw 报 unknown variant）。
 2026-11-08 09:44:59 +00:00
host af64f31138 feat(chv-guest): seed 附加项供客机用户与静态网络（wake 路径前置） 
wake_vm 在 WSL 台架上跑通需要客机身份与网络：镜像本身不建
用户、tap 无 DHCP，缺 users 块的 VM 登不进去、缺 network-config
的 VM 拿不到静态 IP。最小补法（复用 write_seed 机制）：
- hostkeys.write_seed 新增 user_data_extra（原样追加进
  user-data，供 users: 块）与 network_config（写 seed
  network-config 文件，0600）；附加项含 runcmd: 即 ValueError
- config _seed_fragment：CHV_SEED_USER_DATA_EXTRA_FILE /
  CHV_SEED_NETWORK_CONFIG_FILE（只存路径）
- executor._seed_extras 在 wake 起 VMM 前读入，缺失即
  ChvFailure seed_extra_missing；provision_host_key 透传
- README §7 残留更新：guest-env 集成已做
- 测试：test_chv_gitea_sync 新增 5 项（写盘/禁 runcmd/
  配置映射/wake 带附加项/缺失 fail-closed）
 2026-11-08 09:44:59 +00:00
host 540cbaf473 feat(chv-guest): Gitea 同步变量经 seed 进 guest-env（执行器集成） 
- 新增 cloud/chv/gitea_sync.py：6 键白名单，三源合并
  （宿主 CHV_GITEA_* < 任务 gitea_sync < extra_env），
  必填 4 键缺失即 fail-closed，空即不同步
- ssh_transport：GITEA_TOKEN 进密钥集（argv 拒绝），其余
  5 键进 guest-env 集（split_guest_env）
- hostkeys.write_seed：guest_env 与 secret_env 合并写同一
  条目，仍无 runcmd、0600
- config：_gitea_fragment 产 gitea_sync_env（函数内 import，
  叶子模块顶层只许标准库）
- executor.wake_vm：起 VMM 前合并+校验（gitea_sync_incomplete），
  guest-env 随 seed 投递；provision_host_key 透传 guest_env
- worker：_run_attempt 仅对 CHV 执行器把同步变量并进 gateway_env
- 测试：cloud/tests/test_chv_gitea_sync.py 20 项
- 边界：tasks 表无 JSON 列，DB 往返丢任务 gitea_sync；
  生产主来源是宿主 CHV_GITEA_* 环境变量
 2026-11-08 09:44:59 +00:00
host f42c1f2b9b feat-chv-to10：往 10 分方向提升（类型/lint 清零、worker 适配抽取、审计落盘、lockfile 生成脚本、前端四态与统一文案、就绪清单 §13） 2026-11-08 09:44:59 +00:00
host 4fa94edd9b feat(chv): 架构/可维护性/前端只读侧推进——生产实验分离、配置片段化、VM 只读展示 
架构：WarmPool 从 cloud/chv/pool.py 移到 experimental_pool.py，
生产残留清理彻底分文件到 cloud/chv/orphans.py（facade 直接读
registry 文件清理，不构造池、不碰 prewarm/acquire/release）；
cloud/chv 与 cloud/sandbox 不再导出 WarmPool，旧路径一律
ImportError（CHV 未合并、无生产用户，兼容保留已无保留理由）；
worker 改走 orphans facade，不再持有 _warm_pool；#215 对齐从
接口形状推进到 REPLACEMENT_POINTS 替换清单（R1/R2 可机械替换、
R3 永不替换，#215 模块当前不存在由测试钉住）。

可维护性：build_chv_config 拆成 base/ssh/network/quota/disk/
timeout 六片段（组装只做 dict 合并，键冲突即报错；38 字段集
与取值不变，单项非法报错文案逐字一致）；ADR-12 模块职责图
与禁 import 清单（AST 钉住）；cloud/chv/ 公开 API 全量类型
标注、无 Any 逃逸，并修正三处旧标注错误；死代码扫一遍
（删实验池已无调用的 _quarantine 委托与未用 _LOGGER）。

前端（只读侧，不做控制按钮）：chv.ts 新增纯逻辑谓词与文案
（执行器精确匹配、附件守卫、VM 状态文案、列表徽标）；列表
行新增 VM 已报告死亡徽标；详情对全部 CHV 任务显示 VM 行
（已报告死亡/未报告死亡，不猜 live）；WorkersSection 与成本
卡沿用已有数据，不新开池管理/成本页；服务端未新增第二个
生命周期字段（持久化事实只有三项，chv_vm_dead 已是完整派生），
只把派生抽成 _chv_vm_dead_from_row 并补 goal 回落形态测试。
 2026-11-08 09:44:34 +00:00
host 56a6241bbe feat(chv): 架构与代码质量 9.5+ 提升——长函数清零、WarmPool facade、#215 对齐、审计计数、只读 VM 字段、ADR-8~11 2026-11-08 09:43:59 +00:00
host 57cf397fe7 feat(chv): 架构与代码质量提升——WarmPool 定案、长函数提取、严格测试替身、Docker 同步守卫、配置统一校验、类型注解与 ADR 
堆叠于 #246（feat-chv-secfix），只到 PR OPEN，未合并、未部署。
安全语义不变：egress、key seed 投递、磁盘删除、默认 provisioned、
tap 校验一律保留；前端零改动。
- WarmPool 定案为实验性（ADR-5）：dispatch 永远冷启动，
  wired_to_dispatch 恒 False，acquire/resume 只保留实验接口，
  worker 仍调 reconcile_orphans 清理残留。
- 长函数提取：preflight 126→31、wake_vm 135→36、__init__ 69→31、
  build_chv_config 159→58；错误文案逐字不变。
- 严格测试替身：fake API 校验 VmConfig（任务盘+seed 盘、net
  无重复），fake SSH 校验 known_hosts 钉死；新增 5 项测试。
- Docker 同步守卫：8 个真实标记用例下 Docker 内联版与正典
  parse_goal_result 状态全等，改分叉即 fail。
- 配置统一校验：preflight 以 config_invalid 统一兜底端口/配额/
  超时/快照/host-key 模式（构造时已校验正常值，preflight 兜底
  事后改写）；CHV_NET 与 CHV_NET_JSON 双设仍警告不硬拒。
- 类型与 lint：chv 叶子模块公开 API 补类型注解；stdlib 扫描
  揪出 executor 内 1 个真死 import（host_key_paths）并删除。
- ADR：docs/chv-architecture.md（ADR-1 至 ADR-7）。
测试：CHV 163 项全过；cloud 全量 1593 项三跑结果为 8 errors
（首跑详细日志因 tail 截断丢失）、全过、1 失败（浏览器代理
时序测试，与 CHV 无关），全量本身存在时序偶发，CHV 套件
确定性全过。
 2026-11-08 09:43:17 +00:00
host 6a74d0182c feat(chv): 安全审计修复 High/Medium/Low（堆叠于 #239） 
审计报告 ~/workspace/chv-security-audit/REPORT.md（No-Go，
Critical 0 / High 7 / Medium 8 / Low 5）代码层修复，mock
测试覆盖，真机动态验证一律未做、只列清单（见
docs/chv-production-readiness.md §11）。

High：
- H1 egress 代码门：代理地址校验、直连显式允许+审计、
  每 VM 独立 tap/mac/ip 校验、net 字段白名单；宿主防火墙
  列为部署清单，代码门+防火墙缺一不可。
- H2 网关 key 移出 argv：provisioned seed 盘客内文件
  /etc/chv/guest-env（0600）投递，传输层密钥进 argv 直接
  ValueError；keyscan 模式密钥投递 fail-closed。
- H3 任务盘删除：stop/recycle/cleanup 删 disk.raw（保留期
  0）+ 残留盘 GC，删失败审计+脏标记。
- H4 默认值改 provisioned：keyscan 只作显式 opt-in。
- H5 seed.iso 生成即 0600；宿主私钥 seed 盘建好后即删；
  崩溃残留扫描 cleanup_stale_secrets。
- H6 state_dir 默认出 /tmp（~/.local/share/.../chv-vms，
  preflight 保 0700）；api-socket 组/其它可写即 fail-fast。
- H7 tap 隔离校验：net.json 登记+stop 释放，共享即拒绝审计。
Medium：M1 shlex 远程转义；M2 清理失败即拒起（脏标记）；
M3 配额默认 50GB + 快照数/总量/保留期上限；M4 SHA256 必填
+ BUILDINFO versions 实测记录（事前 lockfile 列清单）；
M5 host key/ preflight/失败审计补齐；M6 reuse 须声明单租户
项目；M7 容量计数只认连通 socket；M8 sshd 加固进 build.sh
断言。Low：L1 链接不跟随；L2 路径白名单；L3 失败审计；
L4 双变量警告+字段白名单；L5 预热盘/任务盘对应关系定义。
旧测试：实验室默认值与生产默认值区分标注；行为已变的旧
测试按新语义更新（容量死 socket、快照白名单、磁盘路径
白名单、网关 argv、reuse 租户声明）。
测试：新 test_chv_secfix 39 项；旧 117 项 + 2 项新增断言 =
158 项；worker 相关 129 项；前端 vitest 9 项；cloud 全量
1588 项（skipped 4）。
 2026-11-08 09:43:17 +00:00
host 7320d693ba feat: CHV 审核修复 P2（范围恢复为全做） 
P2-1：preflight reuse/CPU/内存校验块小提取为
_preflight_config_checks（纯移动，深耦合处如实停）。
P2-2：build_vm_command 降级为私有 _build_vm_command；
Docker goal 内联解析顶部加正典分叉说明 + 同步检查清单。
P2-3：gaps grep 文本断言改成真实 Worker._run_attempt
行为断言。P2-4：README/build.sh 口径对齐（章节顺序、
BUILDINFO 名字列表、Node.js 不装写实）。P2-5：stop_vm
删除失败记审计。P2-6：CPU/内存校验统一进 preflight。
测试：原 84 + 新增 33 = 117 项，mock，无真 VM。
 2026-11-08 09:40:32 +00:00
host 7703695bad feat: CHV 审核修复（P0+P1，堆叠于 #230） 
P0：seed 磁盘 CIDATA ISO 挂进 VmConfig 第二块只读盘；
restore provisioned 下复用钉死 known_hosts、缺失 fail-fast
绝不 keyscan；preflight 拦截 CHV_DISK_MODE=reuse（显式
实验二次确认 + 审计放行）；SSH 目标选客机 IP 方案（显式
host > net 静态 ip > 显式转发宣称回环，三者皆无 fail-fast）。
P1：网关 extra_env 经 SSH env 前缀注入、worker 守卫收窄到
Local/CHV；取消/清理/看门狗接 CHV 通用路径；WarmPool
acquire 内 resume；容量门持久化计数；磁盘配额总量+余量
与已存在磁盘校验重拷；API 按 Content-Length 验完整性；
快照 file:// 验落盘再 shutdown；execute 死端口归类
vm_not_running。
P2 全部排除未做（用户范围收窄令，留待以后一轨）。
测试：原 84 + 新增 29 = 113 项，mock，无真 VM。
 2026-11-08 09:40:32 +00:00
host f8f2034265 feat: CHV gap fill — worker breakpoint wiring, pool reconcile, per-VM host keys, egress validation, guest build script 
Stack: #216 -> #221 -> this. Worker breakpoint branch now calls any
executor providing goal_resume_breakpoint_task (Local keeps its
original path, gateway tasks still loud-fail); WarmPool
reconcile_orphans is called on CHV worker startup and close with
audit-on-failure; per-VM SSH host keys are provisioned before VMM
start via cloud-init NoCloud seed (keyscan kept only as weak
fallback, CHV_HOST_KEY_MODE=provisioned|keyscan); CHV_NET_JSON is
validated in preflight and explicit direct egress is audited;
chv-guest/build.sh is now real steps with --dry-run and fails fast
without /dev/kvm. Tests: new test_chv_gaps.py (18), cloud full
1514 OK (skipped=4). No real VM verification: no KVM host.
 2026-11-08 09:40:09 +00:00
host e2a70da5e1 feat: CHV 执行器优化（拆模块/去重复/SSH 钉死/池持久化/中途死亡分类） 
- 拆模块：CHV 从 cloud/sandbox.py 巨类拆到 cloud/chv/（executor/
  pool/config/api_client/ssh_transport/disk/errors），sandbox 只留
  兼容 re-export，旧导入路径与新路径是同一对象
- 去重复：goal 解析、host 顶层参数、runner 超时抽成共享 helper，
  Local 与 CHV 在矩阵输入下结论全等（Docker goal-resume 变体
  有意保留内联版，见 PR 描述）
- 安全：SSH host key 按 VM 钉死（state_dir/<vm>/known_hosts，
  ssh-keyscan 首次捕获 TOFU），废除 no + /dev/null；CHV_SSH_USER
  空串与 CHV_SSH_PORT 越界直接拒绝，不静默 fallback
- execute 语义：只读已运行 VM，未运行报 vm_not_running，不为
  status 起 VM
- 预热池：registry 落盘、重启载入只当孤儿、reconcile 清理、
  损坏 quarantine；条目仍一次性，绝不复用脏 VM
- 长任务：VM 中途死亡判 interrupted（断点可续跑）；中途心跳
  经评估不做（无客内进度信号可采）
- #215 未合并：只列复用清单，不复制模块

测试：原 42 项 + 新 24 项全过；相关旧套件与 cloud 全量 1496 项
全过（skipped=4）。验证仍是 mock + 干跑 + 单元测试，未做真机、
压测、安全审计；堆叠于 #216 之上，base 为 feat-cloud-hypervisor。
 2026-11-08 09:40:09 +00:00