admin/codex-app-server
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
446 Commits 9 Branches 0 Tags
1c8fc3f7c8ce40d815d74fa13865b83ba0a1c12e
Commit Graph
18 Commits
Author SHA1 Message Date
host 1c8fc3f7c8 对齐 Muse P4：浏览器完全对齐（CDP broker 单元外 + a11y-tree-only + 确定性分类器） 
- chv-guest/chv-cdp-broker.py（新）：单元外 CDP broker，用户 chv-browser，
  独家 chromium.launch(headless=True, args=LAUNCH_ARGS)；启动参数白名单
  无 --remote-debugging-port、无 devtools；导航前 URL 校验 + 拦截名单；
  快照恒带 untrusted_input 与 injection_flags；高风险表单在页时 open
  即 ask 入队；观测到导航 POST 自动暂停；命中拦截规则的下载取消 + 暂停
  + ask；全部回包与错误经 sanitize_error + response_leaks 检查。
- chv-guest/chv-browser.py（P2 版重构）：改为 broker 客户端，不再直连
  Playwright（本文件无 playwright import），保留 URL 校验 + 快照截断
  作为第二层防线；暂停状态与 broker 同步。
- chv-guest/chv_browser_guard.py（新）：纯 stdlib 共享规则——validate_url、
  拦截名单加载/匹配、快照截断、错误消毒（去 HTML、截断 200 字符、凭据形
  key=value 与 sk- 形 token 打码）、注入启发式（中英文各 6 条）、表单风险
  扫描、下载扫描（可执行扩展名）、文件型 ask 队列（pending/allowed/denied，
  与 P3 ApprovalQueue 同语义）、启动参数与回包泄露检查、脚本注入面
  禁止清单（FORBIDDEN_PAGE_ATTRS/FORBIDDEN_OPS）。
- chv-guest/browser-blocklist.txt（新）：静态拦截名单；首版只有 RFC 2606
  .test 自测条目，生产条目由运维构建时填入，无在线更新。
- chv-guest/build.sh/buildinfo.py：P2 三脚本 + P4 三文件纳入镜像与
  buildinfo；新增 chv-cdp-broker.service 与 /run/chv/ask-queue tmpfiles。
- docs/chv-muse-p4-gap.md（新）：现状 vs Muse 官方要求差距表、改动、
  诚实边界、P2 合入约定、真机待验证清单（round 12）。
- docs/chv-production-readiness.md：补 §15（P4 一节；编号合入时若与
  P2 的 §15 撞，顺延）。
- cloud/tests/test_chv_muse_p4.py（新，36 项）：guard 单元、AST 钉住
  禁止属性、假 Playwright broker 测试、假 broker agent 测试、真 Unix
  socket 联调、buildinfo/build 干跑断言；含否定测试（evaluate 被拒、
  DOM 外泄被拒、DevTools 不可达、私有地址被拒、高风险表单被拦、
  注入文本被标注）。

测试：P4 新测试 36/36；全量 cloud 套件 1903 项，两次连续全过
（skipped=8）。附记：第一次全量跑出 1 个失败但输出未保留、后两次
均未复现，疑为时序抖动，未追认。
真机验证未做：排队等 round-11/第三棒释放 100.65.51.33，清单见 gap
表 §5。本地提交，未推未合未部署。
 2026-11-06 22:36:56 +00:00
host 2ad29eeb1f feat(chv-guest): M4 Chromium 单独钉死 + /app 收紧为最小集 
- Chromium 钉死：CHROMIUM_HEADLESS_SHELL_REV（纯数字修订号）
  设即钉死，buildinfo.py 校验读回的 ms-playwright 缓存目录名
  须恰好是该修订号，否则构建失败；generate/check 的 --verify
  也复核；未设时只记录、构建输出明说未钉死，BUILDINFO 记 null
- /app 最小集：build.sh 不再把整个 $REPO_DIR/cloud/ 拷进客机，
  只拷 host.py（只用标准库，不依赖 cloud/）；REPO_DIR 预检
  不再要求 cloud/ 存在
- generate_lockfile.py 只读 BUILDINFO.versions 一事已在 to10 轨
  改写，本棒以合成 BUILDINFO 干跑复核（假版本 9.9.9 进 lockfile，
  宿主 git 1:2.43.0 未混入）并补钉死复核；真实 lockfile 产出
  仍待 V-9 真机构建，不编造版本号
 2026-11-06 18:41:56 +00:00
host 67ca0b86cd fix(chv-guest): seed user-data 不再自带 runcmd，防顶掉镜像钩子 
sync-test 首轮实测：seed 的 runcmd 整体替换了镜像
/etc/cloud/cloud.cfg.d/99-chv-sync.cfg 的 runcmd（cloud-init
不跨配置类型合并，merge_how 救不了 conf.d），chv-sync
boot 钩子静默不跑、启动 clone 没跑。

- hostkeys.build_seed_user_data 不再发 runcmd；chmod 600
  已由 write_files 0600 保证；sshd 重启搬到镜像自己的
  runcmd（cloud-final，sshd 首次启动之后）。
- build.sh：99-chv-sync.cfg 的 runcmd 增加 restart ssh
  一行（在 chv-sync boot 之前）。
- README §5 同步硬性要求；回归测试 2 项（无 runcmd、
  带 secret 仍单 write_files 列表无 runcmd）。
- 针对性 147 项全过（test_chv_to10/gaps/secfix/fix/
  arch95plus）。

本地提交，未推未部署。
 2026-11-06 16:35:14 +00:00
host cbd5ab7c0b fix(chv-guest): 首启缺 key 时才生成 host key（B-23） 
Minimal 底座 cloud.cfg 不含 ssh 模块，build.sh 又写
ssh_genkeytypes: [] 彻底关掉首启生成：客机无 host key、
sshd -t 失败、ssh.service 连败 5 次，SSH 全程不通（真机
冒烟 131s 未通，console 已到 login、ping 通、tap 正常）。
修正：99-chv-hostkey.cfg 改写首启 bootcmd，只在缺
ed25519 key 时 ssh-keygen -A；ssh_deletekeys: false 保留，
绝不重生成已预置的 per-VM key（bootcmd 跑在 seed
write_files 之前，预置 key 随后覆盖生成值）。README §5
同步修正；新增 BuildScriptTest 回归断言。
 2026-11-06 12:05:43 +00:00
host dcb0824f78 fix(chv-guest): 浏览器装系统路径（B-22） 
Round 7 构建本身成功，但 BUILDINFO.versions.chromium 为空：
virt-customize 的客机 shell 里 HOME=/，Playwright 默认缓存
~/.cache/ms-playwright 落到根目录 /.cache（实测浏览器在
/.cache/ms-playwright/chromium_headless_shell-1248），而
build.sh 读的是 /root/.cache/ms-playwright（不存在），ls 读回
空文件；buildinfo.py 当时不校验 chromium 非空，静默放过，
事后 check_lockfile / generate --verify 兜底报未覆盖（exit 1）。
改：安装与读回都走 PLAYWRIGHT_BROWSERS_PATH=
/usr/local/share/ms-playwright（agent 运行时也须设同一变量，
否则 chv 用户在家目录找不到浏览器）；buildinfo.py 加
playwright_browsers_path 字段，并校验 playwright=1 时
versions.chromium 非空；README 同步。
 2026-11-06 10:55:02 +00:00
host 4c8e4eac7b fix(chv-guest): apt 用 --no-install-recommends（B-21） 
Round 6 真机构建在 Playwright 步 ENOSPC 失败：--install 默认装
Recommends，python3-pip 连带拉入 python3-dev → gcc/g++/
build-essential 全套，根分区 2.4G 用到 2.2G（95M 空闲），
headless-shell 下到 70% 写满。改走 --run-command apt-get
install --no-install-recommends，必需项显式列出（fontconfig、
openssh-client），两轮 apt 后 apt-get clean + 清 lists 收尾。
buildinfo contents 与 README 同步加 openssh-client/fontconfig。
 2026-11-06 10:29:59 +00:00
host 5206dfbc43 fix(chv-guest): gt 用绝对路径调用（B-20） 
Round 5 真机构建在 gt 安装步失败：install.sh 已装好
/usr/local/bin/gt，但 virt-customize 的客机 sh 里 PATH 不含
/usr/local/bin，同一 --run-command 链里的 gt version 报
command not found，整个 virt-customize 退出非 0。
改两处为 /usr/local/bin/gt version（安装断言 + 版本读回文件）。
install.sh 自身的 SHA256 校验与二进制下载均已通过，不是下载问题。
 2026-11-06 10:09:02 +00:00
host 4d09518338 feat(chv-guest): 轻量镜像 + Gitea 双向同步（停全量版，改 Ubuntu Minimal） 
- build.sh 改轻量：Ubuntu Minimal 底座、apt 精简（git/ssh/cloud-init/
  python3/pip/curl/ca-certificates/xz-utils/fonts-wqy-microhei）、
  Playwright + chromium-headless-shell、去 B-16 +12G 扩盘；
  加 git + gt 1.0.0（官方 install.sh + SHA256 校验，GITEA_CLI_VERSION
  钉 1.0.0）与 chv-sync 启动钩子（cloud-init runcmd）
- B-19（新发现）：dpkg freeze 的 ${Package} 会被客机 shell 展开
  成空，284 行全空白；加反斜杠转义，探针实测已出真实版本
- buildinfo.py：轻量 contents、chromium-headless-shell、gt_version
- generate/check_lockfile.py：gt/chv-sync 声明来源、headless-shell 映射
- chv-sync.sh（新）：boot/pull/push/status，分叉/脏树失败关闭，
  凭证走 seed 盘 guest-env，不进镜像
- README §1/§2/§3/§4 改轻量口径，新增 §7 Gitea 双向同步
- tests：ChvSyncTest 6 项（本地 bare 仓当远端）；针对性测试 144 项全过
 2026-11-06 09:47:54 +00:00
host 9e60d5dfaa fix(chv-guest): B-18 virt-get-kernel -o 是目录不是文件 
- 第三轮真机构建：virt-customize 全程通过（Playwright 步已过），
  随后 virt-get-kernel -a disk.raw -o $OUT/vmlinux 失败；手动
  查 --help 确认 -o 是 output directory——旧写法会在 OUT 里
  建出 vmlinux 目录，后面的 test -s 文件校验必然失败，即使
  下载成功构建也会失败。
- 修复：-o 改为 $OUT，下载 vmlinuz-<ver> 与 initrd.img-<ver>
  后把 vmlinuz-* 移为 vmlinux 文件；initrd.img-* 留在 OUT 里
  作配套产物（与任务产物清单一致）。
- 同轮里 virt-get-kernel 首跑另报过一次 "file receive
  cancelled by daemon"，同一盘手动重跑即成功（瞬时故障），
  此处失败重跑一次，与 B-05/B-06 重试口径一致。
 2026-11-06 09:01:20 +00:00
host b5e75f156d fix(chv-guest): B-17 Playwright 安装加 --break-system-packages 
- 第二轮真机构建实测：单次 virt-customize 在 playwright 步
  失败，pip3 install --no-cache-dir playwright 在 Ubuntu 24.04
  上报 PEP 668 externally-managed-environment 而拒绝安装；
  随后 python3 -m playwright 报 No module named playwright。
  此前 PLAYWRIGHT 默认 0，该步从未在默认构建里跑过，缺口
  被默认开启暴露出来。
- 修复：playwright 的 pip 安装与第一处 pip 安装同款口径
  （--break-system-packages，失败回落无 flag 再试），且只有
  pip 成功才跑 python3 -m playwright install --with-deps
  chromium（括号分组 + &&，失败即停，不再以 ; 带病续跑）。
- 第二轮中间证据：B-10 步已过（sshd -t 完成、99-chv.conf 与
  cloud-init hostkey 配置已写入、客机 /etc/ssh 无残留 host
  key；dpkg/pip freeze 已写 876/92 行）。
 2026-11-06 08:34:14 +00:00
host 368bccd16e fix(chv-guest): B-16 真机构建扩根分区（云镜像根分区仅 2.4G 会写满） 
- 首轮真机构建实测：单次 virt-customize 在 playwright
  --with-deps 装 g++/make 时报 No space left on device，
  根分区 /dev/sda1 仅 2.4G、已用 97%。
- 修复：qemu-img resize +12G 后 sgdisk 只扩 1 号分区
  （起始扇区实测取，不写死；14/15/16 不动），再 guestfish
  resize2fs；实测根分区 2.4G→14G、可用 12G、编号仍为 sda1。
- 不用 virt-resize：实测它重写分区表、把根分区从 1 号重编号
  为 4 号，而执行器默认 cmdline 是 root=/dev/vda1，重编号后
  无法启动。工具检查清单加 sgdisk、guestfish。
 2026-11-06 07:59:29 +00:00
host 3b41f864e8 test(chv-guest): 构建脚本测试夹具跟进 B-09 新契约 
- 假 codex 二进制须报出版本号（codex --version 核对）
- 假仓库改为真 git 仓库，REPO_COMMIT 取其实测短 hash
  （旧 test123 非 hex，B-03 格式校验本应拒绝）
- 干跑行补 BUILDINFO.json 字样（断言依赖）
另：79ba56b（并行轨）已把 Playwright 改默认开启、单次
virt-customize、补 fonts-noto-cjk，本提交只补测试与干跑
文案，不动构建逻辑
 2026-11-06 15:34:06 +08:00
host 79ba56bd51 feat(chv-guest): Playwright 默认开启、单次 virt-customize、补 fonts-noto-cjk 
- virt-customize 3 次调用合并为 1 次（VC_ARGS 数组按序执行；
  PLAYWRIGHT=0 时仍可显式关掉，freeze 步骤保留兜底）。
- PLAYWRIGHT 默认 0→1：浏览器常驻复用；最终 freeze 在
  Playwright 安装之后（B-08），BUILDINFO.versions.pip 含
  playwright，chromium 目录名照常记录。
- apt 清单加 fonts-noto-cjk（浏览器 CJK 渲染字体，不是 LaTeX；
  xelatex 仍不装）。
- 针对性测试：to10+gaps+secfix 94 项，91 过；3 项失败为
  7f18c2d 已有 fixture 陈旧（REPO_COMMIT=test123 非 hex），
  与本次改动无关，改前改后一致。
 2026-11-06 07:25:15 +00:00
host 7f18c2d13b fix(chv-guest): 客机镜像构建缺口补齐（B-02/B-03/B-04/B-05/B-06/B-07/B-08/B-09/B-10/B-13/B-15） 
- B-10（实测）：virt-customize chroot 里 sshd -t 必败，双因：
  无 host key（exit 1）+ 缺 /run/sshd（exit 255）；修为
  mkdir -p /run/sshd + ssh-keygen -A 临时生成，断言通过后
  立删临时 key，镜像仍不带 host key（已在 WSL 真机预演验证）
- B-08：Playwright 装在第二次定制，须重写 pip freeze 否则
  BUILDINFO 里无 playwright；Chromium 以 ms-playwright 缓存
  目录名记录进 guest-versions-chromium.txt
- B-09：codex --version 须含 CODEX_VERSION；REPO_COMMIT 须
  等于 HEAD 短 hash；工作树脏即拒绝构建
- B-02/B-13：BUILDINFO 生成抽成 buildinfo.py（可单元测试），
  补 disk.raw/vmlinux sha256+大小、ubuntu 镜像 sha、cmdline、
  playwright 开关、image_sha256 字段
- generate_lockfile.py 改写：版本唯一来源改为
  BUILDINFO.versions（客机读回），codex 三件套取
  codex_version、/app/host.py 取 repo_commit、chromium 取
  versions.chromium；不再查构建宿主 dpkg/pip（旧方法不成立）
- check_lockfile.py 补强：条目格式、contents 全覆盖、冻结
  清单双向比对
- B-03/B-04 输入格式校验、B-05 curl 重试、B-06 哈希不符
  删文件重下、B-07 磁盘预检、B-15 set -euo pipefail
- 同步改 test_chv_to10.py：generate 不再查宿主，改断言客机
  版本来源 + 不回落宿主
 2026-11-06 15:13:23 +08:00
host baf26beb78 feat(chv): 安全审计修复 High/Medium/Low（堆叠于 #239） 
审计报告 ~/workspace/chv-security-audit/REPORT.md（No-Go，
Critical 0 / High 7 / Medium 8 / Low 5）代码层修复，mock
测试覆盖，真机动态验证一律未做、只列清单（见
docs/chv-production-readiness.md §11）。

High：
- H1 egress 代码门：代理地址校验、直连显式允许+审计、
  每 VM 独立 tap/mac/ip 校验、net 字段白名单；宿主防火墙
  列为部署清单，代码门+防火墙缺一不可。
- H2 网关 key 移出 argv：provisioned seed 盘客内文件
  /etc/chv/guest-env（0600）投递，传输层密钥进 argv 直接
  ValueError；keyscan 模式密钥投递 fail-closed。
- H3 任务盘删除：stop/recycle/cleanup 删 disk.raw（保留期
  0）+ 残留盘 GC，删失败审计+脏标记。
- H4 默认值改 provisioned：keyscan 只作显式 opt-in。
- H5 seed.iso 生成即 0600；宿主私钥 seed 盘建好后即删；
  崩溃残留扫描 cleanup_stale_secrets。
- H6 state_dir 默认出 /tmp（~/.local/share/.../chv-vms，
  preflight 保 0700）；api-socket 组/其它可写即 fail-fast。
- H7 tap 隔离校验：net.json 登记+stop 释放，共享即拒绝审计。
Medium：M1 shlex 远程转义；M2 清理失败即拒起（脏标记）；
M3 配额默认 50GB + 快照数/总量/保留期上限；M4 SHA256 必填
+ BUILDINFO versions 实测记录（事前 lockfile 列清单）；
M5 host key/ preflight/失败审计补齐；M6 reuse 须声明单租户
项目；M7 容量计数只认连通 socket；M8 sshd 加固进 build.sh
断言。Low：L1 链接不跟随；L2 路径白名单；L3 失败审计；
L4 双变量警告+字段白名单；L5 预热盘/任务盘对应关系定义。
旧测试：实验室默认值与生产默认值区分标注；行为已变的旧
测试按新语义更新（容量死 socket、快照白名单、磁盘路径
白名单、网关 argv、reuse 租户声明）。
测试：新 test_chv_secfix 39 项；旧 117 项 + 2 项新增断言 =
158 项；worker 相关 129 项；前端 vitest 9 项；cloud 全量
1588 项（skipped 4）。
 2026-10-31 03:02:10 +00:00
host 445376743d feat: CHV 审核修复 P2（范围恢复为全做） 
P2-1：preflight reuse/CPU/内存校验块小提取为
_preflight_config_checks（纯移动，深耦合处如实停）。
P2-2：build_vm_command 降级为私有 _build_vm_command；
Docker goal 内联解析顶部加正典分叉说明 + 同步检查清单。
P2-3：gaps grep 文本断言改成真实 Worker._run_attempt
行为断言。P2-4：README/build.sh 口径对齐（章节顺序、
BUILDINFO 名字列表、Node.js 不装写实）。P2-5：stop_vm
删除失败记审计。P2-6：CPU/内存校验统一进 preflight。
测试：原 84 + 新增 33 = 117 项，mock，无真 VM。
 2026-10-31 02:01:03 +00:00
host 22b83f118a feat: CHV gap fill — worker breakpoint wiring, pool reconcile, per-VM host keys, egress validation, guest build script 
Stack: #216 -> #221 -> this. Worker breakpoint branch now calls any
executor providing goal_resume_breakpoint_task (Local keeps its
original path, gateway tasks still loud-fail); WarmPool
reconcile_orphans is called on CHV worker startup and close with
audit-on-failure; per-VM SSH host keys are provisioned before VMM
start via cloud-init NoCloud seed (keyscan kept only as weak
fallback, CHV_HOST_KEY_MODE=provisioned|keyscan); CHV_NET_JSON is
validated in preflight and explicit direct egress is audited;
chv-guest/build.sh is now real steps with --dry-run and fails fast
without /dev/kvm. Tests: new test_chv_gaps.py (18), cloud full
1514 OK (skipped=4). No real VM verification: no KVM host.
 2026-10-31 01:30:52 +00:00
host c371bbdf1e feat: Cloud Hypervisor 执行器生产级 v1（cloud-hypervisor） 
单任务单 VM：API 唤醒（preflight→vmm.ping→vm.create→vm.boot→SSH 就绪）、
暂停/快照/休眠等价/关闭/回收、预热快照池、每任务磁盘 copy、容量与磁盘配额门、
受控 egress fail-closed、VM 事件审计与分类失败；worker/server/autoscaler 接线
（executor=cloud-hypervisor，任务内 LLM 不可自选）；默认关闭，不进生产路由。
未做真实 VM 验证：生产主机与本 VM 均无 /dev/kvm、无嵌套虚拟化，验证为 mock +
干跑命令 + 单元测试；真 VM、快照恢复、压测、安全审计见
docs/chv-production-readiness.md。CI 账单故障仍是硬门禁，本提交只到 PR OPEN。
 2026-10-30 18:54:16 +00:00