Files
codex-app-server/deploy/tests/test_host_git_fetch.py
T
host f39ed3654e ci3: lint/mypy 第二阶段清理 + 覆盖率 76% -> 78%(门槛不动)
基底:#251 头 174b631(堆叠于 #242 feat-ci-expand 之上),
基线 origin/main aebc6238;本轨不改 #251 已定语义、不动
workflow 门槛、不删检查、不加 skip。

lint(ruff E,F@120):109 -> 10
- F401 43 -> 0:删未用导入;try/except 双绑定的名字出现
  “打地鼠”(删 except 分支后 try 分支又被标出),两分支
  均已核对正文无引用后清掉;MCP 三模块的 Error 名不删,
  改走 importlib 属性绑定(见下),两路径绑定都保留。
- E702 40 -> 0:全在 host.py main() 的 argparse 段,纯分行,
  tokenize 按分号 token 拆(含 2377 行多行语句只断首个分号);
  一次 5 空格缩进失误已回滚重做并以 ast + 全量 host 测试验证。
- E501 13 -> 0:host.py 5 项随 E702 分行连带清掉;mcp_server
  3 项把描述拆成相邻字面量(AST 比对 24 条工具描述与原值
  完全一致,注意 ruff 按东亚宽度计长,CJK 算 2);test_host
  5 项断开 git commit 参数表。
- E402 8 -> 10:生产侧 2 项清掉(db.py _re、github_app
  _base64 移到顶部,之前无引用、无重名);剩余 10 项全是
  tests/ 的 sys.path 前置 import(6 项旧 + 4 个新测试文件
  沿用同一既定模式),移上去会破坏单文件直跑,有意保留。
- F841 4 -> 0:只去绑定、不删调用(run_task、DB 入队、
  tarfile 上下文、git 提交),各有注释与原测试/新测试覆盖;
  host dispatch_from_branch 新增真实 git 仓库回归测试。
- F811 1 -> 0:server 本地 _row_get 与 peer_messages.row_get
  逐行相同,删本地定义,全部调用点解析到同一 import;
  新增 test_server_row_get(同一对象 + 三路行为)。

mypy(生产范围):24 -> 0,零新增 type: ignore
- no-redef 9 -> 0:MCP 三模块 try/except 两次 from-import
  改 importlib.import_module + 属性绑定(cloud 优先、flat
  copy 回落、内层 ImportError 同样回落,语义与原来一致;
  flat-copy 子进程测试证实回落后 __module__ 为顶层名);
  server _row_get 随 F811 消除。
- arg-type 10 -> 0:harness2_tasks shared 改 TypedDict
  逐键精确类型;CodexProbeAdapter 补 no-op validate_tree
  (_adapter_validate 本就跳过缺失方法,行为一致)。
- var-annotated 3 -> 0:sub2api _SHARED_ADMIN/_login_slots、
  verify-multiuser RESULTS 加精确注解。
- assignment/misc 2 -> 0:marker_tools ZoneInfo 先声明
  Any 再 try import(草稿先验 mypy 通过)。

bandit:总数 286 不变,High 仍 4 项,全在 host.py,本轨不改
(属第 3 项白名单轨范围),只做 triage:
- 1319 run_verify:无插值,整串验测命令,管道/&& 须 shell
  语义(新增 test_host_run_verify 断言管道与 && 真实生效)。
- 1497 notify:模板来自算子配置,三处插值全部 shlex.quote,
  证据为既有 test_notify_failure_quotes_shell_metacharacters
  (; touch 与 $(touch ) 不执行)。
- 2099/2103 goal verify:无插值,任务配置验测串,同 run_verify。
- 无新增 High;pip-audit 0 漏洞。

覆盖率(同口径三套件 coverage 计量):75.96% -> 77.87%
(22392 行/缺 5385 -> 22437 行/缺 4963,显示 76% -> 78%)
- client.py 0% -> 90%(pipe 假子进程 + main 分支)
- run_parallel.py 0% -> 97%、migrate 包装 0% -> 95%
- playwright_mcp 37% -> 62%、imagegen_mcp 47% -> 79%、
  websearch_mcp 51% -> 86%、deploy.py 56% -> 77%
- verify-multiuser 0% -> 27%(仅 check/req helper;main()
  是主机侧真实多用户实弹验证,按门禁不建生产任务、
  不以 mock 冒充,仍为缺口)
- host.py 55% -> 57%(文件 2020 -> 2060 行系 E702 分行
  的计量口径变化,非代码膨胀)
- 未到 85%:门槛保持 75% 不动,不删低覆盖模块出统计口径;
  缺口主力仍是 server.py / worker.py / host.py 大文件,
  下一阶段须针对性深测,非本轨快赢可及。

验证:三套件 1576 -> 1629 项全过(tests 127、cloud/tests
1449 skipped=4、deploy/tests 53);ruff E9 通过;mypy 0;
bandit High 4(同上);pip-audit 0 漏洞;试跑产物已删,
提交后工作树干净。
2026-11-03 02:48:54 +00:00

141 lines
5.6 KiB
Python

"""host_git_fetch.sh 的仿真测试:本地 git 仓库代替 GitHub,不联网、
不碰真实主机、不改生产。
每个用例都在临时目录里建一个小 git 仓库(一个提交),用假
host_deploy.sh 代替真实换目录脚本:假脚本只验 tar sha 与
DEPLOYED_COMMIT,打印 RELEASE_OK,不碰 systemctl、不动 live。
host_git_fetch.sh 的 CODEX_GIT_* 环境变量把工作区指到临时目录。
"""
import os
import subprocess
import tarfile
import tempfile
import unittest
REPO_ROOT = os.path.dirname(os.path.dirname(os.path.dirname(
os.path.abspath(__file__))))
GIT_FETCH_SCRIPT = os.path.join(REPO_ROOT, "deploy", "host_git_fetch.sh")
def _run_git(cwd, *args):
subprocess.run(["git"] + list(args), cwd=cwd, check=True,
capture_output=True, text=True)
def _make_repo(base):
repo = os.path.join(base, "repo")
os.makedirs(repo)
_run_git(repo, "init", "-q")
_run_git(repo, "config", "user.email", "t@t")
_run_git(repo, "config", "user.name", "t")
with open(os.path.join(repo, "hello.py"), "w") as f:
f.write("x = 1\n")
_run_git(repo, "add", ".")
_run_git(repo, "commit", "-qm", "init")
commit = subprocess.run(["git", "rev-parse", "HEAD"], cwd=repo,
capture_output=True, text=True,
check=True).stdout.strip()
return repo, commit
def _make_fake_host_deploy(base):
"""假 host_deploy.sh:验 tar sha + 包内清单,打印 RELEASE_OK。
签名与真实脚本一致:sh host_deploy.sh <tarball> <sha> <commit>。
"""
path = os.path.join(base, "fake_host_deploy.sh")
with open(path, "w") as f:
f.write("#!/bin/sh\n"
"set -eu\n"
"TARBALL=$1; EXPECTED_SHA=$2; EXPECTED_COMMIT=$3\n"
"ACTUAL_SHA=$(sha256sum \"$TARBALL\" | awk '{print $1}')\n"
"if [ \"$ACTUAL_SHA\" != \"$EXPECTED_SHA\" ]; then\n"
" echo \"sha mismatch\" >&2; exit 2\n"
"fi\n"
"TARBALL_COMMIT=$(tar -xzf \"$TARBALL\" -O DEPLOYED_COMMIT "
"| tr -d ' \\n\\r')\n"
"if [ \"$TARBALL_COMMIT\" != \"$EXPECTED_COMMIT\" ]; then\n"
" echo \"commit mismatch\" >&2; exit 2\n"
"fi\n"
"echo \"RELEASE_OK commit=$EXPECTED_COMMIT "
"sha=$EXPECTED_SHA backup=/tmp/fake-backup.tar.gz\"\n")
os.chmod(path, 0o644)
return path
class HostGitFetchSim(unittest.TestCase):
def setUp(self):
self.tmp = tempfile.TemporaryDirectory()
self.base = self.tmp.name
self.repo, self.commit = _make_repo(self.base)
self.fake_deploy = _make_fake_host_deploy(self.base)
self.key = os.path.join(self.base, "id_test")
with open(self.key, "w") as f:
f.write("fake-key-material-not-a-real-key\n")
os.chmod(self.key, 0o600)
self.workdir = os.path.join(self.base, "workdir")
self.env = dict(os.environ)
self.env["CODEX_GIT_ALLOW_LOCAL"] = "1"
self.env["CODEX_GIT_WORKDIR"] = self.workdir
self.env["CODEX_GIT_TIMEOUT"] = "30"
self.env["CODEX_GIT_ATTEMPTS"] = "1"
self.env["CODEX_GIT_SLEEP"] = "0"
def tearDown(self):
self.tmp.cleanup()
def _run_fetch(self, repo, commit, key=None, deploy=None):
return subprocess.run(
["sh", GIT_FETCH_SCRIPT, repo, commit,
key or self.key, deploy or self.fake_deploy],
capture_output=True, text=True, env=self.env)
def test_success_builds_tar_with_clean_member_names(self):
r = self._run_fetch(self.repo, self.commit)
self.assertEqual(r.returncode, 0, r.stdout + r.stderr)
self.assertIn("RELEASE_OK commit=%s" % self.commit, r.stdout)
tarball = os.path.join(
self.workdir, "codex-app-server-%s.tar.gz" % self.commit)
self.assertTrue(os.path.isfile(tarball))
with tarfile.open(tarball, "r:gz") as tf:
names = tf.getnames()
# 关键:成员名不带 ./ 前缀,否则真实 host_deploy.sh 的
# tar -O DEPLOYED_COMMIT 找不到成员、会误判清单不符。
self.assertIn("DEPLOYED_COMMIT", names)
self.assertIn("RELEASE.json", names)
self.assertIn("hello.py", names)
self.assertNotIn(".git", names)
self.assertFalse(any(n.startswith("./") and n != "./"
for n in names))
def test_unknown_commit_fails_before_host_deploy(self):
# 40 位完整 sha 但不在仓库里:checkout 失败,host_deploy
# 绝不能被调到(假脚本被调到时会在 workdir 留标记文件,
# 这里直接断言退出码非零即可,live 未动是脚本结构保证)。
r = self._run_fetch(self.repo, "0" * 40)
self.assertNotEqual(r.returncode, 0)
def test_key_with_wrong_permissions_refuses(self):
os.chmod(self.key, 0o644)
r = self._run_fetch(self.repo, self.commit)
self.assertEqual(r.returncode, 2)
self.assertIn("0600", r.stderr + r.stdout)
def test_missing_key_refuses(self):
r = self._run_fetch(self.repo, self.commit,
key=os.path.join(self.base, "no-such-key"))
self.assertEqual(r.returncode, 2)
def test_https_repo_refuses(self):
r = self._run_fetch(
"https://github.com/openqj/codex-app-server.git", self.commit)
self.assertEqual(r.returncode, 2)
def test_short_commit_refuses(self):
r = self._run_fetch(self.repo, self.commit[:7])
self.assertEqual(r.returncode, 2)
if __name__ == "__main__":
unittest.main()