基底:#251 头 174b631(堆叠于 #242 feat-ci-expand 之上), 基线 origin/main aebc6238;本轨不改 #251 已定语义、不动 workflow 门槛、不删检查、不加 skip。 lint(ruff E,F@120):109 -> 10 - F401 43 -> 0:删未用导入;try/except 双绑定的名字出现 “打地鼠”(删 except 分支后 try 分支又被标出),两分支 均已核对正文无引用后清掉;MCP 三模块的 Error 名不删, 改走 importlib 属性绑定(见下),两路径绑定都保留。 - E702 40 -> 0:全在 host.py main() 的 argparse 段,纯分行, tokenize 按分号 token 拆(含 2377 行多行语句只断首个分号); 一次 5 空格缩进失误已回滚重做并以 ast + 全量 host 测试验证。 - E501 13 -> 0:host.py 5 项随 E702 分行连带清掉;mcp_server 3 项把描述拆成相邻字面量(AST 比对 24 条工具描述与原值 完全一致,注意 ruff 按东亚宽度计长,CJK 算 2);test_host 5 项断开 git commit 参数表。 - E402 8 -> 10:生产侧 2 项清掉(db.py _re、github_app _base64 移到顶部,之前无引用、无重名);剩余 10 项全是 tests/ 的 sys.path 前置 import(6 项旧 + 4 个新测试文件 沿用同一既定模式),移上去会破坏单文件直跑,有意保留。 - F841 4 -> 0:只去绑定、不删调用(run_task、DB 入队、 tarfile 上下文、git 提交),各有注释与原测试/新测试覆盖; host dispatch_from_branch 新增真实 git 仓库回归测试。 - F811 1 -> 0:server 本地 _row_get 与 peer_messages.row_get 逐行相同,删本地定义,全部调用点解析到同一 import; 新增 test_server_row_get(同一对象 + 三路行为)。 mypy(生产范围):24 -> 0,零新增 type: ignore - no-redef 9 -> 0:MCP 三模块 try/except 两次 from-import 改 importlib.import_module + 属性绑定(cloud 优先、flat copy 回落、内层 ImportError 同样回落,语义与原来一致; flat-copy 子进程测试证实回落后 __module__ 为顶层名); server _row_get 随 F811 消除。 - arg-type 10 -> 0:harness2_tasks shared 改 TypedDict 逐键精确类型;CodexProbeAdapter 补 no-op validate_tree (_adapter_validate 本就跳过缺失方法,行为一致)。 - var-annotated 3 -> 0:sub2api _SHARED_ADMIN/_login_slots、 verify-multiuser RESULTS 加精确注解。 - assignment/misc 2 -> 0:marker_tools ZoneInfo 先声明 Any 再 try import(草稿先验 mypy 通过)。 bandit:总数 286 不变,High 仍 4 项,全在 host.py,本轨不改 (属第 3 项白名单轨范围),只做 triage: - 1319 run_verify:无插值,整串验测命令,管道/&& 须 shell 语义(新增 test_host_run_verify 断言管道与 && 真实生效)。 - 1497 notify:模板来自算子配置,三处插值全部 shlex.quote, 证据为既有 test_notify_failure_quotes_shell_metacharacters (; touch 与 $(touch ) 不执行)。 - 2099/2103 goal verify:无插值,任务配置验测串,同 run_verify。 - 无新增 High;pip-audit 0 漏洞。 覆盖率(同口径三套件 coverage 计量):75.96% -> 77.87% (22392 行/缺 5385 -> 22437 行/缺 4963,显示 76% -> 78%) - client.py 0% -> 90%(pipe 假子进程 + main 分支) - run_parallel.py 0% -> 97%、migrate 包装 0% -> 95% - playwright_mcp 37% -> 62%、imagegen_mcp 47% -> 79%、 websearch_mcp 51% -> 86%、deploy.py 56% -> 77% - verify-multiuser 0% -> 27%(仅 check/req helper;main() 是主机侧真实多用户实弹验证,按门禁不建生产任务、 不以 mock 冒充,仍为缺口) - host.py 55% -> 57%(文件 2020 -> 2060 行系 E702 分行 的计量口径变化,非代码膨胀) - 未到 85%:门槛保持 75% 不动,不删低覆盖模块出统计口径; 缺口主力仍是 server.py / worker.py / host.py 大文件, 下一阶段须针对性深测,非本轨快赢可及。 验证:三套件 1576 -> 1629 项全过(tests 127、cloud/tests 1449 skipped=4、deploy/tests 53);ruff E9 通过;mypy 0; bandit High 4(同上);pip-audit 0 漏洞;试跑产物已删, 提交后工作树干净。
141 lines
5.6 KiB
Python
141 lines
5.6 KiB
Python
"""host_git_fetch.sh 的仿真测试:本地 git 仓库代替 GitHub,不联网、
|
|
不碰真实主机、不改生产。
|
|
|
|
每个用例都在临时目录里建一个小 git 仓库(一个提交),用假
|
|
host_deploy.sh 代替真实换目录脚本:假脚本只验 tar sha 与
|
|
DEPLOYED_COMMIT,打印 RELEASE_OK,不碰 systemctl、不动 live。
|
|
host_git_fetch.sh 的 CODEX_GIT_* 环境变量把工作区指到临时目录。
|
|
"""
|
|
import os
|
|
import subprocess
|
|
import tarfile
|
|
import tempfile
|
|
import unittest
|
|
|
|
REPO_ROOT = os.path.dirname(os.path.dirname(os.path.dirname(
|
|
os.path.abspath(__file__))))
|
|
GIT_FETCH_SCRIPT = os.path.join(REPO_ROOT, "deploy", "host_git_fetch.sh")
|
|
|
|
|
|
def _run_git(cwd, *args):
|
|
subprocess.run(["git"] + list(args), cwd=cwd, check=True,
|
|
capture_output=True, text=True)
|
|
|
|
|
|
def _make_repo(base):
|
|
repo = os.path.join(base, "repo")
|
|
os.makedirs(repo)
|
|
_run_git(repo, "init", "-q")
|
|
_run_git(repo, "config", "user.email", "t@t")
|
|
_run_git(repo, "config", "user.name", "t")
|
|
with open(os.path.join(repo, "hello.py"), "w") as f:
|
|
f.write("x = 1\n")
|
|
_run_git(repo, "add", ".")
|
|
_run_git(repo, "commit", "-qm", "init")
|
|
commit = subprocess.run(["git", "rev-parse", "HEAD"], cwd=repo,
|
|
capture_output=True, text=True,
|
|
check=True).stdout.strip()
|
|
return repo, commit
|
|
|
|
|
|
def _make_fake_host_deploy(base):
|
|
"""假 host_deploy.sh:验 tar sha + 包内清单,打印 RELEASE_OK。
|
|
|
|
签名与真实脚本一致:sh host_deploy.sh <tarball> <sha> <commit>。
|
|
"""
|
|
path = os.path.join(base, "fake_host_deploy.sh")
|
|
with open(path, "w") as f:
|
|
f.write("#!/bin/sh\n"
|
|
"set -eu\n"
|
|
"TARBALL=$1; EXPECTED_SHA=$2; EXPECTED_COMMIT=$3\n"
|
|
"ACTUAL_SHA=$(sha256sum \"$TARBALL\" | awk '{print $1}')\n"
|
|
"if [ \"$ACTUAL_SHA\" != \"$EXPECTED_SHA\" ]; then\n"
|
|
" echo \"sha mismatch\" >&2; exit 2\n"
|
|
"fi\n"
|
|
"TARBALL_COMMIT=$(tar -xzf \"$TARBALL\" -O DEPLOYED_COMMIT "
|
|
"| tr -d ' \\n\\r')\n"
|
|
"if [ \"$TARBALL_COMMIT\" != \"$EXPECTED_COMMIT\" ]; then\n"
|
|
" echo \"commit mismatch\" >&2; exit 2\n"
|
|
"fi\n"
|
|
"echo \"RELEASE_OK commit=$EXPECTED_COMMIT "
|
|
"sha=$EXPECTED_SHA backup=/tmp/fake-backup.tar.gz\"\n")
|
|
os.chmod(path, 0o644)
|
|
return path
|
|
|
|
|
|
class HostGitFetchSim(unittest.TestCase):
|
|
def setUp(self):
|
|
self.tmp = tempfile.TemporaryDirectory()
|
|
self.base = self.tmp.name
|
|
self.repo, self.commit = _make_repo(self.base)
|
|
self.fake_deploy = _make_fake_host_deploy(self.base)
|
|
self.key = os.path.join(self.base, "id_test")
|
|
with open(self.key, "w") as f:
|
|
f.write("fake-key-material-not-a-real-key\n")
|
|
os.chmod(self.key, 0o600)
|
|
self.workdir = os.path.join(self.base, "workdir")
|
|
self.env = dict(os.environ)
|
|
self.env["CODEX_GIT_ALLOW_LOCAL"] = "1"
|
|
self.env["CODEX_GIT_WORKDIR"] = self.workdir
|
|
self.env["CODEX_GIT_TIMEOUT"] = "30"
|
|
self.env["CODEX_GIT_ATTEMPTS"] = "1"
|
|
self.env["CODEX_GIT_SLEEP"] = "0"
|
|
|
|
def tearDown(self):
|
|
self.tmp.cleanup()
|
|
|
|
def _run_fetch(self, repo, commit, key=None, deploy=None):
|
|
return subprocess.run(
|
|
["sh", GIT_FETCH_SCRIPT, repo, commit,
|
|
key or self.key, deploy or self.fake_deploy],
|
|
capture_output=True, text=True, env=self.env)
|
|
|
|
def test_success_builds_tar_with_clean_member_names(self):
|
|
r = self._run_fetch(self.repo, self.commit)
|
|
self.assertEqual(r.returncode, 0, r.stdout + r.stderr)
|
|
self.assertIn("RELEASE_OK commit=%s" % self.commit, r.stdout)
|
|
tarball = os.path.join(
|
|
self.workdir, "codex-app-server-%s.tar.gz" % self.commit)
|
|
self.assertTrue(os.path.isfile(tarball))
|
|
with tarfile.open(tarball, "r:gz") as tf:
|
|
names = tf.getnames()
|
|
# 关键:成员名不带 ./ 前缀,否则真实 host_deploy.sh 的
|
|
# tar -O DEPLOYED_COMMIT 找不到成员、会误判清单不符。
|
|
self.assertIn("DEPLOYED_COMMIT", names)
|
|
self.assertIn("RELEASE.json", names)
|
|
self.assertIn("hello.py", names)
|
|
self.assertNotIn(".git", names)
|
|
self.assertFalse(any(n.startswith("./") and n != "./"
|
|
for n in names))
|
|
|
|
def test_unknown_commit_fails_before_host_deploy(self):
|
|
# 40 位完整 sha 但不在仓库里:checkout 失败,host_deploy
|
|
# 绝不能被调到(假脚本被调到时会在 workdir 留标记文件,
|
|
# 这里直接断言退出码非零即可,live 未动是脚本结构保证)。
|
|
r = self._run_fetch(self.repo, "0" * 40)
|
|
self.assertNotEqual(r.returncode, 0)
|
|
|
|
def test_key_with_wrong_permissions_refuses(self):
|
|
os.chmod(self.key, 0o644)
|
|
r = self._run_fetch(self.repo, self.commit)
|
|
self.assertEqual(r.returncode, 2)
|
|
self.assertIn("0600", r.stderr + r.stdout)
|
|
|
|
def test_missing_key_refuses(self):
|
|
r = self._run_fetch(self.repo, self.commit,
|
|
key=os.path.join(self.base, "no-such-key"))
|
|
self.assertEqual(r.returncode, 2)
|
|
|
|
def test_https_repo_refuses(self):
|
|
r = self._run_fetch(
|
|
"https://github.com/openqj/codex-app-server.git", self.commit)
|
|
self.assertEqual(r.returncode, 2)
|
|
|
|
def test_short_commit_refuses(self):
|
|
r = self._run_fetch(self.repo, self.commit[:7])
|
|
self.assertEqual(r.returncode, 2)
|
|
|
|
|
|
if __name__ == "__main__":
|
|
unittest.main()
|