admin/codex-app-server
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
454 Commits 3 Branches 0 Tags
8ea54cf66b81a94cf77ef8de7e4ebe341f002359
Commit Graph
8 Commits
Author SHA1 Message Date
host f39ed3654e ci3: lint/mypy 第二阶段清理 + 覆盖率 76% -> 78%（门槛不动） 
基底：#251 头 174b631（堆叠于 #242 feat-ci-expand 之上），
基线 origin/main aebc6238；本轨不改 #251 已定语义、不动
workflow 门槛、不删检查、不加 skip。

lint（ruff E,F@120）：109 -> 10
- F401 43 -> 0：删未用导入；try/except 双绑定的名字出现
  “打地鼠”（删 except 分支后 try 分支又被标出），两分支
  均已核对正文无引用后清掉；MCP 三模块的 Error 名不删，
  改走 importlib 属性绑定（见下），两路径绑定都保留。
- E702 40 -> 0：全在 host.py main() 的 argparse 段，纯分行，
  tokenize 按分号 token 拆（含 2377 行多行语句只断首个分号）；
  一次 5 空格缩进失误已回滚重做并以 ast + 全量 host 测试验证。
- E501 13 -> 0：host.py 5 项随 E702 分行连带清掉；mcp_server
  3 项把描述拆成相邻字面量（AST 比对 24 条工具描述与原值
  完全一致，注意 ruff 按东亚宽度计长，CJK 算 2）；test_host
  5 项断开 git commit 参数表。
- E402 8 -> 10：生产侧 2 项清掉（db.py _re、github_app
  _base64 移到顶部，之前无引用、无重名）；剩余 10 项全是
  tests/ 的 sys.path 前置 import（6 项旧 + 4 个新测试文件
  沿用同一既定模式），移上去会破坏单文件直跑，有意保留。
- F841 4 -> 0：只去绑定、不删调用（run_task、DB 入队、
  tarfile 上下文、git 提交），各有注释与原测试/新测试覆盖；
  host dispatch_from_branch 新增真实 git 仓库回归测试。
- F811 1 -> 0：server 本地 _row_get 与 peer_messages.row_get
  逐行相同，删本地定义，全部调用点解析到同一 import；
  新增 test_server_row_get（同一对象 + 三路行为）。

mypy（生产范围）：24 -> 0，零新增 type: ignore
- no-redef 9 -> 0：MCP 三模块 try/except 两次 from-import
  改 importlib.import_module + 属性绑定（cloud 优先、flat
  copy 回落、内层 ImportError 同样回落，语义与原来一致；
  flat-copy 子进程测试证实回落后 __module__ 为顶层名）；
  server _row_get 随 F811 消除。
- arg-type 10 -> 0：harness2_tasks shared 改 TypedDict
  逐键精确类型；CodexProbeAdapter 补 no-op validate_tree
  （_adapter_validate 本就跳过缺失方法，行为一致）。
- var-annotated 3 -> 0：sub2api _SHARED_ADMIN/_login_slots、
  verify-multiuser RESULTS 加精确注解。
- assignment/misc 2 -> 0：marker_tools ZoneInfo 先声明
  Any 再 try import（草稿先验 mypy 通过）。

bandit：总数 286 不变，High 仍 4 项，全在 host.py，本轨不改
（属第 3 项白名单轨范围），只做 triage：
- 1319 run_verify：无插值，整串验测命令，管道/&& 须 shell
  语义（新增 test_host_run_verify 断言管道与 && 真实生效）。
- 1497 notify：模板来自算子配置，三处插值全部 shlex.quote，
  证据为既有 test_notify_failure_quotes_shell_metacharacters
  （; touch 与 $(touch ) 不执行）。
- 2099/2103 goal verify：无插值，任务配置验测串，同 run_verify。
- 无新增 High；pip-audit 0 漏洞。

覆盖率（同口径三套件 coverage 计量）：75.96% -> 77.87%
（22392 行/缺 5385 -> 22437 行/缺 4963，显示 76% -> 78%）
- client.py 0% -> 90%（pipe 假子进程 + main 分支）
- run_parallel.py 0% -> 97%、migrate 包装 0% -> 95%
- playwright_mcp 37% -> 62%、imagegen_mcp 47% -> 79%、
  websearch_mcp 51% -> 86%、deploy.py 56% -> 77%
- verify-multiuser 0% -> 27%（仅 check/req helper；main()
  是主机侧真实多用户实弹验证，按门禁不建生产任务、
  不以 mock 冒充，仍为缺口）
- host.py 55% -> 57%（文件 2020 -> 2060 行系 E702 分行
  的计量口径变化，非代码膨胀）
- 未到 85%：门槛保持 75% 不动，不删低覆盖模块出统计口径；
  缺口主力仍是 server.py / worker.py / host.py 大文件，
  下一阶段须针对性深测，非本轨快赢可及。

验证：三套件 1576 -> 1629 项全过（tests 127、cloud/tests
1449 skipped=4、deploy/tests 53）；ruff E9 通过；mypy 0；
bandit High 4（同上）；pip-audit 0 漏洞；试跑产物已删，
提交后工作树干净。
 2026-11-03 02:48:54 +00:00
host 1402dc67fd P1 security batch: quota execution checks, cost accounting, goal/coordinator semantics, PR channel, orphan signature, control-plane and console hardening 
- Docker quota watchdog + fail-closed quota checks, system tasks need real owner
- max_cost_usd actually accumulated, cancel records cost, estimated rows excluded from unpriced cap, cache_write declared non-billed
- goal-resume keeps original verify on breakpoint resume, goal retry falls back to resume, goal_max_rounds capped at 100 at create and execution
- coordinator children inherit parent model/effort, orphans marked interrupted with audit
- PR jobs on docker workers return explicit needs_local_worker instead of silent empty
- worker code signature covers 6 files and is checked before claim, fail-closed
- sub2api lazy provisioning with rotation, backup whitelist + 0600, push SSRF block, repos/workers desensitized, key/project audits and limits, console buttons/quota/status wording, coordinator/automation quota reserve
 2026-10-27 16:27:50 +00:00
host 8c27407b4a fix: 登录限流下开通突发不再硬失败（节流 + 429 重试） 
网关登录端点 20 次/分钟/源 IP，100 路突发开通首测仅 19
成功：同步重试波（2/4/8/16/32 秒）把线程推到下一窗口
开头重测也只到 39 成功。本批两层：
- 进程内登录节流：60 秒窗口最多 15 次，满了等最早名额
  滑出窗口再进（留 5 次给其它进程与人工登录）；注册是
  best-effort，失败仍有 worker 首任务懒开通兜底，故不定
  时提前放弃；
- 429 退避重试保留：用户登录与管理员登录遇 429 时
  2/4/8/16/32 秒 + 抖动重试，最多 6 次，兜底跨进程竞争；
  管理员登录最终失败才清共享缓存。
测试：新增 100 并发单测（预算临时抬高，只验并发正确性）
与 3 个 429 重试单测、1 个节流窗口单测（fake clock）；
单测 setUp/tearDown 清空进程级节流名额，免跨测累积拖慢
套件；全量 cloud 800（4 跳过）、host 69、deploy 19 全绿；
真网关 100 路突发重测 100/100 成功、墙钟 362 秒、临时
用户 100/100 已清。残留：硬保证需共享 Redis 节流，控制
面目前没有 Redis 客户端，未做。
 2026-10-27 23:09:22 +08:00
host 706d5a8ca4 fix: 并发突发下共享管理员会话只登录一次 
首版共享会话在缓存未命中时各线程各自登录：突发冷缓存下
N 路并发开通会在网关刷出 N 次 bcrypt。改为锁内双重检查
登录（RLock 可重入，_login 成功后写回同一缓存）：第一路
登录，其余线程等锁后直接播种。实例本身仍不跨线程，401
时照常走刷新->重登录自愈。
测试：FakeApi 加锁（假实现自身线程安全，失败指向真代码）；
新增 10 线程同起并发单测，断言 10 路全成功且管理员登录
恰好 1 次；全量 cloud 795（4 跳过）、host 69、deploy 19
全绿；真网关 10 路突发实测 0 错误、墙钟 0.774s、临时号
已清。
 2026-10-27 22:24:21 +08:00
host a9ff7cb498 perf: 注册开通复用进程内管理员会话 
实测（真网关）：单次开通链路约 0.29s，其中管理员登录 111ms、
建号 80ms、用户登录 79ms、查组 5ms、发 key 10ms、授余额 9ms。
外部 OAuth 两步为必需串行调用；查组/授余额仅个位数毫秒，
不值得为其加缓存复杂度，故本批只做一项：同一进程内第二
次起的开通复用管理员 token 元组（实例不跨线程，401 时走
刷新->重登录自愈，密码轮换后自动用新密码），免一次登录。
真网关对照：冷开通 0.294s，热开通 0.179s（约 -39%），
对照组每次新登录两次均为 0.255s 左右。
测试：新增共享会话复用/过期重取 2 个；全量 cloud 794
（4 跳过）、host 69、deploy 19 全绿。
 2026-10-27 22:16:43 +08:00
host 4936db3c47 fix: docker 默认 runner 支持 env + 并发开通竞态复用 
翻转实弹暴露的两个 #88 缺口：
- _docker_default_runner 不接受 env，_call_runner 遇 env 即 loud fail，
  导致 sub2api 路径下所有 docker 任务失败（xcmapi 路径不传 env，
  此前未暴露）。默认 runner 现接受 env 并与进程环境合并后传给
  docker CLI 子进程（-e <名> 由此解析，值绝不进 argv）。
- 同一用户两任务并发开通时建号撞 email 已存在：现轮询复用
  胜出者入库的行，等不到再原错抛出。
测试：sub2api 16、docker 沙箱 29；全量 cloud 789（4 跳过）、
host 65、deploy 19 全绿。
 2026-10-27 17:59:04 +08:00
host dbfa026a4e sub2api 开通授初始余额：余额为 0 的 key 在网关侧直接 403 2026-10-27 17:22:54 +08:00
host ec47328d3c sub2api 网关接入：每用户独立账号 + 任务注入 + 网关可配置 
- cloud/sub2api.py：管理 API 客户端（管理员登录/token 刷新/
  建用户/以用户发 key/删用户/查组/网关模型目录）+ 幂等开通
  ensure_user_gateway_key（入库失败尽力清理孤儿 key 与账号）
- worker：网关门（sub2api 时按 created_by 幂等开通，失败任务
  直接 failed；协调员子任务跟父任务属主）+ 默认模型走网关
  目录首个；三条执行路径（Local popen/同步、Docker 同步）注
  入任务级 env 与 --model-provider；NO_PROXY 追加网关 host
- host.py：--model-provider，sub2api 时以 -c 注入 provider 表
  （不改租户 config.toml）；未配 SUB2API_BASE_URL 时 loud fail
- sandbox：Local/Docker 执行器传 --model-provider 与任务 env；
  docker 密钥只传名（-e SUB2API_API_KEY），值由 CLI 子进程
  环境提供，绝不进 argv；runner 不支持 env 时 loud fail
- server：OAuth 建号 best-effort 开通；/relay/models 走调用者
  自己的网关模型目录；init_db 补 user_gateway_keys 表
- 测试：新单测 11 个；全量 cloud 679（4 跳过）、host 65、
  deploy 19 全过
- 诚实边界：真模型调用实弹需上游账号挂组后才做；切流前
  xcmapi 保持现网
 2026-10-27 17:22:54 +08:00