admin/codex-app-server
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
432 Commits 3 Branches 0 Tags
f39ed3654e7ddff9585a8e700fd3bc0966558533
Commit Graph
8 Commits
Author SHA1 Message Date
host f39ed3654e ci3: lint/mypy 第二阶段清理 + 覆盖率 76% -> 78%（门槛不动） 
基底：#251 头 174b631（堆叠于 #242 feat-ci-expand 之上），
基线 origin/main aebc6238；本轨不改 #251 已定语义、不动
workflow 门槛、不删检查、不加 skip。

lint（ruff E,F@120）：109 -> 10
- F401 43 -> 0：删未用导入；try/except 双绑定的名字出现
  “打地鼠”（删 except 分支后 try 分支又被标出），两分支
  均已核对正文无引用后清掉；MCP 三模块的 Error 名不删，
  改走 importlib 属性绑定（见下），两路径绑定都保留。
- E702 40 -> 0：全在 host.py main() 的 argparse 段，纯分行，
  tokenize 按分号 token 拆（含 2377 行多行语句只断首个分号）；
  一次 5 空格缩进失误已回滚重做并以 ast + 全量 host 测试验证。
- E501 13 -> 0：host.py 5 项随 E702 分行连带清掉；mcp_server
  3 项把描述拆成相邻字面量（AST 比对 24 条工具描述与原值
  完全一致，注意 ruff 按东亚宽度计长，CJK 算 2）；test_host
  5 项断开 git commit 参数表。
- E402 8 -> 10：生产侧 2 项清掉（db.py _re、github_app
  _base64 移到顶部，之前无引用、无重名）；剩余 10 项全是
  tests/ 的 sys.path 前置 import（6 项旧 + 4 个新测试文件
  沿用同一既定模式），移上去会破坏单文件直跑，有意保留。
- F841 4 -> 0：只去绑定、不删调用（run_task、DB 入队、
  tarfile 上下文、git 提交），各有注释与原测试/新测试覆盖；
  host dispatch_from_branch 新增真实 git 仓库回归测试。
- F811 1 -> 0：server 本地 _row_get 与 peer_messages.row_get
  逐行相同，删本地定义，全部调用点解析到同一 import；
  新增 test_server_row_get（同一对象 + 三路行为）。

mypy（生产范围）：24 -> 0，零新增 type: ignore
- no-redef 9 -> 0：MCP 三模块 try/except 两次 from-import
  改 importlib.import_module + 属性绑定（cloud 优先、flat
  copy 回落、内层 ImportError 同样回落，语义与原来一致；
  flat-copy 子进程测试证实回落后 __module__ 为顶层名）；
  server _row_get 随 F811 消除。
- arg-type 10 -> 0：harness2_tasks shared 改 TypedDict
  逐键精确类型；CodexProbeAdapter 补 no-op validate_tree
  （_adapter_validate 本就跳过缺失方法，行为一致）。
- var-annotated 3 -> 0：sub2api _SHARED_ADMIN/_login_slots、
  verify-multiuser RESULTS 加精确注解。
- assignment/misc 2 -> 0：marker_tools ZoneInfo 先声明
  Any 再 try import（草稿先验 mypy 通过）。

bandit：总数 286 不变，High 仍 4 项，全在 host.py，本轨不改
（属第 3 项白名单轨范围），只做 triage：
- 1319 run_verify：无插值，整串验测命令，管道/&& 须 shell
  语义（新增 test_host_run_verify 断言管道与 && 真实生效）。
- 1497 notify：模板来自算子配置，三处插值全部 shlex.quote，
  证据为既有 test_notify_failure_quotes_shell_metacharacters
  （; touch 与 $(touch ) 不执行）。
- 2099/2103 goal verify：无插值，任务配置验测串，同 run_verify。
- 无新增 High；pip-audit 0 漏洞。

覆盖率（同口径三套件 coverage 计量）：75.96% -> 77.87%
（22392 行/缺 5385 -> 22437 行/缺 4963，显示 76% -> 78%）
- client.py 0% -> 90%（pipe 假子进程 + main 分支）
- run_parallel.py 0% -> 97%、migrate 包装 0% -> 95%
- playwright_mcp 37% -> 62%、imagegen_mcp 47% -> 79%、
  websearch_mcp 51% -> 86%、deploy.py 56% -> 77%
- verify-multiuser 0% -> 27%（仅 check/req helper；main()
  是主机侧真实多用户实弹验证，按门禁不建生产任务、
  不以 mock 冒充，仍为缺口）
- host.py 55% -> 57%（文件 2020 -> 2060 行系 E702 分行
  的计量口径变化，非代码膨胀）
- 未到 85%：门槛保持 75% 不动，不删低覆盖模块出统计口径；
  缺口主力仍是 server.py / worker.py / host.py 大文件，
  下一阶段须针对性深测，非本轨快赢可及。

验证：三套件 1576 -> 1629 项全过（tests 127、cloud/tests
1449 skipped=4、deploy/tests 53）；ruff E9 通过；mypy 0；
bandit High 4（同上）；pip-audit 0 漏洞；试跑产物已删，
提交后工作树干净。
 2026-11-03 02:48:54 +00:00
host ccb5a8638d feat: 任务详情 LLM 请求数（cost_records 存 completions） 2026-10-30 12:58:41 +08:00
host 1402dc67fd P1 security batch: quota execution checks, cost accounting, goal/coordinator semantics, PR channel, orphan signature, control-plane and console hardening 
- Docker quota watchdog + fail-closed quota checks, system tasks need real owner
- max_cost_usd actually accumulated, cancel records cost, estimated rows excluded from unpriced cap, cache_write declared non-billed
- goal-resume keeps original verify on breakpoint resume, goal retry falls back to resume, goal_max_rounds capped at 100 at create and execution
- coordinator children inherit parent model/effort, orphans marked interrupted with audit
- PR jobs on docker workers return explicit needs_local_worker instead of silent empty
- worker code signature covers 6 files and is checked before claim, fail-closed
- sub2api lazy provisioning with rotation, backup whitelist + 0600, push SSRF block, repos/workers desensitized, key/project audits and limits, console buttons/quota/status wording, coordinator/automation quota reserve
 2026-10-27 16:27:50 +00:00
host 7e081211db 多用户生产级缺口批：sweep 鉴权、默认配额、默认 executor、 无价 token 上限 
- POST /admin/sweep 改走任一项目 maintainer+ 门槛（与备份管理同口径），否则 403，记 admin_sweep 审计；threshold 下限钳 60 秒
- OAuth 建号 created=True 时写默认配额行（默认 $10/月，CLOUD_DEFAULT_QUOTA_USD_MICROS 可调，INSERT OR IGNORE 幂等）；老用户无配额行不受影响
- 建任务未指定且无环境继承时默认 executor=docker（分支继承为空时同理）；CLOUD_DEFAULT_EXECUTOR 可覆盖，空字符串恢复旧行为；命令台下拉默认改为 docker
- 无价模型 token 上限：价目表外模型（默认 terra）成本 usd 为 NULL，USD 配额永不生效；有配额行的用户当月无价 token 达 CLOUD_QUOTA_UNPRICED_TOKEN_CAP（默认 2000 万/月）即停，服务端 402、worker 认领/重试/后续消息同口径；报表仍记 unpriced，不折假美元
- 测试：新增 test_multiuser_gaps 11 个 + test_worker_quota 3 个；全量 cloud 668、host 64、deploy 19 全过
 2026-10-27 17:15:09 +08:00
host 63823fc2e3 逐任务真实成本：上游用量事件 + 价目表计价 
此前每任务只记一条 estimated（字符数/4，金额为空），注释称
host 协议不暴露真实 token 数。本轮实测推翻了该前提：
- account/usage/read 在中继上是死的（要求 ChatGPT 账号登录），
  不是来源，已在 cost.py docstring 写明死胡同
- app-server 每上游补全发 thread/tokenUsage/updated，last 是该次
  补全的用量；中继 5 调用回合实测 last 之和等于最后 total
  （input/output/cached/reasoning 四路都对得上）

实现：host.py run_turn 从事件窗口按 threadId+turnId 汇总用量，
重试/goal 各轮累加，dispatch/run JSON 与 goal 用量行透传；
sandbox 三路解析（dispatch JSON 解析改用完整 stdout，顺带修
了长 text 下 failed 被误判 completed 的潜 bug）；worker 每任务
记一条 actual（重试/fallback 用量累加进同一条），无用量时回落
estimated；cost.py 价目表（默认 OpenAI 挂牌价，env 可覆盖，
无价模型 usd 记 None、报表进 unpriced_actual_tokens 而非 0 美元），
cost_records 加 cached_input_tokens 列（SQLite/PG 两支迁移）；
报表与按天行新增 cached_input_tokens/unpriced_actual_tokens。
测试：host 32、cloud 483 全过。
 2026-10-26 18:41:27 +08:00
host d51c06a900 Worker concurrency (capacity enforced), survival (heartbeat/sweep/drain), retry endpoint 
1. Concurrency: capacity is now a real limit, not display-only.
   run_all with capacity>1 runs a manual thread pool (threading,
   not concurrent.futures: a test in this repo puts cloud/ on
   sys.path, shadowing stdlib queue and breaking
   concurrent.futures' SimpleQueue import). Claim stays CAS, so
   two threads racing one task still yield one owner; max_tasks
   counts dispatched+running to avoid overshoot; stop signals
   stop new claims only, running tasks are drained by run_loop.
   Running state moved from single fields to a _running dict
   (proc/container per task) so cancel kills the right task.
   Docker timeout is now a per-call argument, never a mutated
   shared executor field. CostStore opens a fresh connection per
   record/report (shared sqlite connection is thread-bound and
   raised ProgrammingError under the pool; :memory: keeps the
   shared connection because a fresh one is an empty DB).
   Final status write is CAS on status='running' so a background
   thread cannot overwrite an interrupted task with completed.
2. Survival: run_loop starts a daemon heartbeat thread (every
   30s, refreshes running tasks' last_heartbeat) and sweeps stale
   tasks every round (threshold 300s, best-effort); live tasks
   never go stale now, dead workers' tasks are reclaimed without
   manual /admin/sweep. On exit, run_loop waits up to
   drain_timeout (CLI --drain-timeout, default 60s, inside
   systemd's 90s stop window) for running tasks before killing
   leftovers and marking interrupted.
3. Retry: POST /tasks/{id}/retry (maintainer+, 404/403/409):
   failed/interrupted/merge-failed go back to queued with
   result/error/model cleared, prompt/model/deps kept, CAS
   update, audit task_retried.
Tests: 5 concurrency tests (barrier overlap, serial capacity=1,
max_tasks, wait_for_running, CAS final write), 3 retry tests;
full suites pass.
 2026-10-26 06:46:20 +08:00
host 631580beab cloud: production gaps (worker loop + true cancel, task result columns + migration, DB interface migration, metrics + backup) 2026-10-26 01:53:33 +08:00
host b74d99e959 cloud: production control plane (API, auth/RBAC, queue, sandbox, memory/KB, fallback/cost, webhooks) 2026-10-26 01:23:21 +08:00