admin/codex-app-server
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
490 Commits 3 Branches 0 Tags
24517d922bdcd5fd8ff102cf2faed4cce70b1b70
Commit Graph
32 Commits
Author SHA1 Message Date
host eeb10118d6 feat: tamper-evident audit ledger (hash chain) + dual-column cost view 
- Hash-chain ledger (cloud/ledger.py): prev_hash/entry_hash per record,
  SQLite append-only triggers, UNIQUE prev/entry hash with fail-closed
  retry at the transaction boundary; verify/export (incl. expected-head
  check for tail truncation); legacy audit_log rows marked pre-chain via
  a single ledger_genesis marker, never rewritten.
- AuthStore.audit() writes audit_log + chain entry in one transaction.
- Track-3 interface: audit_verdict / audit_pushback_round /
  audit_rebuild / third-failure assessment / test-change audit /
  meta-review / rebuild-notice entries; per-(module, contract-version)
  failure counts derived from the ledger (pass or completed rebuild
  resets; total > 3 triggers rebuild); acceptance-triggered rebuilds
  require a confirmed user notice.
- Admin read-only endpoints: GET /admin/audit-ledger/verify|export.
- Cost: dual_column_view (priced_usd_micros + billing note, wording
  reused verbatim from PR #212) wired into project/task cost endpoints;
  by-model and per-creator reporting stay in #212, not duplicated here.
- PG schema + migration lists updated for audit_ledger (incl. sequence
  setval alignment).
 2026-11-03 02:49:25 +00:00
host 06710cf47b feat: 沙箱规模——/tmp 顺序加严、注册表寻址与失联精确清理、超时边界抽取 
- Docker /tmp tmpfs 移到全部 -v 之前（父挂载在前，seed 子挂载在后）；
  宿主级 bwrap /tmp 仍宣告未隔离，口径见 tmp_isolation_status()
- workers 表补 host/pid/address（老库幂等补列），心跳透传与保留语义，
  _claim 写 claimed_by_worker；orphaned_containers 精确识别失联容器，
  Worker.cleanup_orphaned_containers 默认只杀 pid_verified 的精确容器名
- docker_run_timeout() 纯函数抽取（行为与原内联一致），README 补边界与
  未验证清单；新增 test_sandbox_scale.py 20 项
 2026-11-03 02:49:25 +00:00
host f39ed3654e ci3: lint/mypy 第二阶段清理 + 覆盖率 76% -> 78%（门槛不动） 
基底：#251 头 174b631（堆叠于 #242 feat-ci-expand 之上），
基线 origin/main aebc6238；本轨不改 #251 已定语义、不动
workflow 门槛、不删检查、不加 skip。

lint（ruff E,F@120）：109 -> 10
- F401 43 -> 0：删未用导入；try/except 双绑定的名字出现
  “打地鼠”（删 except 分支后 try 分支又被标出），两分支
  均已核对正文无引用后清掉；MCP 三模块的 Error 名不删，
  改走 importlib 属性绑定（见下），两路径绑定都保留。
- E702 40 -> 0：全在 host.py main() 的 argparse 段，纯分行，
  tokenize 按分号 token 拆（含 2377 行多行语句只断首个分号）；
  一次 5 空格缩进失误已回滚重做并以 ast + 全量 host 测试验证。
- E501 13 -> 0：host.py 5 项随 E702 分行连带清掉；mcp_server
  3 项把描述拆成相邻字面量（AST 比对 24 条工具描述与原值
  完全一致，注意 ruff 按东亚宽度计长，CJK 算 2）；test_host
  5 项断开 git commit 参数表。
- E402 8 -> 10：生产侧 2 项清掉（db.py _re、github_app
  _base64 移到顶部，之前无引用、无重名）；剩余 10 项全是
  tests/ 的 sys.path 前置 import（6 项旧 + 4 个新测试文件
  沿用同一既定模式），移上去会破坏单文件直跑，有意保留。
- F841 4 -> 0：只去绑定、不删调用（run_task、DB 入队、
  tarfile 上下文、git 提交），各有注释与原测试/新测试覆盖；
  host dispatch_from_branch 新增真实 git 仓库回归测试。
- F811 1 -> 0：server 本地 _row_get 与 peer_messages.row_get
  逐行相同，删本地定义，全部调用点解析到同一 import；
  新增 test_server_row_get（同一对象 + 三路行为）。

mypy（生产范围）：24 -> 0，零新增 type: ignore
- no-redef 9 -> 0：MCP 三模块 try/except 两次 from-import
  改 importlib.import_module + 属性绑定（cloud 优先、flat
  copy 回落、内层 ImportError 同样回落，语义与原来一致；
  flat-copy 子进程测试证实回落后 __module__ 为顶层名）；
  server _row_get 随 F811 消除。
- arg-type 10 -> 0：harness2_tasks shared 改 TypedDict
  逐键精确类型；CodexProbeAdapter 补 no-op validate_tree
  （_adapter_validate 本就跳过缺失方法，行为一致）。
- var-annotated 3 -> 0：sub2api _SHARED_ADMIN/_login_slots、
  verify-multiuser RESULTS 加精确注解。
- assignment/misc 2 -> 0：marker_tools ZoneInfo 先声明
  Any 再 try import（草稿先验 mypy 通过）。

bandit：总数 286 不变，High 仍 4 项，全在 host.py，本轨不改
（属第 3 项白名单轨范围），只做 triage：
- 1319 run_verify：无插值，整串验测命令，管道/&& 须 shell
  语义（新增 test_host_run_verify 断言管道与 && 真实生效）。
- 1497 notify：模板来自算子配置，三处插值全部 shlex.quote，
  证据为既有 test_notify_failure_quotes_shell_metacharacters
  （; touch 与 $(touch ) 不执行）。
- 2099/2103 goal verify：无插值，任务配置验测串，同 run_verify。
- 无新增 High；pip-audit 0 漏洞。

覆盖率（同口径三套件 coverage 计量）：75.96% -> 77.87%
（22392 行/缺 5385 -> 22437 行/缺 4963，显示 76% -> 78%）
- client.py 0% -> 90%（pipe 假子进程 + main 分支）
- run_parallel.py 0% -> 97%、migrate 包装 0% -> 95%
- playwright_mcp 37% -> 62%、imagegen_mcp 47% -> 79%、
  websearch_mcp 51% -> 86%、deploy.py 56% -> 77%
- verify-multiuser 0% -> 27%（仅 check/req helper；main()
  是主机侧真实多用户实弹验证，按门禁不建生产任务、
  不以 mock 冒充，仍为缺口）
- host.py 55% -> 57%（文件 2020 -> 2060 行系 E702 分行
  的计量口径变化，非代码膨胀）
- 未到 85%：门槛保持 75% 不动，不删低覆盖模块出统计口径；
  缺口主力仍是 server.py / worker.py / host.py 大文件，
  下一阶段须针对性深测，非本轨快赢可及。

验证：三套件 1576 -> 1629 项全过（tests 127、cloud/tests
1449 skipped=4、deploy/tests 53）；ruff E9 通过；mypy 0；
bandit High 4（同上）；pip-audit 0 漏洞；试跑产物已删，
提交后工作树干净。
 2026-11-03 02:48:54 +00:00
host b391fe9320 resident P0+P1: DNS-level SSRF pin, batch budget, daily cap/cooldown/retention, PG schema/migration, dual-connection deadlock isolation, retarget baseline reset, proxy and structured failures, metrics 
- DNS 级 SSRF pin：解析后 pin IP 建连，防 DNS 重绑定
- 批量总预算与每日上限/抖动冷却/保留期
- PG schema 与迁移清单
- 双连接死锁隔离
- 改目标重置基线
- 显式代理配置与结构化失败原因
- /metrics resident 口径
 2026-11-02 03:30:57 +00:00
host ccb5a8638d feat: 任务详情 LLM 请求数（cost_records 存 completions） 2026-10-30 12:58:41 +08:00
host 3a06205d8b feat: 跨 worker 真 kill（kill_requests 意图表 + 收殓器）与自动化触发入闸 
机制 A 移植自旧 PR #101（分支 feat-residual-b，头 895e004），
不合旧 PR：旧基线 6e3eb7b 已 CONFLICTING，本批重做到现 main
6d4f87e（#151 合并后）上。

- kill_requests 意图表：cloud/db.py POSTGRES_SCHEMA + migrations
  清单补表；server.ensure_kill_requests_table / request_kill
  （同一任务只留一条 pending，写失败返回 False）；init_db 的
  SQLite 分支补建表（PG 分支由 POSTGRES_SCHEMA 全量建表覆盖）。
- 取消/sweep 写请求 best-effort：_cancel_task 在 commit 后调
  request_kill（失败不挡取消）；sweep_stale_tasks 在同一事务
  内为被扫任务写 system 请求。
- worker 收殓器 _reap_kill_requests：owner 活着（心跳停滞未超
  300 秒，COALESCE(last_heartbeat, updated_at)）绝不抢杀；只
  有 owner 已死且任务仍 interrupted 时，按任务派生容器名
  （executor.container_name，codex-<安全字符任务 id>）在本机
  真杀，绝不按前缀扫、绝不杀自由传入的名字；本机无容器时
  请求照常终结；任务行失踪或已不在 interrupted 时请求直接
  终结；单条异常只记日志。run loop 每轮调一次，放在 sweep
  块外（旧 PR 只在 sweep 块内，sweep 关掉时请求会积压）。
- 自动化入闸只补两条旁路：worker._coord_sync_children 建子任
  务前过 _quota_exceeded（超限跳过建任务、记审计，同一 worker
  内同一分工只记一次）；automations.run_due_automation
  （claim 抢单 -> 配额门 -> 建任务 -> 记产出，超限记
  skipped_quota 不进失败重试）。triage/webhook/续跑/后续/
  分叉未动。
- 单测：旧 PR 三份单测原样移植（Worker/Server 签名与现 main
  兼容，未改用例语义）。
 2026-10-30 01:32:35 +08:00
host 585242fc8f 长任务 P0 三件：断点进库、错误分类+熔断、Run/Step 时间线 
断点进库：task_checkpoints 表（PG 新库 + 老库幂等补表 + 迁移清单
对齐）；worker 在 goal 任务执行期间每 30 秒把磁盘 host-state 断点
镜像进库，终局再补一次；断点续跑认领前，若 host-state 条目丢失
但库里有断点，先按库断点重建最小条目再跑，库里也没有断点时不
造假、走原有拒绝路径。

错误分类+熔断：sandbox 四处解析加永久错误分支（KeyError、配置
缺失等无结论异常退出判 failed 死信，不再判 interrupted；host 已
明言 interrupted 的不受影响，未知错误不分类）；worker 自动恢复
加退避（10 秒起指数退避、封顶 300 秒）与无进展熔断（库断点轮次
连续 3 次不变即标 auto_resume_stalled 等人工）。

时间线：task_steps 表 + host 每轮写 host-steps 步骤文件 + worker
导入；GET /tasks/{id}/timeline 一次返回 steps 与 checkpoints；
认领、暂停、自动恢复、终局都记步骤。旧任务返回空数组，不编造。

单测：cloud/tests/test_p0_three.py 14 项（分类、熔断、镜像重建、
步骤导入去重、timeline 接口）。
 2026-10-29 15:13:01 +08:00
host 14757f15c4 feat: 子任务默认模型/强度（child_model/child_effort） 
主任务可显式声明派生默认，或在 prompt 里写“子任务用 gpt-6-luna max”
由服务端解析填入；marker task-create 与协调员分工未显式写模型/强度时
按 块/分工 > 派生默认 > 父任务模型/强度 继承，fork 复制派生默认，
continue 可改派生默认；console 新建/继续表单与任务详情同步展示。
 2026-10-29 05:27:22 +08:00
host 5d8403e756 fix(db): register auto-memory tables in _OR_REPLACE_PK 
Postgres 翻译层对未登记主键的表把 INSERT OR REPLACE 退化为
ON CONFLICT DO NOTHING，致使 memory_settings、task_memory_flags、
memory_extraction_log 首写之后的所有更新静默丢弃（2026-10-28
生产实测：提取日志永远停在首写原因）。补三张表主键登记，并
在翻译层加回归测试（SQLite 原生 OR REPLACE 测不出来）。
 2026-10-28 22:49:06 +08:00
host cbc90f9d30 自动记忆：官方 memories 对齐的提取+注入闭环（确定性 v1） 
开关默认关（generate/use），设置接口 GET/PUT /users/me/auto-memory-settings，任务级覆盖 POST /tasks/{id}/auto-memory-flags，手动触发 POST /users/me/auto-memory/run，日志 GET /users/me/auto-memory-log。

提取：worker run_loop 轮次边界扫 completed 任务，闲置/时长/长度/外部上下文/配额剩余百分比五道门，脱敏后写 project 级 identity_memories，同一任务去重、同一目标 supersede 合并；只写 project 级，不跨项目泄漏。

注入：worker run_one 首轮把最新各 5 条用户/项目记忆拼进内存 prompt 副本（goal 任务同步改内存 goal），库原 prompt 不动；续跑/断点/协调员不注入，注入失败 fail-open。

v1 诚实边界：extract/consolidation 模型只存设置不调模型；MCP/web 线程内调用暂无 tasks 表标记，外部上下文门只认任务间消息与协调员子任务；无控制台 UI。
 2026-10-28 12:12:10 +08:00
host b93666fbe8 合并云端身份与记忆 PR#102（6e9d6dc）到最新 main ea5ab62 2026-10-28 11:58:49 +08:00
host 5883169c82 feat: goal 断点续跑端点（G10）+ 摘要持久化与推送 outbox（G11/G12） 
G10：POST /tasks/{id}/goal-resume，仅 interrupted 的 goal 任务，
走 host.py goal-resume（无 --goal-text）从 goal_rounds_done 下一轮
断点续跑，保留原线程与 worktree，状态回 queued 并置
goal_resume_pending（worker 认领后清掉），写 task_goal_resumed
审计；goal-met/unmet、failed、非 goal 一律 409；/continue 开新
循环语义不动。Local/Docker 两路新增 goal_resume_breakpoint_task，
不支持断点的执行器明确失败，绝不回落成 goal 或开新循环。
G11：digest 非失败事件持久化进 push_digest_events，worker 循环
每小时按（项目、订阅）分组汇总发一条，失败类仍即时发。
G12：webhook/slack 投递失败写 push_outbox，worker 循环后台重试
（最多 3 次、默认 60 秒退避），3 次仍失败删行并记日志，不丢
任务状态；缺凭证与无 sender 不进 outbox；文档写明 at-least-once
下 webhook/slack 可能重复，接收方须去重。
测试：cloud 769（4 跳过）、host 68、deploy 19 全过。
 2026-10-28 11:09:29 +08:00
host 6e9d6dc5e8 云端身份与记忆：用户画像+分级记忆，不动 thread 
- 新增 cloud/identity.py：user_profiles（显示名/时区/偏好，偏好禁密钥键）
  与 identity_memories（user 级仅本人可见、project 级项目成员可见，
  kind fact/preference/decision/convention，supersede 链+物理删除）。
- server 新增 /users/me/profile、/users/me/memories、/projects/{id}/
  identity-memories、/users/me/identity-context，项目记忆先过项目
  read/create_task 门；上下文只显式取用，不自动注入任务/thread。
- PG schema 与迁移清单同步新增两张 TEXT 主键表，序列清单不动；
  server 补 do_PUT 入口（/users/me/profile 首个 PUT 路由）。
- 新测试 11 个；三套件 cloud 937 OK（4 跳过）、host 89 OK、deploy 29 OK。
- 未动：host.py、worker、CODEX_HOME、旧 summaries 表、控制台 UI；
  未推、未建 PR、未部署。
 2026-10-28 03:43:02 +08:00
host 7c46ac8e5b feat: 协调员任务（并行子任务、等齐、合流汇总） 
建任务时传 coordinator_parts（分工列表，1-20 项，分工名唯一）即为协调员任务：本身不跑模型回合，worker 认领后一次建齐子任务（普通任务，并行被各 worker 认领），等全部终态后合流成汇总报告写回。子任务带 parent_task_id 与 coordinator_part，控制台可用 parent_task_id 查到；协调员重跑按分工名复用已完成子任务、失败/中断的回 queued 重跑；取消与超时尽力取消未终态子任务。子任务的配额/key/执行器门照常生效，不构成绕过。协调员任务拒绝与 goal/plan/验收命令同用。控制台：任务列表 [协调]/[协调子任务] 标记、详情分工与子任务区、新建表单子任务 JSON 输入。新单测 26 个。
 2026-10-27 15:45:17 +08:00
host dbcc8e641a feat: 任务列表显示 turn_id 与 root_turn_id 
host.py dispatch 打印补 turn_id/root_turn_id；执行器解析（local/Docker）透传；worker 写回 tasks 新列（新值非空才覆盖）；server 迁移与接口字段；控制台任务列表新增 turn/root turn 两列（短显+悬停全文）；新单测 9 个。
 2026-10-27 14:52:00 +08:00
host 970b181bab 租户配额与计费：按用户月度 USD 上限 + 建任务/分支/重试准入 402 + 管理/自查端点 + 控制台展示 2026-10-27 05:18:37 +08:00
host 3a4997d346 feat: 旧任务继续会话——终端任务带新消息 + 全部选项同一会话续跑 
server：POST /tasks/{id}/continue（终端非 merged 任务重排队，
resume_message 列存本轮消息，不传选项沿用原值，plan/goal 冲突
与新建一致，goal_mode=1 时转新 goal 语义；CAS 防并发改状态，
审计 task_continued）；tasks.resume_message 三处迁移 + PG 建表。
worker：认领后本轮 prompt 换成续跑消息（只换内存副本），
goal 续跑走 goal-resume 而不是 goal，跑完清 resume_message
（进程被杀时不清，下次认领重跑同一条消息）。
host：goal-resume --goal-text（旧任务接续 goal 模式：跳过状态
与记录守卫，旧线程上从第 1 轮开新目标循环，新语义不限轮次；
无线程时拒绝）。
sandbox：Local/Docker goal_resume_task + popen goal-resume kind；
附带 popen goal 命令改成新语义（无验收不传 --verify，轮次 0
原样传，此前 goal 任务到本地 worker 会直接报错）。
console：详情页终端非 merged 任务出继续会话表单（消息 +
模型/强度/权限/计划/goal，模型下拉复用中转列表）。
测试：新增 test_task_continue.py 11 个 + test_host_continue.py 2 个。
 2026-10-27 04:40:11 +08:00
host 7c444a688b feat: 任务附件——server/worker/console 链路打通（+ popen goal 新语义补漏） 
server：POST /uploads（multipart，413 预检、路径/数量/大小校验、
24h 过期包、used 防一包多用）+ 建任务绑定（同事务写附件行 +
包置 used，cloud 执行器 400）+ 列表/详情带 attachments +
取消删暂存 + 分支带走附件清单；db.py PG 建表 + init_db 补表。
worker：_task_seed_dir（无附件/目录已删静默 None）+ dispatch/
goal 三路（同步本地、popen、Docker 只读挂载 /tmp/codex-seed）
+ cloud 执行器兜底失败 + 终局删暂存。
console：文件/文件夹/图片三路输入，先上传拿 upload_id 再建任务，
列表 [附件×n]、详情列附件路径。
附带：popen 的 goal 命令此前强制要求 verify_command，goal 新语义
任务到本地 worker（走 popen）会直接报错，改成与同步 goal_task
一致（无验收不传 --verify，轮次 0 原样传）。
测试：新增 test_task_attachments.py 15 个。
 2026-10-27 04:30:43 +08:00
host 3d45edc8b4 feat: 命令台云端环境——选、建、管 + 任务绑定环境 
环境是项目仓库的命名基准检出（项目 + 仓库快照 + 分支 + 执行器），
不是官方 Codex 云端环境（无公开调用口，不宣称能建它）。
- DB：environments 表（creating/ready/failed/archived，部分唯一索引
  保证同项目未归档名唯一、归档名可重用）+ tasks.environment_id，
  server/worker/db 三处迁移同步（含 #67 的 goal_mode，不丢新语义）。
- API：POST/GET /environments、GET /environments/{id}、
  POST /environments/{id}/archive；任务创建选环境须本项目已 ready、
  执行器一致或继承、cloud 执行器拒绝。
- Worker：run_all 每轮开头准备 creating 环境（真实 git clone +
  checkout 分支，幂等、无 preparing 卡死态，准备期归档 CAS 不覆盖）；
  环境任务派发时 task[repo] 指到环境检出（租户 Docker 容器内路径 +
  envs 整目录挂载），任务仍一任务一 worktree。
- Console：环境卡（列表/新建/归档，未 ready 置灰）+ 新建任务环境下拉
  + 任务列表 [环境] 标记；公网 nginx 须同批代理 /environments。
- 单测：新增 test_task_environments.py 14 个；本地实弹（真实 git
  clone octocat/Hello-World，不跑模型）项目→环境→任务→归档全通。
 2026-10-27 04:07:54 +08:00
openqjandhost c86b450851 feat: goal 模式新语义——prompt 即目标，无验收命令，不限轮次，模型宣告完成 (#67) 
console 打勾 goal 模式时不再有专用 goal 文本、验收命令、轮次
三个输入（已移除，换成说明行），只发 goal_mode=1；server 侧
goal_mode=1 时 goal 存 prompt、验收命令空、轮次存 0，带验收
命令或与计划模式同用时 400，旧的带验收命令任务照原样可用。

host.py goal 循环：verify 为空时不跑验测，轮次提示里写明
标记约定；模型在完整跑完的回合末尾单独一行输出“目标已
达成”即达标（超时回合的部分文本含标记也不算）；--max-rounds
0 为不限轮次，goal-resume 续跑按 0 处理（不用 or 兜底成 3）。
刹车只有取消与预算耗尽（后者记 interrupted、可续跑）。

迁移与 worker：tasks 加 goal_mode 列（server 迁移、worker 列
补齐、PG schema 三处同步）；worker 按 goal_mode 或
verify_command 判定 goal 路径，重试与后续消息排空对新语义
同样只跑一次/不排空；Local/Docker goal_task 的 --verify 可选、
--max-rounds 0 原样传。

Co-authored-by: host <host@test.local>
 2026-10-27 03:54:48 +08:00
openqjandhost f4443dca4f feat: 计划模式 + 后续消息 + 会话分支接云端 (#65) 
- 计划模式：tasks 加 plan 列；plan 与 approval=full / goal 冲突时
  400；执行器在 approval 参数后追加 --sandbox read-only（本地
  dispatch/run/goal/popen 与 Docker 内层命令全覆盖），host 任务
  存下 sandbox 后续轮次自动继承只读。
- 后续消息：新表 task_followups；POST/GET /tasks/{id}/followups
  （仅 queued/running 的非 goal 任务；direct 立即往链路追加
  phase=followup-direct 条目，本轮跑完后优先于排队执行；排队
  按 direct 优先、队内先来先服务逐条再跑一轮，同一 thread；
  一条失败即停、剩余 pending 留给重试入口；取消时回 pending）。
- 会话分支：POST /tasks/{id}/fork（仅终态任务；继承 executor/
  模型/强度/权限/计划，goal 字段置空）；worker 先 fork 再跑首轮，
  首轮失败不自动重试、不重复分叉，失败后走重试入口重跑首轮。
- 修任务级模型被覆盖：worker 此前无条件写成主模型，控制台
  选的模型实际不生效；现为任务级 > worker 主模型 > 配置。
- Docker 租户准备抽成 _docker_task_context，供普通尝试与 fork 共用。
- console：新建任务计划勾选（含冲突拦截）、详情计划徽标与
  分支来源、分支按钮与表单、后续消息区、列表 [计划]/[分支] 标记。
- 测试：cloud/tests/test_task_links.py 17 个（server 校验与继承、
  worker 模型优先、只读命令、排空顺序与停排、goal 不排空、
  fork 单次性）；全量 cloud 542、host 49、deploy 14。

Co-authored-by: host <host@test.local>
 2026-10-27 03:17:51 +08:00
openqjandhost 8b2f3968dc feat: per-task model/effort/approval + relay models endpoint (#59) 
Co-authored-by: host <host@test.local>
 2026-10-27 01:44:53 +08:00
openqjandhost fc8e337d0f HA 阶段 1：worktree_host + 跨主机 /pr 队列化 (#50) 
* 部署自动化：唯一发布链路 deploy.py + host_deploy.sh，sha/commit 双重验真，失败回滚

旧链路三次栽过的坑：通用 tar 路径导致旧包误部署、传输不验 sha、
主机脚本多份漂移、health 通过不等于新代码上线。本单把四点变硬门禁：
- 产物唯一命名 codex-app-server-<commit>.tar.gz + .sha256，远端唯一路径
- git archive 产物 + DEPLOYED_COMMIT 清单，默认拒绝脏工作区
- 传输链 scp -> scp_run -> chunk 分片，每路传完远端验 sha，不符删掉重来
- 主机侧唯一脚本：先验 sha/清单，staging 解包 + 编译检查，换目录上线，
  work/ 原样保留，health + 上线 commit 不符即回滚并退出非零
- deploy.py 成功后独立 ssh 再读一次 live 清单二次核对
- CI：host-verify 加 deploy/tests；release.yml 只在手动/tag + production
  environment 审批时部署，主干推送绝不自动部署生产
- deploy.sh 标记为旧链路弃用
- health 的 commit 字段已在父提交 HA 阶段 0 里随 server.py 落地，
  本分支整体包含它；commit 为空时只靠文件核对，门禁同样成立
测试：host 32、cloud 487（4 跳过）、deploy 9，全部通过；
host_deploy.sh 仿真覆盖成功/坏 sha/清单不符/health commit 不符回滚。
生产实机部署未做，等确认后再用新链路推。

* HA stage 1: worktree_host + queued cross-host PR jobs

---------

Co-authored-by: host <host@test.local>
 2026-10-27 00:05:18 +08:00
host 63823fc2e3 逐任务真实成本：上游用量事件 + 价目表计价 
此前每任务只记一条 estimated（字符数/4，金额为空），注释称
host 协议不暴露真实 token 数。本轮实测推翻了该前提：
- account/usage/read 在中继上是死的（要求 ChatGPT 账号登录），
  不是来源，已在 cost.py docstring 写明死胡同
- app-server 每上游补全发 thread/tokenUsage/updated，last 是该次
  补全的用量；中继 5 调用回合实测 last 之和等于最后 total
  （input/output/cached/reasoning 四路都对得上）

实现：host.py run_turn 从事件窗口按 threadId+turnId 汇总用量，
重试/goal 各轮累加，dispatch/run JSON 与 goal 用量行透传；
sandbox 三路解析（dispatch JSON 解析改用完整 stdout，顺带修
了长 text 下 failed 被误判 completed 的潜 bug）；worker 每任务
记一条 actual（重试/fallback 用量累加进同一条），无用量时回落
estimated；cost.py 价目表（默认 OpenAI 挂牌价，env 可覆盖，
无价模型 usd 记 None、报表进 unpriced_actual_tokens 而非 0 美元），
cost_records 加 cached_input_tokens 列（SQLite/PG 两支迁移）；
报表与按天行新增 cached_input_tokens/unpriced_actual_tokens。
测试：host 32、cloud 483 全过。
 2026-10-26 18:41:27 +08:00
host 5ee9d291dd 云端 goal/merge/review 三事件：goal 循环 + PR 事件通知 
此前 goal-unmet/merge-failed/review-requested 只有允许列表，
云端没有生产者（概念只在本地 host.py）。本轮给三者接真生产者：
- goal：POST /tasks 接受 goal/verify_command/goal_max_rounds
  （迁移补列，SQLite 与 Postgres 两支）；带 verify_command 的
  任务走 host.py goal 循环（Local/Docker 执行器 goal_task，
  turn→验测→喂回重试，缺省 3 轮）；达标 completed，未达标
  failed 且只发 goal-unmet、不重复发 failed；goal 模式下 worker
  级重试/fallback 关闭，同任务 /retry 会撞 host 任务名已存在
  （已在文档写明，须新建任务）；CloudExecutor 无 goal 概念，
  如实失败不降级
- review-requested：POST /tasks/{id}/pr 建 PR 成功时发
  （payload 含 pr_url/pr_number）
- merge-failed：PR 落盘（push/建 PR）失败 502 时发（payload
  含 step/error），任务保持 merged、可重调 /pr；跳过时不发
测试：host 29、cloud 469 全过。
 2026-10-26 18:11:12 +08:00
host 9fa80bef89 修 GitHub App 安装在 Postgres 上崩：适配层译 INSERT OR IGNORE，安装后增减仓库同步 2026-10-26 16:11:29 +08:00
host 26d9edac33 Perf: light worker poll query + tasks(status) index 
Worker polls the DB every interval (production 30s) and every
poll ran SELECT * FROM tasks: full rows including result_text
and error_text (up to 4000 chars each) for every task ever,
growing with history. load_tasks now selects only the columns
pick_next actually needs (id/project/prompt/status/depends/
priority/timestamps/executor) and only queued/completed/merged
rows; running/failed rows are neither ready nor completed, so
excluding them cannot change pick_next. get_task still does
SELECT * for the single claimed task. Plus CREATE INDEX IF NOT
EXISTS idx_tasks_status on tasks(status) in both SQLite
init_db and the Postgres schema, so the poll filter stops being
a full table scan on old databases too. Test: load_tasks returns
only queued+completed out of queued/completed/running/failed.
 2026-10-26 06:19:01 +08:00
host 306cdf0d0c Cloud dispatch pool + auto PR (opt-in, skip clearly) 
Worker pool: workers table + register/heartbeat (heartbeat is
registration, no 404), GET /workers with alive (120s default),
POST /workers/heartbeat (X-API-Key, missing worker_id 400).
Tasks gain executor (local/docker/cloud, None = any worker);
worker claim filters by executor in pick_next and in the CAS
WHERE clause, CAS semantics unchanged; CloudExecutor _name
now correctly returns cloud, not local.
CloudExecutor: generic HTTP runner interface (endpoint from
explicit arg or CLOUD_RUNNER_ENDPOINT, auth header name only,
token value only from env into the request header, never into
logs/body/errors); no endpoint configured = explicit failure,
never silent downgrade. Vendor adapters (ECS/Cloud Run) are
out of scope, documented as such.
Auto PR: projects.auto_pr (0/1, create-time only, no PATCH
route exists); POST /tasks/{id}/pr (maintainer+ via
approve_merge) only for merged tasks (else 409); skip reasons
in order: auto_pr_disabled, no_worktree, no_remote, no_gh,
gh_not_authenticated — all return 200 with pr_skipped, task
stays merged, no push attempted; push/pr-create failure
returns 502 with step, task stays merged; success writes
pr_url/pr_number and audits pr_created. No default auto-push
from the worker. Remote URLs in errors are scrubbed of
userinfo; gh credentials are managed by gh itself, never
stored by the control plane.
Tests: host 27 pass, cloud 323 pass (8 skipped are
environment-dependent real-Postgres tests).
 2026-10-26 04:57:37 +08:00
host bed3fc0dff Project repo_url: worker can run tasks from any git repo 
Projects gain repo_url (validated: https:// or git@ only, no
userinfo/password, no file:// or local paths; old DBs get the
column via idempotent ALTER in both SQLite and Postgres init).
Worker resolves a project's repo_url to a local checkout under
--repos-dir (default ./repos) before dispatch: clone if absent,
verify remote origin matches and fetch if present, never force
reset/clean, never push (push needs write credentials the
control plane does not store). Resolve failure fails the task
with a clear error, never completed. Docker workers need
repos_dir under a same-path extra mount (e.g.
/var/lib/codex-app-server/repos).
Also: driver-missing test is now mocked instead of depending
on the host really having no psycopg driver installed.
Deploy package: Caddyfile template exposing only /webhooks/*
and /oauth/* (tasks/projects/admin stay 403) plus a
webhook-secret generator script that never prints the secret.
Tests: host 27 pass, cloud 286 pass (8 skipped are
environment-dependent real-Postgres tests).
 2026-10-26 04:16:11 +08:00
host dc3f572b2b Postgres real backend: psycopg adapter, schema, migration 
Replace the PostgresDatabase skeleton with a real implementation:
psycopg (v3) first, psycopg2 second, lazy load, missing driver
still raises PostgresDriverMissingError with no silent SQLite
fallback. A sqlite3-style adapter (PgConnection/PgCursor/PgRow)
translates ? placeholders to %s outside string literals, maps
UNIQUE/FK violations, lock errors and connection failures to
explicit Postgres error types, and handles INSERT OR REPLACE,
PRAGMA table_info, AUTOINCREMENT and FTS5 refusal. POSTGRES_SCHEMA
covers all business tables with tasks result columns; server
init_db uses it under CLOUD_DB_BACKEND=postgres, SQLite path
unchanged. migrate_sqlite_to_postgres.py copies rows with
ON CONFLICT DO NOTHING and reseeds identity sequences.
Tests: cloud 239 (235 pass, 4 skipped without a real server),
host 27 pass; real-server tests skip unless CLOUD_TEST_PG_DSN
is set.
 2026-10-26 03:23:06 +08:00
host 07ef869267 cloud: worker dispatch, DB abstraction, packaging 0.1.0, repo CI workflow 2026-10-26 01:44:15 +08:00
host 076ba01c74 cloud: fill gaps (memory/KB/cost/models endpoints, WAL concurrency, OAuth scaffold, push subscriptions) 2026-10-26 01:32:57 +08:00