admin/codex-app-server
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
262 Commits 3 Branches 0 Tags
88fcfeebd3f2622351dbc98a39261c1fc33bf2fa
Commit Graph
67 Commits
Author SHA1 Message Date
host c9cfe22a36 feat: 长任务中断自动恢复，仅用户暂停才暂停，不限时 
- 新增 tasks 列 paused_by_user/interrupted_reason/auto_resume_count/no_time_limit（幂等迁移，server+worker 双侧）
- POST /tasks/{id}/pause：用户暂停标 interrupted + paused_by_user=1；/cancel 同款标记；人工 /retry、/goal-resume 清标记
- sweep 标 sweep、配额标 quota、协调员孤儿标 coordinator_orphan、worker 退出标 worker_shutdown
- worker.run_loop 每轮后 auto_resume_interrupted：只接系统中断的 goal 任务，CAS 回 queued + goal_resume_pending=1（G10 断点续跑），用户暂停/配额/孤儿/非 goal 不接，上限 50 次防无限烧额度
- no_time_limit=1 的任务 worker/Docker 级不限时（其它任务仍默认 1800 秒；host 单轮 600 秒仍是单轮护栏）
- 前置 cherry-pick：G10 断点续跑透传 model_provider（否则 Docker 断点续跑在 sub2api 下必死，自动恢复无法实证；本 PR  supersedes #127，勿另行合并 #127）
 2026-10-29 11:37:06 +08:00
host f02c513729 chat: 持久化继续消息，chat-history 交替历史 
基线 main 811912c（PR #125 Muse 风格之后）：服务端与单测与
9538825 相同；React 侧在 Muse 风格 ContinuePanel 上重放
chat-history 集成（新版输入框占位文案保持 Muse 风格的“消息”），
console.html 由新版 src 重新构建。

- 新表 task_continue_messages：POST /continue 的用户消息与状态改回
  queued 同一事务落盘，409 被拒不留 phantom 消息
- GET /tasks/{id}/chat-history：prompt + 继续 + 后续消息 + 链路按
  时间交错拼好返回；部署前继续以 legacy_continue_count 如实标注
- React ContinuePanel 优先用 chat-history，旧服务端自动回退
 2026-10-29 07:01:57 +08:00
host 14757f15c4 feat: 子任务默认模型/强度（child_model/child_effort） 
主任务可显式声明派生默认，或在 prompt 里写“子任务用 gpt-6-luna max”
由服务端解析填入；marker task-create 与协调员分工未显式写模型/强度时
按 块/分工 > 派生默认 > 父任务模型/强度 继承，fork 复制派生默认，
continue 可改派生默认；console 新建/继续表单与任务详情同步展示。
 2026-10-29 05:27:22 +08:00
host c43eaac4d3 429 限流加 Retry-After 头：值为限流窗口秒数，不改阈值与计数 
- _send_json 加 extra_headers 参数，429 返回处传 Retry-After =
  limiter.window_seconds（默认 60），客户端据此退避一个完整窗口，
  不再以原速率 hammer 把自己钉在限流里（Postgres DbRateLimiter
  先 INSERT 再 COUNT，被拒请求本身也计数）。
- 单测：429 响应含 Retry-After 且值等于窗口秒数（默认 60 与注入
  窗口 7 各验一次）。
- 相关单测：test_prod_webhook_exec + test_rate_limit_db 21 个、
  test_server + test_server_endpoints 28 个，全过；cloud 全量未跑。
 2026-10-28 10:12:57 +00:00
host cbc90f9d30 自动记忆：官方 memories 对齐的提取+注入闭环（确定性 v1） 
开关默认关（generate/use），设置接口 GET/PUT /users/me/auto-memory-settings，任务级覆盖 POST /tasks/{id}/auto-memory-flags，手动触发 POST /users/me/auto-memory/run，日志 GET /users/me/auto-memory-log。

提取：worker run_loop 轮次边界扫 completed 任务，闲置/时长/长度/外部上下文/配额剩余百分比五道门，脱敏后写 project 级 identity_memories，同一任务去重、同一目标 supersede 合并；只写 project 级，不跨项目泄漏。

注入：worker run_one 首轮把最新各 5 条用户/项目记忆拼进内存 prompt 副本（goal 任务同步改内存 goal），库原 prompt 不动；续跑/断点/协调员不注入，注入失败 fail-open。

v1 诚实边界：extract/consolidation 模型只存设置不调模型；MCP/web 线程内调用暂无 tasks 表标记，外部上下文门只认任务间消息与协调员子任务；无控制台 UI。
 2026-10-28 12:12:10 +08:00
host b93666fbe8 合并云端身份与记忆 PR#102（6e9d6dc）到最新 main ea5ab62 2026-10-28 11:58:49 +08:00
host e31fcc6cba feat: G7 分层 fail-open/fail-closed + G8 Docker 轮询掐断 + G9 worker 忽略 host 预算 + G13/G14 归属（第三批） 
- G7：认领门 closed 时查配额异常回 quota_check_unavailable、标 interrupted（可重试/续跑）；轮询与轮次边界用 open，异常时回 quota_check_failed——新回合边界拒绝，执行中轮询经 _quota_hit 闭包过滤此串、只记 warning 不杀在跑任务，确认超限才掐断；查询函数本身不吞异常冒充不限额。
- G8：Docker 路径加 _docker_call_with_quota_poll（后台线程跑阻塞式 docker 调用，主循环每 quota_poll_interval_seconds 缺省 30 秒查一次，确认超限按容器名真杀容器，结果改写 quota_exceeded 走统一收尾：interrupted、成本照记、续跑消息保留，配额命中后不走 ALREADY_EXISTS 回落）；同步路径保持边界检查。
- G9：worker 路径默认忽略 host max_daily_turns（host.py 顶层 --ignore-host-budget 只清该项，Local/Docker 执行器在子命令前追加，worker CLI 缺省开、--no-ignore-host-budget 关）；standalone 直接跑 host.py 时预算照常。
- G13/G14：/pr 不再走 system 豁免，建任务前按请求用户查配额（402/503 均不排队不改状态），队列路 pr_jobs.created_by 记请求用户（老表 ALTER 补列），worker 跑 pr 任务时审计操作人用 created_by（老行回落 system）。注意：G14 原案的 system 豁免（服务端与 worker 写死）与 P1 冲突（P1：system 按普通属主走默认额度，不另设无限额系统预算），本次 rebase 未合入该豁免，system 豁免需另行决策。
- 配额口径与 P0/P1 对齐：无配额行按默认额度（非不限额），只有显式 NULL 行才不限额；无价上限只计 source='actual' 行；缺属主（含父任务回查仍无）拒绝新回合。
- README 配额节同步以上口径与 G15 接受现状（best-effort 超支、UTC 月切分、在跑任务只在轮询/轮次边界响应配额改动）。G4 与 G15 不在本批。
 2026-10-28 11:14:10 +08:00
host 5883169c82 feat: goal 断点续跑端点（G10）+ 摘要持久化与推送 outbox（G11/G12） 
G10：POST /tasks/{id}/goal-resume，仅 interrupted 的 goal 任务，
走 host.py goal-resume（无 --goal-text）从 goal_rounds_done 下一轮
断点续跑，保留原线程与 worktree，状态回 queued 并置
goal_resume_pending（worker 认领后清掉），写 task_goal_resumed
审计；goal-met/unmet、failed、非 goal 一律 409；/continue 开新
循环语义不动。Local/Docker 两路新增 goal_resume_breakpoint_task，
不支持断点的执行器明确失败，绝不回落成 goal 或开新循环。
G11：digest 非失败事件持久化进 push_digest_events，worker 循环
每小时按（项目、订阅）分组汇总发一条，失败类仍即时发。
G12：webhook/slack 投递失败写 push_outbox，worker 循环后台重试
（最多 3 次、默认 60 秒退避），3 次仍失败删行并记日志，不丢
任务状态；缺凭证与无 sender 不进 outbox；文档写明 at-least-once
下 webhook/slack 可能重复，接收方须去重。
测试：cloud 769（4 跳过）、host 68、deploy 19 全过。
 2026-10-28 11:09:29 +08:00
host 5fd4e23b68 fix: thread/unarchive 走已归档解析（--archived 列表） 
probe9 实测：thread/archive 200 后 thread/unarchive 稳定 404。
根因是 #103 时代的逻辑 bug：unarchive 走普通解析，普通
thread-list 不传 --archived 时只回非归档 thread，刚归档的
thread 永远解析不到。修法只改服务端：_list_task_threads 加
archived 模式（传 --archived，home×provider 穷尽不变），
_resolve 与 _pick_latest_thread 加归档开关，_task_thread_mutate
加 resolve_archived 参数只供 unarchive；rename/archive/compact
仍走非归档解析。生产只读验证：同一 worktree 普通列表 0 条、
archived 列表恰好 1 条（probe9 归档的 thread），其 archived
字段为 None。
 2026-10-28 06:10:02 +08:00
host 613ff4e7c4 fix: 线程解析按 home×provider 穷尽回退（共享 home + sub2api） 
生产实测：app-server 按进程 provider 过滤 thread/list，
不带 sub2api 注入看不到 sub2api 下建的 thread；本地
worker 又用共享 home 而非租户 home。旧解析只查租户
home + 缺省 provider，本地任务一律 404。

修法（只改服务端，不动派发）：_run_host_cli 支持顶层
--model-provider；_list_task_threads 按 home（租户→共享，
共享取 host-config-host.json 的 codex_home）× provider
（缺省→sub2api，仅配了 SUB2API_BASE_URL 时）穷尽，首个
非空即停；_resolve_task_thread 把 provider 带给后续的
thread-read/rename/archive CLI；_task_thread_read 改用
解析出的 home + provider（此前误用租户 home）。

三套件：cloud 957 OK（4 跳过）、host 91 OK、deploy 29 OK。
新测试 9 个。未动派发：本地改租户 home 会丢共享 home
里的 skills，另案处理。
 2026-10-28 05:36:18 +08:00
host cf08c4cf37 feat: 线程生命周期对齐 15 项（bindings/refs/快照/心跳绑定/移交落点） 
对照 Codex app 第二批：GET /tasks/{id}/bindings（项目/
环境/主机/worktree/PR/附件/血缘总表）、/refs 外部引用
增删查、/worktree/archive 快照（branch/head/status/diff/
untracked 路径）与 restore（目录在才解归档、目录删了
409 附快照）、自动化 bind + heartbeat（走 thread/message
同款投递路，cron 绑定不唤醒）、移交 completed 后任务
worktree_host 跟随切换、pr/checks 响应补 head_sha、
thread/read 的 tool 条目补 server/status。

诚实边界见 docs/thread-lifecycle-align.md：已有 worktree
附加、自动化变化静默、建议器、服务端定时触发器未实现；
Memory 对位是待合的 PR #102，本批不重复实现。

三套件：cloud 948 OK（4 跳过）、host 91 OK、deploy 29 OK
 2026-10-28 04:56:22 +08:00
host 755029f220 feat: 线程等待与状态读取 8 项（wait/read/message/handoff/worktree/pr-checks/automation/sleep） 
对照 Codex app：wait_threads 首变+afterCursor+8上限、
read_thread 详情摘要、send_message_to_thread 复活失败任务、
handoff 登记与上报轮询、worktree 派生状态、PR checks JSON+
check-runs 日志与注释、automation GET/PATCH、clock.sleep
（API+host）。诚实边界见 docs/thread-wait-ops.md：无
worktree 阶段流、无 automation 变化静默、无独立测试结果
记录、handoff 服务端不执行迁移、wait 仅数据库级变化检测。

三套件：cloud 940 OK（4 跳过）、host 91 OK、deploy 29 OK
 2026-10-28 04:33:20 +08:00
host 6e9d6dc5e8 云端身份与记忆：用户画像+分级记忆，不动 thread 
- 新增 cloud/identity.py：user_profiles（显示名/时区/偏好，偏好禁密钥键）
  与 identity_memories（user 级仅本人可见、project 级项目成员可见，
  kind fact/preference/decision/convention，supersede 链+物理删除）。
- server 新增 /users/me/profile、/users/me/memories、/projects/{id}/
  identity-memories、/users/me/identity-context，项目记忆先过项目
  read/create_task 门；上下文只显式取用，不自动注入任务/thread。
- PG schema 与迁移清单同步新增两张 TEXT 主键表，序列清单不动；
  server 补 do_PUT 入口（/users/me/profile 首个 PUT 路由）。
- 新测试 11 个；三套件 cloud 937 OK（4 跳过）、host 89 OK、deploy 29 OK。
- 未动：host.py、worker、CODEX_HOME、旧 summaries 表、控制台 UI；
  未推、未建 PR、未部署。
 2026-10-28 03:43:02 +08:00
host 9bb9a50e4e 残留批次A：成员删除、PR needs_local_worker 落库、推送 DNS TOCTOU 
- 成员删除：DELETE /projects/{id}/members/{user_id}，限 owner 或
  全局管理员，禁删唯一 owner，记 remove_member 审计
  （AuthStore.remove_member + server 分发，沿用 PATCH 守卫口径）
- PR needs_local_worker 落库：非 local 扫到 queued 任务时 CAS
  写行状态为 needs_local_worker；claim/find_open 同步认该状态，
  标记过的行仍可被 local worker 认领、不被搁置；另修
  claim/find_open 对裸 sqlite3 tuple 行的 dict() 兜底
  （TypeError/ValueError）
- 推送 DNS TOCTOU：发送改走建连时解析+判段的连接类，解析
  一次、只拨判过的 IP，Host/SNI 仍为原域名；opener 直接构造
  以排除 ProxyHandler 改写（build_opener 默认会塞代理）
 2026-10-27 19:10:49 +00:00
host ef532a38c2 feat: 线程操作与 skills/MCP 管理面暴露（host CLI + 服务端 API + 控制台） 
线程：host.py 新增 thread-list/read/rename/archive/unarchive/compact 子命令（纯 JSON stdout 契约，read/rename/unarchive/compact 先 resume）；服务端按任务定 scope（thread/list 的 cwd 过滤解析，Docker/cloud/异机 409，改操作仅终态，审计 thread_*）；控制台线程区（元数据、列表、重命名、归档、取消归档、压缩，终态门控）。

skills/MCP：host.py 新增 skills-list/apps-list/mcp-servers-list/mcp-servers-reload/mcp-server-oauth-login 子命令；服务端按项目 scope（读 read，改 manage_project，审计 mcp_*）；控制台技能与 MCP 区（列表、重载、OAuth 发起展示，绝不谎称登录完成）。

测试：host 84、cloud 687（4 跳过）、deploy 19 全过。诚实边界：Docker 任务线程在容器内故 409；无仓库任务推不出 cwd 时 404；OAuth 只做到发起透传，完成态靠协议通知；merged/merge-failed 改操作 409（比控制台门控窄，服务端报错原文展示）。
 2026-10-27 16:37:28 +00:00
host 154c18e25d P2 console slice A: project members, admin panel, task filters, trace download, worker liveness 
- Members: GET/POST /projects/{id}/members, PATCH /projects/{id}/members/{user_id};
  owner or CODEX_GLOBAL_ADMINS only, audit via set_member; invite by user_id
  or username, duplicate 409, sole-owner demotion 409.
- Console admin panel reuses /admin/quotas, /admin/sweep, /admin/backup;
  admin probe reuses /admin/quotas 403-vs-400 ordering, no new endpoint.
- Task list: frontend status/executor filters + id/prompt search over the
  full fetch; 10s refresh unchanged.
- Trace: kind filter on render, download button fetches full /trace
  (not the 1000-row render truncation); workers show relative last_seen
  with the 120s alive threshold.
- Tests: cloud/tests/test_p2_console.py, 15 tests.
 2026-10-27 16:37:12 +00:00
host 1402dc67fd P1 security batch: quota execution checks, cost accounting, goal/coordinator semantics, PR channel, orphan signature, control-plane and console hardening 
- Docker quota watchdog + fail-closed quota checks, system tasks need real owner
- max_cost_usd actually accumulated, cancel records cost, estimated rows excluded from unpriced cap, cache_write declared non-billed
- goal-resume keeps original verify on breakpoint resume, goal retry falls back to resume, goal_max_rounds capped at 100 at create and execution
- coordinator children inherit parent model/effort, orphans marked interrupted with audit
- PR jobs on docker workers return explicit needs_local_worker instead of silent empty
- worker code signature covers 6 files and is checked before claim, fail-closed
- sub2api lazy provisioning with rotation, backup whitelist + 0600, push SSRF block, repos/workers desensitized, key/project audits and limits, console buttons/quota/status wording, coordinator/automation quota reserve
 2026-10-27 16:27:50 +00:00
host 7091a2d0d2 P0 security batch: true global admin, quota gates on all spending paths, default quota for quota-less users, fix-review author trust + docker/owner attribution, GitHub App setup issuer binding, real cancel kill, wider shell env exclusion 
- CODEX_GLOBAL_ADMINS replaces maintainer-derived global admin;
  admin endpoints (quotas, sweep, backup, push dispatch) fail-closed
  403 when unset, with audit on allow and deny.
- continue/followups/messages/retry check both caller and original
  creator quotas (USD + unpriced token cap), 402 on either overrun.
- Quota-less users now get the #86 default quota instead of unlimited;
  init_db backfills and OAuth create/bind/existing-login branches
  INSERT OR IGNORE a default row; explicit NULL row stays unlimited.
  user_quotas added to migration tables.
- /fix-review: untrusted authors rejected before dedup claim, no task;
  trusted tasks force executor=docker, created_by=project owner, owner
  quota gate, prompt is a fixed template plus a 2000-char excerpt.
- GitHub App setup state only issued by global admins, state rows bind
  issued_by (ALTER-compatible for old DBs), callback rejects issuers
  no longer in the admin list without consuming the state.
- Cancel: popen poll checks DB status every second, Docker path runs a
  cancel watchdog that kills by container name, write-back is CAS-guarded
  so late results never overwrite a new status.
- SHELL_ENV_EXCLUDE adds *_TOKEN, *_AUTH*, *_CREDENTIAL*, *API_KEY*;
  comment states the residual risk: same-UID /proc environ remains
  readable, true isolation needs UID separation or hidepid.
- Tests: new cloud/tests/test_p0_security.py (17 cases); old tests
  updated to the new semantics (admin env, default quota, trusted
  fix-review author) without weakening any gate.
 2026-10-27 15:35:23 +00:00
host e4b5545a24 feat: 成本预算与失败通知第一批（G1/G2/G5/G6/无价上报） 
- G1：修正 _check_quota docstring（Local popen 30 秒轮询掐断、
  Docker/同步路径只有边界检查），README 配额节同步；followup
  创建不查配额是已声明设计，保持不动。
- G2：notify_failure 对插值 shlex.quote，模板错误记日志不静默
  吞，命令返回值/超时/异常记 host-run.log；dispatch 前置预算门
  与 goal 预算中断补 budget-exceeded 通知（没配命令时只写日志）。
- G5/G6：重试与续跑的配额检查按任务创建者查（费用记创建者名下），
  维护者替他人操作不再用错人的额度；续跑 API 侧补查，超限回
  402 且不改状态，不再先 200 排队再悄悄 interrupted。
- 无价上报：配额自查/管理端点返回增加 unpriced_actual_tokens
  （actual 且 usd_micros 为 NULL，与 CostStore 口径一致），只读
  上报、不计价、不拦任务；不给 gpt-5.6-terra 编造价格。
测试：host 68、cloud 760（4 跳过）、deploy 19 全过。
 2026-10-27 10:13:51 +00:00
host ec47328d3c sub2api 网关接入：每用户独立账号 + 任务注入 + 网关可配置 
- cloud/sub2api.py：管理 API 客户端（管理员登录/token 刷新/
  建用户/以用户发 key/删用户/查组/网关模型目录）+ 幂等开通
  ensure_user_gateway_key（入库失败尽力清理孤儿 key 与账号）
- worker：网关门（sub2api 时按 created_by 幂等开通，失败任务
  直接 failed；协调员子任务跟父任务属主）+ 默认模型走网关
  目录首个；三条执行路径（Local popen/同步、Docker 同步）注
  入任务级 env 与 --model-provider；NO_PROXY 追加网关 host
- host.py：--model-provider，sub2api 时以 -c 注入 provider 表
  （不改租户 config.toml）；未配 SUB2API_BASE_URL 时 loud fail
- sandbox：Local/Docker 执行器传 --model-provider 与任务 env；
  docker 密钥只传名（-e SUB2API_API_KEY），值由 CLI 子进程
  环境提供，绝不进 argv；runner 不支持 env 时 loud fail
- server：OAuth 建号 best-effort 开通；/relay/models 走调用者
  自己的网关模型目录；init_db 补 user_gateway_keys 表
- 测试：新单测 11 个；全量 cloud 679（4 跳过）、host 65、
  deploy 19 全过
- 诚实边界：真模型调用实弹需上游账号挂组后才做；切流前
  xcmapi 保持现网
 2026-10-27 17:22:54 +08:00
host 7e081211db 多用户生产级缺口批：sweep 鉴权、默认配额、默认 executor、 无价 token 上限 
- POST /admin/sweep 改走任一项目 maintainer+ 门槛（与备份管理同口径），否则 403，记 admin_sweep 审计；threshold 下限钳 60 秒
- OAuth 建号 created=True 时写默认配额行（默认 $10/月，CLOUD_DEFAULT_QUOTA_USD_MICROS 可调，INSERT OR IGNORE 幂等）；老用户无配额行不受影响
- 建任务未指定且无环境继承时默认 executor=docker（分支继承为空时同理）；CLOUD_DEFAULT_EXECUTOR 可覆盖，空字符串恢复旧行为；命令台下拉默认改为 docker
- 无价模型 token 上限：价目表外模型（默认 terra）成本 usd 为 NULL，USD 配额永不生效；有配额行的用户当月无价 token 达 CLOUD_QUOTA_UNPRICED_TOKEN_CAP（默认 2000 万/月）即停，服务端 402、worker 认领/重试/后续消息同口径；报表仍记 unpriced，不折假美元
- 测试：新增 test_multiuser_gaps 11 个 + test_worker_quota 3 个；全量 cloud 668、host 64、deploy 19 全过
 2026-10-27 17:15:09 +08:00
openqj c1f9313c10 Merge pull request #87 from openqj/feat-coordinator 
feat: 协调员任务（并行子任务、等齐、合流汇总）
 2026-10-27 16:25:32 +08:00
host e0cecd70aa feat: P1 补齐（自动评审队列、自动化+分诊、并发 caps、运行时审批队列） 2026-10-27 15:53:50 +08:00
host 7c46ac8e5b feat: 协调员任务（并行子任务、等齐、合流汇总） 
建任务时传 coordinator_parts（分工列表，1-20 项，分工名唯一）即为协调员任务：本身不跑模型回合，worker 认领后一次建齐子任务（普通任务，并行被各 worker 认领），等全部终态后合流成汇总报告写回。子任务带 parent_task_id 与 coordinator_part，控制台可用 parent_task_id 查到；协调员重跑按分工名复用已完成子任务、失败/中断的回 queued 重跑；取消与超时尽力取消未终态子任务。子任务的配额/key/执行器门照常生效，不构成绕过。协调员任务拒绝与 goal/plan/验收命令同用。控制台：任务列表 [协调]/[协调子任务] 标记、详情分工与子任务区、新建表单子任务 JSON 输入。新单测 26 个。
 2026-10-27 15:45:17 +08:00
host dbcc8e641a feat: 任务列表显示 turn_id 与 root_turn_id 
host.py dispatch 打印补 turn_id/root_turn_id；执行器解析（local/Docker）透传；worker 写回 tasks 新列（新值非空才覆盖）；server 迁移与接口字段；控制台任务列表新增 turn/root turn 两列（短显+悬停全文）；新单测 9 个。
 2026-10-27 14:52:00 +08:00
host ef30558f7c feat: 任务间互发消息（API + agent 标记块，不中断任务） 
同项目任务互发消息、对方做完可回消息：API POST /tasks/<目标>/messages
（from_task_id，目标项目 create_task + 发送项目 read 鉴权）与 agent
回合输出标记块（worker 回合后解析投递，不用联网、不用凭证，本地
与 Docker 都通）。投递不中断任务：对方运行中/排队中排成后续消息
（轮次边界执行，direct 优先）；对方终态则续跑复活（resume_message +
queued），A→B→A 往返不受回合时序影响。拒绝项：自己、跨项目、goal
目标、已合并、复活位被占；每轮最多 5 块，仅 completed 轮次投递；
目标执行时配额门照常生效。控制台后续消息列显示发送方，新增给
其他任务发消息框（落已代理的 /tasks 下，不用改 nginx）。

测试：新增 test_peer_messages（15）、test_peer_messages_server（8）、
test_worker_peer（4）；全量 cloud 654、host 64、deploy 19 全过（cloud 4 跳过）。
 2026-10-27 14:12:28 +08:00
host a2863b2b10 fix: 租户 Docker 任务链路可见（租户目录优先、共享目录兜底） 
此前服务端只读共享链路目录，租户隔离的 Docker 任务链路文件落在 tenants/<项目>/work/host-traces/，/trace 与 /agents 会误报为空。改后按任务解析目录列表（租户优先、共享兜底），父链路与子链路文件多目录合并读；直接发送的续写跟到已有链路文件所在的目录，不把一条任务的链路拆成两处。
 2026-10-27 12:58:24 +08:00
host c4d3ec9bff feat: 命令台子代理链路（主任务/模型子代理/委派子任务 + 过程调用实时同步） 
host：链路条目带 thread 归属；delegate 向父链路文件写 agent-start/done 标记。服务端：GET /tasks/{id}/agents 聚合父链路 + 子链路文件成代理链（状态口径：委派以结束标记为准、无标记即进行中；模型子代理无结束信号时父任务运行中为进行中、否则未知）。命令台：新增子代理链路区，随 SSE 流防抖刷新；扁平链路也渲染 agent 标记。
 2026-10-27 11:51:11 +08:00
host df8c493281 fix: 请求处理未捕获异常回 500 JSON，不再断连变 nginx 502 
2026-10-27 死锁事件的次生问题：_dispatch 里未捕获异常逃出
handle_one_request 后连接无响应，前端只看到 nginx 502、拿不到
任何可读错误；死锁本身修掉后，同类内部异常仍会以 502 露出来。

兜底（_dispatch_safe，四个 do_* 方法统一走它）：
- 任何异常先记 _server_log.exception（堆栈进服务端日志），
  再回固定 {"error": "internal_error"}，不泄漏堆栈给客户端；
- _send_json/_send_html/SSE 发头后即标记已响应，之后异常
  只记日志、不二次发送（响应一旦开始不能再发状态行）；
- _responded 每请求重置，同一连接 keep-alive 复用不串请求。

单测：异常请求得 500 JSON（非断连）+ 服务端记日志；
同一连接上 500 之后再请求仍 200。
 2026-10-27 10:56:08 +08:00
openqj 0a862c11f7 Merge pull request #74 from openqj/feat-repo-picker2 
GitHub 仓库选择菜单：安装仓库列表 + PATCH 补仓库 + 控制台下拉
 2026-10-27 05:48:08 +08:00
host 6ba671e051 GitHub 仓库选择菜单：安装仓库列表 + PATCH 补仓库 + 控制台下拉 2026-10-27 05:43:56 +08:00
host 8bda29eac3 fix: 限流清理移出请求路径，根治 rate_limit_hits 死锁 
allow() 原先每请求在同一事务里 DELETE 旧行 + INSERT + COUNT，
控制台并发加载 + 双 server 下两个事务在 rate_limit_hits 表上
死锁，未捕获异常直接断连、nginx 报 502（2026-10-27 实测，
环境与链路两区同时 502 均源于此，与各自端点逻辑无关）。

结构修复：
- allow() 只做 INSERT + 窗口内 COUNT（COUNT 按 ts > now-window
  过滤，过期行残留不影响计数正确性）；建表/索引每实例只做一次。
- 过期行改由后台线程 sweep_rate_limit_hits() 每 60 秒清一次；
  Postgres 下拿事务级 advisory lock，另一台 server 正在清时
  直接跳过，清理者之间也不死锁；清理失败只记 warning。
- main() 里对 DbRateLimiter 起 sweeper 线程（内存版不需要）。

单测：allow 不再删旧行、窗口计数忽略过期行、sweep 只删过期
行、空库 sweep 不炸。
 2026-10-27 05:40:30 +08:00
host 970b181bab 租户配额与计费：按用户月度 USD 上限 + 建任务/分支/重试准入 402 + 管理/自查端点 + 控制台展示 2026-10-27 05:18:37 +08:00
host 3a4997d346 feat: 旧任务继续会话——终端任务带新消息 + 全部选项同一会话续跑 
server：POST /tasks/{id}/continue（终端非 merged 任务重排队，
resume_message 列存本轮消息，不传选项沿用原值，plan/goal 冲突
与新建一致，goal_mode=1 时转新 goal 语义；CAS 防并发改状态，
审计 task_continued）；tasks.resume_message 三处迁移 + PG 建表。
worker：认领后本轮 prompt 换成续跑消息（只换内存副本），
goal 续跑走 goal-resume 而不是 goal，跑完清 resume_message
（进程被杀时不清，下次认领重跑同一条消息）。
host：goal-resume --goal-text（旧任务接续 goal 模式：跳过状态
与记录守卫，旧线程上从第 1 轮开新目标循环，新语义不限轮次；
无线程时拒绝）。
sandbox：Local/Docker goal_resume_task + popen goal-resume kind；
附带 popen goal 命令改成新语义（无验收不传 --verify，轮次 0
原样传，此前 goal 任务到本地 worker 会直接报错）。
console：详情页终端非 merged 任务出继续会话表单（消息 +
模型/强度/权限/计划/goal，模型下拉复用中转列表）。
测试：新增 test_task_continue.py 11 个 + test_host_continue.py 2 个。
 2026-10-27 04:40:11 +08:00
host 7c444a688b feat: 任务附件——server/worker/console 链路打通（+ popen goal 新语义补漏） 
server：POST /uploads（multipart，413 预检、路径/数量/大小校验、
24h 过期包、used 防一包多用）+ 建任务绑定（同事务写附件行 +
包置 used，cloud 执行器 400）+ 列表/详情带 attachments +
取消删暂存 + 分支带走附件清单；db.py PG 建表 + init_db 补表。
worker：_task_seed_dir（无附件/目录已删静默 None）+ dispatch/
goal 三路（同步本地、popen、Docker 只读挂载 /tmp/codex-seed）
+ cloud 执行器兜底失败 + 终局删暂存。
console：文件/文件夹/图片三路输入，先上传拿 upload_id 再建任务，
列表 [附件×n]、详情列附件路径。
附带：popen 的 goal 命令此前强制要求 verify_command，goal 新语义
任务到本地 worker（走 popen）会直接报错，改成与同步 goal_task
一致（无验收不传 --verify，轮次 0 原样传）。
测试：新增 test_task_attachments.py 15 个。
 2026-10-27 04:30:43 +08:00
host 3d45edc8b4 feat: 命令台云端环境——选、建、管 + 任务绑定环境 
环境是项目仓库的命名基准检出（项目 + 仓库快照 + 分支 + 执行器），
不是官方 Codex 云端环境（无公开调用口，不宣称能建它）。
- DB：environments 表（creating/ready/failed/archived，部分唯一索引
  保证同项目未归档名唯一、归档名可重用）+ tasks.environment_id，
  server/worker/db 三处迁移同步（含 #67 的 goal_mode，不丢新语义）。
- API：POST/GET /environments、GET /environments/{id}、
  POST /environments/{id}/archive；任务创建选环境须本项目已 ready、
  执行器一致或继承、cloud 执行器拒绝。
- Worker：run_all 每轮开头准备 creating 环境（真实 git clone +
  checkout 分支，幂等、无 preparing 卡死态，准备期归档 CAS 不覆盖）；
  环境任务派发时 task[repo] 指到环境检出（租户 Docker 容器内路径 +
  envs 整目录挂载），任务仍一任务一 worktree。
- Console：环境卡（列表/新建/归档，未 ready 置灰）+ 新建任务环境下拉
  + 任务列表 [环境] 标记；公网 nginx 须同批代理 /environments。
- 单测：新增 test_task_environments.py 14 个；本地实弹（真实 git
  clone octocat/Hello-World，不跑模型）项目→环境→任务→归档全通。
 2026-10-27 04:07:54 +08:00
openqjandhost c86b450851 feat: goal 模式新语义——prompt 即目标，无验收命令，不限轮次，模型宣告完成 (#67) 
console 打勾 goal 模式时不再有专用 goal 文本、验收命令、轮次
三个输入（已移除，换成说明行），只发 goal_mode=1；server 侧
goal_mode=1 时 goal 存 prompt、验收命令空、轮次存 0，带验收
命令或与计划模式同用时 400，旧的带验收命令任务照原样可用。

host.py goal 循环：verify 为空时不跑验测，轮次提示里写明
标记约定；模型在完整跑完的回合末尾单独一行输出“目标已
达成”即达标（超时回合的部分文本含标记也不算）；--max-rounds
0 为不限轮次，goal-resume 续跑按 0 处理（不用 or 兜底成 3）。
刹车只有取消与预算耗尽（后者记 interrupted、可续跑）。

迁移与 worker：tasks 加 goal_mode 列（server 迁移、worker 列
补齐、PG schema 三处同步）；worker 按 goal_mode 或
verify_command 判定 goal 路径，重试与后续消息排空对新语义
同样只跑一次/不排空；Local/Docker goal_task 的 --verify 可选、
--max-rounds 0 原样传。

Co-authored-by: host <host@test.local>
 2026-10-27 03:54:48 +08:00
openqjandhost f4443dca4f feat: 计划模式 + 后续消息 + 会话分支接云端 (#65) 
- 计划模式：tasks 加 plan 列；plan 与 approval=full / goal 冲突时
  400；执行器在 approval 参数后追加 --sandbox read-only（本地
  dispatch/run/goal/popen 与 Docker 内层命令全覆盖），host 任务
  存下 sandbox 后续轮次自动继承只读。
- 后续消息：新表 task_followups；POST/GET /tasks/{id}/followups
  （仅 queued/running 的非 goal 任务；direct 立即往链路追加
  phase=followup-direct 条目，本轮跑完后优先于排队执行；排队
  按 direct 优先、队内先来先服务逐条再跑一轮，同一 thread；
  一条失败即停、剩余 pending 留给重试入口；取消时回 pending）。
- 会话分支：POST /tasks/{id}/fork（仅终态任务；继承 executor/
  模型/强度/权限/计划，goal 字段置空）；worker 先 fork 再跑首轮，
  首轮失败不自动重试、不重复分叉，失败后走重试入口重跑首轮。
- 修任务级模型被覆盖：worker 此前无条件写成主模型，控制台
  选的模型实际不生效；现为任务级 > worker 主模型 > 配置。
- Docker 租户准备抽成 _docker_task_context，供普通尝试与 fork 共用。
- console：新建任务计划勾选（含冲突拦截）、详情计划徽标与
  分支来源、分支按钮与表单、后续消息区、列表 [计划]/[分支] 标记。
- 测试：cloud/tests/test_task_links.py 17 个（server 校验与继承、
  worker 模型优先、只读命令、排空顺序与停排、goal 不排空、
  fork 单次性）；全量 cloud 542、host 49、deploy 14。

Co-authored-by: host <host@test.local>
 2026-10-27 03:17:51 +08:00
openqjandhost 799f7c3edb feat: 任务实时链路 SSE (#61) 
host.py：回合通知摘要成链路条目，增量追加到 <state>/host-traces/<task>.jsonl（上限 5000 行）；dispatch/run/goal/delegate 设链路文件
cloud/server.py：GET /tasks/{id}/trace 快照 + /trace/stream SSE（snapshot → entry → done；worktree 在别机时空链路 + 说明）
console：详情链路区，运行中 fetch 流式渲染（EventSource 不能带 X-API-Key 头），终态走快照；DOM 上限 1000 条
单测：test_host_trace 7 + test_task_trace 6；host 49、cloud 525、deploy 14 全过

Co-authored-by: host <host@test.local>
 2026-10-27 02:27:15 +08:00
openqjandhost 8b2f3968dc feat: per-task model/effort/approval + relay models endpoint (#59) 
Co-authored-by: host <host@test.local>
 2026-10-27 01:44:53 +08:00
openqjandhost e40c2c33bb feat: web command console v1 (GET /console) (#57) 
Co-authored-by: host <host@test.local>
 2026-10-27 01:02:24 +08:00
openqjandhost 06b9fd12fd HA stage 2: DB-shared rate limiting + second server unit + monitor both-servers check (#52) 
Co-authored-by: host <host@test.local>
 2026-10-27 00:15:16 +08:00
openqjandhost fc8e337d0f HA 阶段 1：worktree_host + 跨主机 /pr 队列化 (#50) 
* 部署自动化：唯一发布链路 deploy.py + host_deploy.sh，sha/commit 双重验真，失败回滚

旧链路三次栽过的坑：通用 tar 路径导致旧包误部署、传输不验 sha、
主机脚本多份漂移、health 通过不等于新代码上线。本单把四点变硬门禁：
- 产物唯一命名 codex-app-server-<commit>.tar.gz + .sha256，远端唯一路径
- git archive 产物 + DEPLOYED_COMMIT 清单，默认拒绝脏工作区
- 传输链 scp -> scp_run -> chunk 分片，每路传完远端验 sha，不符删掉重来
- 主机侧唯一脚本：先验 sha/清单，staging 解包 + 编译检查，换目录上线，
  work/ 原样保留，health + 上线 commit 不符即回滚并退出非零
- deploy.py 成功后独立 ssh 再读一次 live 清单二次核对
- CI：host-verify 加 deploy/tests；release.yml 只在手动/tag + production
  environment 审批时部署，主干推送绝不自动部署生产
- deploy.sh 标记为旧链路弃用
- health 的 commit 字段已在父提交 HA 阶段 0 里随 server.py 落地，
  本分支整体包含它；commit 为空时只靠文件核对，门禁同样成立
测试：host 32、cloud 487（4 跳过）、deploy 9，全部通过；
host_deploy.sh 仿真覆盖成功/坏 sha/清单不符/health commit 不符回滚。
生产实机部署未做，等确认后再用新链路推。

* HA stage 1: worktree_host + queued cross-host PR jobs

---------

Co-authored-by: host <host@test.local>
 2026-10-27 00:05:18 +08:00
openqjandhost 455513dd33 HA stage 0: health reads workers registry, daily pg_dump timer, backup freshness in monitor (#48) 
Co-authored-by: host <host@test.local>
 2026-10-26 23:51:54 +08:00
host e384245722 修项目成本按天接口在 Postgres 上的 Decimal 序列化崩溃 
2026-10-26 项目成本总览实弹：总览一次通过，但 ?day= 请求让
服务端请求线程直接死掉、客户端只看到连接断开。日志根因：
Postgres 的 SUM(bigint) 返回 NUMERIC，psycopg2 映成 Decimal，
按天分支把 SUM 原值塞进 JSON 时 json.dumps 抛 TypeError。
这是按天路径的潜 bug（此前从未在生产 PG 上跑通过按天查询），
不是 PR #45 新加列引入的，但本次实弹把它暴露了出来。
修复：按天两分支与模型总览的数值全部 int() 转换；_send_json
加 Decimal 兜底（整数转 int、非整数转 float），防止同类泄漏
再把请求线程拖死。单测：按天端点 + _json_default。
 2026-10-26 23:17:25 +08:00
host 63823fc2e3 逐任务真实成本：上游用量事件 + 价目表计价 
此前每任务只记一条 estimated（字符数/4，金额为空），注释称
host 协议不暴露真实 token 数。本轮实测推翻了该前提：
- account/usage/read 在中继上是死的（要求 ChatGPT 账号登录），
  不是来源，已在 cost.py docstring 写明死胡同
- app-server 每上游补全发 thread/tokenUsage/updated，last 是该次
  补全的用量；中继 5 调用回合实测 last 之和等于最后 total
  （input/output/cached/reasoning 四路都对得上）

实现：host.py run_turn 从事件窗口按 threadId+turnId 汇总用量，
重试/goal 各轮累加，dispatch/run JSON 与 goal 用量行透传；
sandbox 三路解析（dispatch JSON 解析改用完整 stdout，顺带修
了长 text 下 failed 被误判 completed 的潜 bug）；worker 每任务
记一条 actual（重试/fallback 用量累加进同一条），无用量时回落
estimated；cost.py 价目表（默认 OpenAI 挂牌价，env 可覆盖，
无价模型 usd 记 None、报表进 unpriced_actual_tokens 而非 0 美元），
cost_records 加 cached_input_tokens 列（SQLite/PG 两支迁移）；
报表与按天行新增 cached_input_tokens/unpriced_actual_tokens。
测试：host 32、cloud 483 全过。
 2026-10-26 18:41:27 +08:00
host 5ee9d291dd 云端 goal/merge/review 三事件：goal 循环 + PR 事件通知 
此前 goal-unmet/merge-failed/review-requested 只有允许列表，
云端没有生产者（概念只在本地 host.py）。本轮给三者接真生产者：
- goal：POST /tasks 接受 goal/verify_command/goal_max_rounds
  （迁移补列，SQLite 与 Postgres 两支）；带 verify_command 的
  任务走 host.py goal 循环（Local/Docker 执行器 goal_task，
  turn→验测→喂回重试，缺省 3 轮）；达标 completed，未达标
  failed 且只发 goal-unmet、不重复发 failed；goal 模式下 worker
  级重试/fallback 关闭，同任务 /retry 会撞 host 任务名已存在
  （已在文档写明，须新建任务）；CloudExecutor 无 goal 概念，
  如实失败不降级
- review-requested：POST /tasks/{id}/pr 建 PR 成功时发
  （payload 含 pr_url/pr_number）
- merge-failed：PR 落盘（push/建 PR）失败 502 时发（payload
  含 step/error），任务保持 merged、可重调 /pr；跳过时不发
测试：host 29、cloud 469 全过。
 2026-10-26 18:11:12 +08:00
host fb3a311da8 推送真发送：webhook/slack 内置真实发送端 + worker 终态自动通知 
此前订阅与分发框架都在，但分发端点传 sender=None，
webhook/slack 永远报无 sender、从未真发过。本轮：
- push：send_webhook/send_slack（标准库 urllib POST，
  单次 10 秒超时，不重试，失败记 errors）；sender=None
  时用内置端，显式 sender 优先；webpush/apns/fcm 仍报
  缺凭证（原因写明：webpush 需浏览器端三字段订阅与标准库
  没有的 P-256 ECDH + AES-GCM；apns 需 HTTP/2；fcm 需
  Firebase 服务账号，三者均无现成接收方，不造假发送）
- worker：run_one 终态（completed/failed，缺 key 与仓库
  失败两条早退路径也在内）后 best-effort 调分发，通知
  失败只记日志、绝不影响任务状态；取消（interrupted）
  不在事件集合里，不通知
- 测试：真实发送端 6 个（本地回环服务器）、worker 终态
  通知 2 个，旧无 sender 断言按新语义改写
 2026-10-26 17:31:30 +08:00
host 25d9b3d938 App-token：推分支建 PR 改走 GitHub App installation token 
- github_app：纯标准库 RS256 签 App JWT（PKCS#1/PKCS#8），
  换 installation token（现换现用、不缓存），按仓库名查安装
  记录，任一步失败回落 None
- pr：app_token 路径 push 走 credential helper（token 只进
  子进程环境），建 PR 走 REST API（读 default_branch 当 base）；
  不传 token 时 gh 路径不变
- server：/pr 端点按项目 repo_url 解析仓库名、现换 token，
  响应加 auth_via=app|pat，换失败回落 PAT 不报错
- 测试：JWT/换 token/解析 9 个、pr App 路径 6 个、端点级
  App 与 PAT 回落 2 个
 2026-10-26 16:47:55 +08:00
host 7b85b4a4fd 多 key：OAuth 登录签发附加 key 不再轮换，keys 管理端点 2026-10-26 16:27:42 +08:00