admin/codex-app-server
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
533 Commits 3 Branches 0 Tags
de925bff3b5abadc93c7798ddab80c983c8a61ba
Commit Graph
8 Commits
Author SHA1 Message Date
host 39ec2b4435 v5: rebase 融合修复（main 演进 + 附录源同步） 
- websearch.py：补回 import socket（栈 46ca59f 的 lint 清理在栈
  上无害，replay 到 main 后 main #274 的超时/DNS 显式报错
  代码引用 socket，缺 import 致 2 项 NameError；re 在 main
  与重排后树中均 0 引用，不补）
- 3 个 websearch fake 补 scope="general" 参数（main 的
  handle_request 现必传 scope，旧 fake 致 TypeError 被吞成
  isError，3 项失败）
- playwright 工具数 14→18（main 新增 4 个，与 main _TOOLS
  逐名一致、无重复）
- playwright 种子测试改按 main 安全升级规则：源脚本 v1→v2
  且 manifest 证明未改动才刷新；未知改动只上报跳过不覆盖
- 附录源同步：01/02/07 三个 roles 源文件与 SKILL.md 附录章
  做同一改写，check_appendix 来源一致性恢复
 2026-11-03 02:49:26 +00:00
host f39ed3654e ci3: lint/mypy 第二阶段清理 + 覆盖率 76% -> 78%（门槛不动） 
基底：#251 头 174b631（堆叠于 #242 feat-ci-expand 之上），
基线 origin/main aebc6238；本轨不改 #251 已定语义、不动
workflow 门槛、不删检查、不加 skip。

lint（ruff E,F@120）：109 -> 10
- F401 43 -> 0：删未用导入；try/except 双绑定的名字出现
  “打地鼠”（删 except 分支后 try 分支又被标出），两分支
  均已核对正文无引用后清掉；MCP 三模块的 Error 名不删，
  改走 importlib 属性绑定（见下），两路径绑定都保留。
- E702 40 -> 0：全在 host.py main() 的 argparse 段，纯分行，
  tokenize 按分号 token 拆（含 2377 行多行语句只断首个分号）；
  一次 5 空格缩进失误已回滚重做并以 ast + 全量 host 测试验证。
- E501 13 -> 0：host.py 5 项随 E702 分行连带清掉；mcp_server
  3 项把描述拆成相邻字面量（AST 比对 24 条工具描述与原值
  完全一致，注意 ruff 按东亚宽度计长，CJK 算 2）；test_host
  5 项断开 git commit 参数表。
- E402 8 -> 10：生产侧 2 项清掉（db.py _re、github_app
  _base64 移到顶部，之前无引用、无重名）；剩余 10 项全是
  tests/ 的 sys.path 前置 import（6 项旧 + 4 个新测试文件
  沿用同一既定模式），移上去会破坏单文件直跑，有意保留。
- F841 4 -> 0：只去绑定、不删调用（run_task、DB 入队、
  tarfile 上下文、git 提交），各有注释与原测试/新测试覆盖；
  host dispatch_from_branch 新增真实 git 仓库回归测试。
- F811 1 -> 0：server 本地 _row_get 与 peer_messages.row_get
  逐行相同，删本地定义，全部调用点解析到同一 import；
  新增 test_server_row_get（同一对象 + 三路行为）。

mypy（生产范围）：24 -> 0，零新增 type: ignore
- no-redef 9 -> 0：MCP 三模块 try/except 两次 from-import
  改 importlib.import_module + 属性绑定（cloud 优先、flat
  copy 回落、内层 ImportError 同样回落，语义与原来一致；
  flat-copy 子进程测试证实回落后 __module__ 为顶层名）；
  server _row_get 随 F811 消除。
- arg-type 10 -> 0：harness2_tasks shared 改 TypedDict
  逐键精确类型；CodexProbeAdapter 补 no-op validate_tree
  （_adapter_validate 本就跳过缺失方法，行为一致）。
- var-annotated 3 -> 0：sub2api _SHARED_ADMIN/_login_slots、
  verify-multiuser RESULTS 加精确注解。
- assignment/misc 2 -> 0：marker_tools ZoneInfo 先声明
  Any 再 try import（草稿先验 mypy 通过）。

bandit：总数 286 不变，High 仍 4 项，全在 host.py，本轨不改
（属第 3 项白名单轨范围），只做 triage：
- 1319 run_verify：无插值，整串验测命令，管道/&& 须 shell
  语义（新增 test_host_run_verify 断言管道与 && 真实生效）。
- 1497 notify：模板来自算子配置，三处插值全部 shlex.quote，
  证据为既有 test_notify_failure_quotes_shell_metacharacters
  （; touch 与 $(touch ) 不执行）。
- 2099/2103 goal verify：无插值，任务配置验测串，同 run_verify。
- 无新增 High；pip-audit 0 漏洞。

覆盖率（同口径三套件 coverage 计量）：75.96% -> 77.87%
（22392 行/缺 5385 -> 22437 行/缺 4963，显示 76% -> 78%）
- client.py 0% -> 90%（pipe 假子进程 + main 分支）
- run_parallel.py 0% -> 97%、migrate 包装 0% -> 95%
- playwright_mcp 37% -> 62%、imagegen_mcp 47% -> 79%、
  websearch_mcp 51% -> 86%、deploy.py 56% -> 77%
- verify-multiuser 0% -> 27%（仅 check/req helper；main()
  是主机侧真实多用户实弹验证，按门禁不建生产任务、
  不以 mock 冒充，仍为缺口）
- host.py 55% -> 57%（文件 2020 -> 2060 行系 E702 分行
  的计量口径变化，非代码膨胀）
- 未到 85%：门槛保持 75% 不动，不删低覆盖模块出统计口径；
  缺口主力仍是 server.py / worker.py / host.py 大文件，
  下一阶段须针对性深测，非本轨快赢可及。

验证：三套件 1576 -> 1629 项全过（tests 127、cloud/tests
1449 skipped=4、deploy/tests 53）；ruff E9 通过；mypy 0；
bandit High 4（同上）；pip-audit 0 漏洞；试跑产物已删，
提交后工作树干净。
 2026-11-03 02:48:54 +00:00
host 3a56f83114 websearch: 默认 auto 付费冻结，SearXNG 优先 + 显式解冻开关 
- 默认 auto 只走免费链 searxng -> duckduckgo；即使环境里有
  付费 key 也不调用 Perplexity/Exa/Tavily/Brave，SearXNG
  失败也不回落付费，默认使用零付费花费。
- 付费后端代码/测试/文档全部保留；显式 pin（tavily/exa/
  perplexity/brave）仍照常调用，是有意覆盖不是默认。
- 解冻开关 WEBSEARCH_ENABLE_PAID，仅精确值 "1" 才恢复旧链
  （perplexity/exa/tavily/brave/searxng/duckduckgo），默认关；
  开关经 worker search_env 透传进 MCP config env。
- HttpClient 超时/DNS 失败改报显式错误（timeout after Ns /
  URL error），绝不把超时写成“无结果”。
- SearXNG 默认参数核实：代码无 SEARXNG_URL 硬编码默认值；
  SEARXNG_ENGINES 默认 bing,360search 已在基线；WEBSEARCH_TIMEOUT
  默认 20 秒。主机 env 实测仅 SEARXNG_URL=http://searx.diante.me
  一行，故默认 pin 生效；文档 https 漂移改回 http（主机 nginx
  仅听 80、无 443 vhost，https 在 TLS 层即失败）。
- 旧测试更新原因：test_websearch_mcp 原断言默认 auto 为
  perplexity 优先，与新冻结语义直接冲突，故改为断言冻结后
  的 searxng -> duckduckgo 回退 + 不泄漏 key；旧 perplexity ->
  exa 回退断言移至解冻开关测试（WEBSEARCH_ENABLE_PAID=1 下）。
  未删断言、未加 skip、未放宽门禁。
- 文档另删 WEBSEARCH_PROVIDERS 说法：代码从未实现该变量。
- 未推、未建 PR、未合并、未部署、未改主机 env/nginx/filter/
  证书、未做付费后端 live 验证、未创建生产任务。
 2026-11-01 14:15:54 +00:00
host e9fa43dd8b websearch: task-level allowed_hosts extension for scope=code + JS-heavy extract evaluation (mock-first) 
- search(..., allowed_hosts=[...]) extends (never replaces) the 15-domain
  code list for that call only; scope=general + allowed_hosts raises,
  empty/illegal values raise before any HTTP, dot-boundary matching,
  extension values never in error strings or attempted entries.
- Native-filter parity: Tavily/Exa get the effective list, Perplexity
  skips its native filter past its 20-domain cap (post-filter stays
  authoritative), Brave/SearXNG/DuckDuckGo rely on post-filtering.
- MCP web_search gains allowed_hosts passthrough (only when supplied,
  so older search_fn fakes keep working).
- JS-heavy evaluation documented in docs/web-search-mcp.md, mock-first:
  direct fetch is shell-only by construction; provider extract can
  supply rendered text in mock only; live SearXNG in this VM env
  failed (remote closed connection) and paid-backend live effects are
  unvalidated blockers, not claimed.
- Tests: test_code_search_ext (9) + test_js_heavy_extract (5 + 1 live
  skipped); existing websearch/code-search suites still green.

(cherry picked from commit 9c26bbe848438e1f34bcb000700aeb4c284f4f23)
 2026-11-01 09:06:28 +00:00
host 397a46f850 websearch: add scope=code programming search + provider extract chain 
- search(..., scope=code) restricts to 15 programming domains
  (official docs, GitHub, registries, Stack Overflow, CVE/NVD):
  native include_domains/search_domain_filter where supported
  (Tavily, Exa, Perplexity), post-filtering for all providers
  (Brave, SearXNG, DuckDuckGo have no native filter).
- web_fetch now uses fetch_best: Tavily extract, then Exa
  contents, then direct fetch; both-fail errors name both
  failures, direct-fetch 403 under the egress whitelist is
  fail-closed, not bypassed. Default general scope and direct
  fetch_url behaviour unchanged.
- MCP web_search gains scope enum (general/code); docs updated.
- Tests all mock HTTP, no real keys.
 2026-11-01 08:16:48 +00:00
host 71e31b22a0 websearch: MCP env 写进租户 config，不只靠 docker -e 
2026-10-30 实测：Codex bash 里有 SEARXNG_URL + proxy，
MCP 链却只有 duckduckgo、DNS 瞬间失败——Codex 的 MCP
子进程不继承 Codex 进程 env；给租户 config 加
[mcp_servers.websearch.env] 后同一任务立刻返回真实
SearXNG 结果。修法：worker 在 _docker_task_context
算出网关后、容器启动前，用 ensure_websearch_mcp_env
把 proxy + 搜索 env 写进租户 config（网关此时才已知，
播种时写不死；写失败只记日志不阻塞）。
测试：新增 test_websearch_mcp_env 4 项，相关共 33 项全过。
 2026-10-30 01:16:49 +08:00
host 08d56b15ce websearch: SearXNG 默认只查 bing,360search 
默认 general 类别在 Docker 任务容器里要 20.0 秒才回
（wikipedia/wikidata/brave/duckduckgo/google 引擎全超时，
只有 bing+360search 回），撞 MCP 默认 20 秒超时；随后
DuckDuckGo 经代理也超时，整条链失败。代理本身无问题
（Tinyproxy 白名单早已放行 searx 与 duckduckgo）。
修法：_provider_searxng 默认 engines=bing,360search，
SEARXNG_ENGINES 可覆盖、空值恢复旧行为；worker 搜索
env 透传补 SEARXNG_ENGINES。容器实测：钉住后 0.26 秒
回 3 条（首条北京天气），auto 链 0.15 秒成功；旧 20.0 秒。
测试：新增 test_websearch_searxng 3 项，MCP/worker 共
21 项全过。生产未部署。
 2026-10-30 01:16:49 +08:00
host f8acdffb4a feat: web search MCP v1 (oh-my-pi pattern, Python stdlib) 
web_search auto chain Perplexity/Exa/Tavily/Brave/SearXNG/DuckDuckGo
with pinned-provider no-fallback, web_fetch with head+tail truncation,
codex-home seeding helper (idempotent, never writes keys).
Tests: cloud/tests/test_websearch_mcp.py 12/12 (mocked HTTP).
Not wired into worker, not deployed, paid backends not live-tested.
 2026-10-28 17:14:22 +08:00