# 架构一致性进 CI 与指标闭环(审计加固第 5 步) 实现:`cloud/arch_conformance.py`(纯检查,标准库)、`cloud/metrics.py` (纯计算,标准库)、端点 `GET /metrics-report`(`cloud/server.py`, 与 `/metrics` 同款认证与成员范围)。测试失败即 CI 失败:现有 `host-verify` 工作流已跑 `discover -s cloud/tests`,本轨未改任何 workflow——第 2 轨拥有 lint/类型/安扫,本轨不碰。 ## 架构一致性检查(规则、理由、测试) | 检查 | 规则 | 理由 | 测试 | |---|---|---|---| | 合同版本 | 冻结后版本只能 +1,且须有协调员批准的变更记录(声明向后兼容、列出受影响客户端;破坏性变更须有回归任务) | 契约静默漂移是并行线程分叉的根源;协议是唯一合法路径,检查执行协议而非只记录协议 | `test_arch_conformance.py::TestContractVersion`(正向:等值/批准+1/破坏性+回归任务;负向:未批准、无记录、跳号、不可解析) | | 禁目录 | 任务只能写自有目录;`..` 与符号链接逃逸在解析后判定 | 跨目录写会 corrupt 他人 worktree | `TestDirectoryGuard`(正向:目录内;负向:`..`、symlink、混合写只报违规项)。口径复用已有定义,不另造:控制面 = 租户 work 目录(`worker._tenant_dirs` 的 `work`),技能项目 = `apps//` | | 禁 import | 基础层(db/models/queue/logging_config)不 import 编排层;执行层(sandbox)不 import 持久化/编排层;除 db/backup/migrations 外任何 cloud 模块不得直接 `sqlite3.connect` 或 import `psycopg*`(服务层走 `cloud.db.connect` 或 Store) | 基础层上引是循环依赖前兆;执行器须可换、可假 runner 测试;驱动直连绕过 sqlite/postgres 唯一分发点 | `TestLayerImports`(每项正向+负向)+ 仓库级 `TestRepoLevelScan`(当前主线零违规,未来违规即 CI 失败)。有意不禁:`server.py` 的 `sqlite3.Row`/异常类型适配(那是在 `cloud.db` 连接上的适配,不是绕过;禁它会在基线误报) | | 技术栈冻结 | G2 冻结表变更/删除须有批准的变更记录;新增客户端是新增不是换栈,通过 | 共享核心按冻结表构建,中途换栈使其静默失效 | `TestFrozenStack`(正向:不变/新增;负向:换栈/删除无批准) | 技能项目一键版:`check_skill_project` 把合同版本、冻结栈、目录写 三项合在一起验,`TestSkillProjectFixture` 用合成项目目录正向/负向 各验一次。静态 AST 扫描看不到 `importlib` 动态导入——这是已知 边界,不声称覆盖。 ## 指标采集与报告 端点:`GET /metrics-report`(需 X-API-Key,成员范围)。报告格式 见 `cloud/metrics.py::build_report`:`golden_set`、`decision_ready`、 `metrics`、`thresholds` + `thresholds_source`、`feedback_actions`、 `feedback_consumers`。 指标口径(`compute_metrics`): - 首过绿灯率 = 首过成功任务 / 已知 attempts 的终态任务;缺陷率 = 有缺陷任务 / 已知 defects 的终态任务;返工率 = attempts>1 任务 / 已知 attempts 的终态任务。终态 = completed/merged/failed/ merge-failed;`interrupted` 不算终态(平台中断自动重跑,算失败 是罚平台事件)。 - 每任务成本复用 #212 双列口径:有价 USD micros 与无价 actual token 分列;成本不完整(无成本行或有无价 token)时 `total_usd_micros` 为 `None`,有价部分只以 `priced_usd_micros_partial` 出现——无价永不记 0、永不折进总额。 - 未知率回 `None` + `*_known: false`,绝不报 0。 当前诚实边界(端点实测,审计加固补缺口第 3 项之后):tasks 表 仍无 attempts/defects 列——台账改为独立表 `task_attempts`(`cloud/attempt_ledger.py`),不改主表结构。 端点 `GET /metrics-report` 聚合台账后传给 `compute_metrics`: 有台账行的任务算出真实首过/缺陷/返工率;无台账行的老任务 仍回 `None` + `*_known: false`,绝不被算成首过或无缺陷; 台账表尚不存在(老库、或生产 PG 未手动执行 `PG_DDL`)时 端点与无台账行同等处理,不报错。金任务集未经人工审定, 报告恒为 `pending_human_approval`、`decision_ready: false`。 ## 任务尝试台账(审计加固补缺口第 3 项,选型与口径) 选型:独立台账表,不改主表。列方案查询简单(一行一任务、 无关联),但把每次尝试的历史压成两个计数器——哪次尝试失败、 属哪类缺陷、顺序如何,事后无法恢复;且在生产 Postgres 上拓 宽高频 `tasks` 表比重建一张空表更重。台账表多一次聚合查询, 换来完整尝试历史与不碰主表的迁移,取舍写在 `cloud/attempt_ledger.py` 模块 docstring 里。 表 `task_attempts(task_id, attempt_no, outcome, is_defect, defect_category, created_at)`,主键 `(task_id, attempt_no)`, `attempt_no` 按任务 `MAX + 1` 递增、只追加不改写。口径: - `outcome` ∈ success / failure / interrupted;`interrupted` 行只留档,不计入 attempts 也不计入 defects(平台中断自动 重跑是平台事件,不是 agent 失败;只有中断行的任务在聚合 里直接缺席,仍回未知而非 0)。 - `is_defect` 由记录方显式判定,绝不从 `failure` 自动推导 (失败重试未必是缺陷轮);`defect_category` 须配 `is_defect=True`,中断行永不能是缺陷,违例写时即 `ValueError`,不存歧义数据。任务的单类别标签取首个缺陷 行的类别(attempt_no 顺序,先到先得,确定性)。 - 迁移幂等:SQLite 侧 `CREATE TABLE IF NOT EXISTS`,重跑 不动已有行;Postgres 侧 `PG_DDL`(与 SQLite DDL 同文,只用 Postgres 合法类型与复合主键、无自增/identity 列,故无需 序列处理)**须在生产 PG 上手动执行并验证**(`\d task_attempts` 或 information_schema 等价查询),且有意不 进 `POSTGRES_SCHEMA`(不静默拓宽迁移覆盖集);手动步骤 未做之前,Postgres 端点只会回未知率,不会报错。本机无 PG,真实 PG 验证未做;PG 证据目前只有适配层级别:`?` 占位 经 `cloud.db` 适配翻译为 `%s`、DDL 无需序列处理(测试 `TestPostgresAdapterEvidence` 钉住)。 - 未做项(有意不做,原因见模块 docstring):生命周期写 入钩子未接——worker 重试/续跑循环里哪一次算一次尝试、谁 判定 `is_defect`,接错会把平台自动续跑算成尝试、把瞬时 重试算成缺陷,正好违反本轨钉住的规则;在此之前台账只 经显式 `record_attempt` 调用填充,生产率在写钩子落地前 保持诚实未知,不自动填数。读端点不建表(只读端点不改 schema),建表只发生在写路径。 ## 回流与审计标准迭代(可测试规则,非口号) `evaluate_feedback` 是纯函数,只产出 `auto_apply: false` 的行动 记录,不自动改路由、不自动改标准;行动由两处消费: - 路由:`tighten_check`(某类缺陷率 > 阈值)→ 该类任务路由时加 一道审计门;`route_with_extra_audit`(首过率 < 下限)→ 全量加 审计门。消费动作本身须经协调员/人工确认后才生效。 - 审计标准:`tighten_check` / `recalibrate_check`(某检查的违规被 复核推翻率 > 阈值)各开一条标准复核项;标准文档本身的版本 变更走同一合同变更协议(`check_contract_version`,批准 +1), 测试 `TestGoldenSetAndStandardsLoop` 钉住“无批准改标准失败、 有批准通过”。误报复核规则:推翻率高只触发“复核阈值”行动, 绝不让检查自动放宽自己。 默认阈值(`DEFAULT_THRESHOLDS`:缺陷率 0.20、首过下限 0.50、 推翻率 0.30)只是测试用初值,报告标注 `thresholds_source: "default_unapproved"`;生产阈值须人工拍板后 以 `thresholds_source: "human_approved"` 传入,见待审定清单。 ## 审计的审计:抽查口径(`cloud/audit_sampling.py`,纯函数) 审计结论本身要被人工抽查,抽查规则可测试、可核查,不留 “定期复核”口号: - **必抽(比例 1.0)**:推倒重做案例必抽;第三次失败根因判为 接近完成、续轮仍 fail 的案例必抽。接近完成但续轮成功的、 第 1/2 次失败接近完成的,均不属必抽(阈值就是第三次)。 - **随机抽查**:其余案例按组抽取,普通案例默认 0.10,关键路径 案例默认 0.50;小数组 ceil 取整,绝不因四舍五入抽到 0。 抽取须带 seed(`select_sample` 无 seed 即报错),seed 记入 抽查计划,抽取结果可复现、可事后核查。 - **抽查结果处理**:抽查判审计正确 → 只记一条审计的审计记录, 原结论不动;判错 → 纠正原结论并重新触发相应流程:错发推回 → `cancel_pushback_and_rerun_audit`;错发推倒 → `halt_rebuild_and_restore`(旧实现按推倒规则保存在 git 历史, 可恢复);错放行 → `reopen_audit_and_pushback`;原结论未知 → `escalate_to_human`,绝不编造触发动作。每条结果(无论对错) 都须记入审计的审计记录,未记入即视为未发生。 - **金任务审定清单**(`golden_approval_checklist`):任务清单人工 复核、每任务验收标准人工定义、样本排除、审定人+时间记录, 四项全 done 且至少留一个非样本任务才算批准;样本任务 (`sample=True` 或 id 以 `sample-` 开头)一律从金任务集中剔除 并计数,示例文件永远不算金任务。报告的 `sampling` 段在无抽查 计划时明写 pending,不暗示审计已被复核。 待人工项(单独列):金任务集审定清单的四项人工确认;抽查 seed 的记录与保管;生产抽查比例拍板(默认值 0.10/0.50 只是测试初值)。 台账待人工项(补缺口第 3 项之后):生产 PG 上手动执行 `task_attempts` 的 `PG_DDL` 并验证;生命周期写入钩子拍板—— 哪次执行算一次尝试、谁判定 `is_defect`(在拍板前台账只经 显式调用填充,生产率保持未知)。