# eval/ — 评估闭环的金任务示例（格式说明，不是已审定的金任务集）

`golden-tasks.example.json` 只演示 `cloud/eval_loop.py` 接受的格式：
每项 `{id, prompt, tier, checks}`，检查只认 contains / not_contains /
status_completed / max_tokens / max_cost_usd 五种确定性检查。

它不是一份可直接用来做激活决定的金任务集：里面的检查很弱
（例如只要求出现一个数值或一个函数名），容易被回显骗过。
真实金任务集必须由人逐条审定：检查要尽量要求“必须做对才过”
（算出的具体结果、必须经计算才得到的输出），而不是只要求
出现关键词；需要人工判断质量的任务不要硬塞进金任务集。

用法（只评分已完成任务的记录，不跑任务、不花模型费）：

    python3 -m cloud.eval_loop --golden eval/golden-tasks.example.json \
        --run-a run-a.json --run-b run-b.json \
        --label-a model-a --label-b model-b

run 文件是记录列表，每条 `{task_id, golden_id, model, status,
result_text, total_tokens, usd_micros, unpriced_tokens}`，
其中 usd_micros 与 cloud/cost.py 同款微美元单位；成本数据
缺失时相关检查计为 unknown，不计入分母。