决策记录
DEC-001：生产规则与私有评测资产分层保存
日期：2026-09-04
背景
course-generator 已使用多轮 MiniMax、GLM 和三门真实课程进行迭代，但来源、候选产物、评估报告和供应商失败记录主要散落在外部工作目录，无法稳定支持跨版本回归。同时，本 Skill 位于公开仓库，真实课程可能含个人信息或未公开内容，不宜直接复制进 Skill。
决定
- 在 course-generator 内保存能够直接改变生成或验收判断的通用规则、确定性脚本和质量合同。
- 在私有 eval-harness 中保存真实材料的哈希索引、历轮产物目录、失败分类、评分历史、运行元数据和冻结数据集 release。
- 现阶段以 Git 管理的 JSON、JSONL、Markdown 和不可变文件哈希为唯一事实源，不引入数据库。未来数据量显著增长时，可以建立 SQLite 查询缓存，但数据库不得取代版本化原始记录。
- 已参与 Skill 修改的三门课程标为 calibration，不误标为 blind holdout 或用户认可的 golden。
影响
生产 Skill 不加载数十兆评测资料，弱模型上下文保持可控；每次额度消耗产生的候选、失败和运行状态可以进入统一回归库。版本晋级必须区分运行有效性、机械通过和语义通过。