独立复核记录(independent-review-260823)
背景:v1.0.6 撤回了 v1.0.5 的 promotion 结论(DECISIONS
D-2026-08-11-01),既有评测因「worker prompt 泄露待验证规则、运行产物不完整、评分与产物矛盾」全部降级为NOT_VERIFIED。本目录是对 T-019「独立复核」四要件的完整执行记录。被测候选:
legal-skill-alignmentv1.0.6(commit b9d5cb45,未再改动 SKILL.md)复核日期:2026-08-23
一、T-019 四要件对照
| T-019 要求 | 本轮执行 | 证据位置 |
|---|---|---|
| 重建不包含待验证规则、评分约束或预期答案的 worker prompt | worker 输入仅含:系统设定(skill 路径)+ 用户第一人称请求 + 素材原文。不含 C-01~C-17 清单、不含任何版本规则提示("法源缺失降级""空壳行""防错核对"等词零出现) | worker-inputs/ |
| 每轮保存完整输入、输出、元数据;至少 3 次独立运行 | 5 次独立运行:case-01 R1 / case-01 R2(同输入两轮,测稳定性)/ case-02 / case-03 / case-05a(负向)。每次运行为互不知晓的全新 agent 实例,无共享上下文 | worker-inputs/ + worker-outputs/ |
| 由未参与产出的独立评分器从实际 Brief 重算状态,生成可追溯回执 | 评分 agent 与 worker agent 完全分离(不同实例,评分者仅见产物不见生产过程);评分器按 SKILL.md 判定规则独立重算 structurally_complete / handoff_ready 再与 Brief 自标注比对 |
judge/ |
| 评分结果与产物一致 + 用户终审确认 | 见本文件「四、结论」;终审记录见 TASKS/CHANGELOG | 待终审 |
二、评测设计
运行矩阵
| 轮次 | 输入 | 路径类型 | 考察点(对评分器公开,对 worker 保密) |
|---|---|---|---|
| case-01 R1 | 供应商服务合同审查素材(2 样本 + 1 SOP) | 有素材 | 五问齐全 / 阈值带 source / 法源三列 / 状态判定 |
| case-01 R2 | 同 R1(完全相同输入) | 有素材 | 同输入稳定性(R1 vs R2 逐约束比对) |
| case-02 | 著作权代理词素材(1 样本 + 1 证据目录) | 有素材 | 诉讼场景三角色防错 / 法源无原文时的 blocker 判定 |
| case-03 | 数据合规扫描素材(1 样本 + 1 SOP) | 有素材 | 合规场景 / 多法规仅名称无原文的处理 |
| case-05a | "douyin 视频批量下载 skill" | 负向 | 步骤 0.5:非法律类不进入对齐流程、不产出 Brief |
防泄露措施
- worker prompt 与评分材料物理分离:worker 只被给予 SKILL.md 路径与用户消息;constraints-tracker.md 与评分标准不在 worker 可见范围内,评分要求也未写入 worker prompt。
- worker 为全新上下文的独立 agent 实例,不继承编排会话(编排会话已读过约束清单与预期)。
- 用户消息为第一人称改写("我是律所的执业律师……"),不含评测组织语言。
- R1/R2 为两个并行独立实例,互相不可见。
已知边界(如实声明)
- 负向测试模拟的是「已加载该 skill 的 agent 收到非法律请求是否错误执行对齐流程」(对应 SKILL.md 步骤 0.5),不等价于真实环境里「skill 路由层是否会错误加载本 skill」——后者依赖宿主(Claude Code 等)的 description 匹配机制,本轮不覆盖。
- 消费者视角检查(
consumer-check.md)为轻量实测:验证 Brief 能否被下游按五问无歧义消费,不产出完整编译 Skill。
三、逐轮结果
汇总矩阵
| 轮次 | blocker 级 FAIL | warning 级 FAIL | 状态四项重算一致 | 三项特别核查 | 评分回执 |
|---|---|---|---|---|---|
| case-01 R1(合同审查) | 0 | 1(C-04 命名格式) | ✓ true/false/1/10 | 全合规 | judge/case-01-R1.md |
| case-01 R2(同输入复跑) | 0 | 1(C-04 命名格式) | ✓ true/false/1/9 | 全合规 | judge/case-01-R2.md |
| case-02(著作权代理词) | 0 | 1(C-04 命名格式) | ✓ true/false/1/7 | 全合规 | judge/case-02.md |
| case-03(数据合规扫描) | 0 | 0 | ✓ true/false/1/10 | 全合规 | judge/case-03.md |
| case-05a(负向:douyin 下载) | — | — | 不适用 | C-15 PASS:正确不触发、零 Brief 产出、给出建议去向 | judge/case-05a.md |
关键结论点
- 状态零虚标:4 份 Brief 的
structurally_complete/handoff_ready/ blocker 数 / warning 数,经独立评分器从产物重算,与自标注 100% 一致(16/16 项吻合)——v1.0.6 撤回 v1.0.5 时质疑的「评分与产物矛盾」问题未再出现。 - v1.0.6 核心规则实测生效:三个正向 case 素材均无法源原文且均产出具体法律建议,三轮全部登记「关键法源原文缺失」blocker 并判
handoff_ready=false(法域已知 CN 未降级)——正是 v1.0.6 收敛的判定矩阵。 - v1.0.5 空壳行规则生效:全部法源行均「名称+条号」合法转录或按 case-03 例外条款处理,零「三列凑空」行,降级首行占位齐备。
- v1.0.4 防错核对生效:三案三个陷阱(法务部/法官/合规负责人误填 represented_party)全部避开,防错核对行齐备。
- 同输入稳定性:R1 vs R2 十四项约束判定零漂移、状态零漂移,SOP 阈值口径冲突被两个互不知晓的实例独立发现(详见
stability-comparison.md,判定 STABLE)。 - 下游可消费性:消费者视角实测 7/10——Brief 五问可近乎一对一映射为下游 SKILL.md 结构,blocker/warning 语义被下游正确理解;T-001 从 STATIC_COMPATIBILITY_REVIEW 推进为真实下游消费证据(
consumer-check.md)。 - 唯一的产出侧瑕疵:C-04 命名格式(output_audience / doc_type 用 kebab-case),3/4 轮 warning 级 FAIL,不阻塞任何交接判定——根因一半在源规范自相矛盾(见下)。
发现的源规范缺陷(回填项,不阻塞本轮结论)
| # | 缺陷 | 证据 | 建议 |
|---|---|---|---|
| D1 | standard-prompt-output.md 命名约定表要求 snake_case,但同文件自己的元数据示例与模板填充示例全部用 kebab-case(compliance-officer/contract-review 等),SKILL.md 官方 doc_type 枚举也是 kebab |
三份评分回执一致指出;3/4 轮 C-04 FAIL 的取值均逐字镜像规范示例 | 修订规范:统一约定与示例(二选一),下次 minor 版本处理 |
| D2 | standard-prompt-output.md 模板示例安全段写「是否涉及最终法律结论:否」,与 SKILL.md「合同审查结论属具体法律建议」的权威判定冲突 |
judge/case-01-R2.md 状态重算第 3 步 | 修订示例为「是(审查意见属具体法律建议)」 |
| D3 | 顶部 blockquote 是否须同时标注 legal-skill-brief/v1 与 question-set/v1 两个版本,SKILL.md 表述与实际产出存在形式偏差(R1 只标了前者在顶部) |
judge/case-01-R1.md C-02 备注 | 在模板中明确顶部双标注 |
| D4 | Brief 缺下游需要的四件小信息:非目标/不要用于专段、产物文件格式(Word/md)、输入通道约定、目标 skill 命名说明 | consumer-check.md §4 | 纳入 question-set/v2 或模板增补考量 |
四、结论
独立复核四要件全部满足,5 轮独立运行(含 1 组同输入复跑)+ 5 份评分回执 + 1 份下游消费实测全部落盘并固化哈希:
- blocker 级 FAIL:0(14 项硬约束 × 4 份 Brief,全过)
- 负向触发:正确不触发
- 状态判定:16/16 项重算一致,零虚标
- 同输入稳定性:STABLE(零漂移)
- 下游可消费性:7/10,无结构性障碍
- 产出侧唯一瑕疵:C-04 命名格式(warning 级,根因含源规范自相矛盾 D1)
T-019「待完成(独立复核)」四要件逐项达成:①本轮 worker prompt 零预期泄露(输入文件存档可查);②5 次独立运行、完整输入/输出/评分归档、sha256 固化(hashes.txt);③独立评分器(与生产者分离的实例)从实际 Brief 重算状态并出具可追溯回执;④待用户终审确认后更新发布状态(本文件即终审输入)。
复核结论:v1.0.6 候选通过独立复核,满足恢复「可分发/可交接」状态的证据条件——待用户终审。