盲评探针:无答案角色分包验证
本文件说明如何用 scripts/prepare_probe.py 反复做「角色不知道预期答案」的语义回归。它是流程说明,不是领域结论;跑通本流程只说明协议与输入边界成立,不说明法律判断正确。
工具做什么与不做什么
prepare_probe.py --run <路径> --output <路径> 实际调用既有 clerk.py packet,只把当前派发转成该角色可读的冷启动输入。--run 与 --output 都接受绝对路径或相对路径(相对路径按调用方当前工作目录解析,与 clerk.py 行为一致);--output 已存在一律拒绝。
- 只输出书记员 packet 的白名单字段(
instruction、assignment、documents、history、submission_template),其余字段一律丢弃。 submission_template保留原schema_version、run_id、turn_id、role、material_version、read_through、responds_to;宿主读到 output 即可按此结构生成提交。- 不再次
dispatch、不commit、不修改 run,不生成transcript.md或state.json。 - 不加载、不拷贝
assets/semantic-probe-reviewer.json;正文不含预期结论、评分口径、他方私有材料或材料清单路径。 - 通用角色任务文本只说明纪律(用哪些材料、怎么引用、怎么保留提交字段),不含任何针对具体案件的结论。
- 角色任务只允许在正文与
citations中引用visible_to为[all]的公开材料编号;本方私有材料在正式入卷质证前只能说明其存在与拟证明对象,不得披露具体数量、结论或编号。他方私有材料不在 packet 内,提示明确禁止引用、复述或推测其内容,也不引导角色去读材料清单、事件流或其他角色目录。
拒绝条件(一律非零退出并给出单行中文原因,不打印 Traceback):
--run不存在、不是目录,或当前没有待交稿派发。- 书记员 CLI 超过 60 秒未返回(
subprocess.TimeoutExpired):转成单行中文原因,不打印 Traceback。 --output已存在:以O_EXCL独占创建、绝不覆盖、绝不删除调用方原有文件;写入或fsync失败时只删除本次自己创建的那一个半成品。工具不承诺「要么完整发布、要么目录完全不变」:创建与写入之间存在窗口,进程被强杀仍可能留下残留,需人工确认。--output的父目录不存在。- packet 缺字段、提交模板与派发不匹配,或含非本角色的私有材料。
- packet 命中禁止标记(复核答案资产名、参考答案、评分步骤、材料清单文件名、事件流路径):宁可报错也不产出。
源 run 绝对路径的说明
packet 正文不包含源 run 绝对路径。但主控仍需持有它:clerk commit 需要 --run。路径由主控掌握,不随角色输入分发;角色没有义务、也没有指引去定位该目录。
消费流程
每个回合重复以下四步,顺序不可颠倒:
- 准备 packet:主控
dispatch后运行prepare_probe.py,为当前角色生成唯一输入文件。 - 干净上下文一次性角色:把该文件作为该角色本轮的全部输入,交给一个没有历史对话的独立上下文执行一次发言。不要把上一轮内容、其他角色输出或复核答案带进同一上下文。
- 主控入卷:角色按
submission_template产出提交;主控按 SKILL 的公开边界核对,并用presubmit_check.py --run <当前run> --packet <本轮原样packet> --manifest <派发时完整材料快照> --submission <角色原稿>预检,完整清单不送给角色。合格后执行clerk commit;成功入卷即自动结束本回合,不再cancel。不合格退回原角色修稿,技术故障按书记员协议恢复。 - 下一 packet:回到第 1 步取下一个角色的输入。
全部角色的正式发言都入卷之后,才把 assets/semantic-probe-reviewer.json 交给一位未参与生成任何发言的复核人。该资产含来源、四类语义边界(事实归属、推断限度、角色可见范围、程序回应性)、材料编号预期与评分步骤;它不是结论,也不能替代真实复核人判断。
每次必须留存的证据
每轮记录以下三项,缺一不可:
- 上下文身份:本次发言所用的 Agent/会话标识,确认是干净上下文。
- 输入摘要:对本轮 packet 计算 hash(或记录其完整摘要),证明用的是哪一份输入。
- 产物 head:入卷发言对应的提交标识或 run 事件序号。
协议 PASS 与语义 NOT_VERIFIED 必须分开写
- 协议层:字段完整、引用合法、材料版本一致、无重复入卷、越界引用被拒。这层可用
test_prepare_probe.py等真实 CLI 回归证明,记PASS。 - 语义层:四类语义边界是否被遵守。这层只能由未参与复核人按
semantic-probe-reviewer.json判定;未做或未做完,一律记NOT_VERIFIED。
不得用「生成 packet 时没有答案」推断「角色确实没有读到其他磁盘内容」;也不得用字符串不含答案自报法律正确。
降级与披露
- 无 Subagent/一次性上下文能力时:可在同一主控中顺序扮演各角色,但必须记为单 Agent 降级演练,明确披露该轮不具备上下文独立性。
- 无权限隔离时:如实说明本轮只有输入分发上的逻辑隔离,没有工具级权限阻断。
- 任何上述降级都只影响语义层结论的可信度,不改变协议层记录方式。