All skills
cat-xierluo avatar

/legal-skill-alignment

@9be736d

写法律 Skill 前的前置对齐步骤——通过苏格拉底式提问把零散的法律经验/素材/直觉厘清为结构化 Brief(legal-skill-brief/v1),交给 skill-creator 编译。适用于律师想把文书经验、办案 SOP、咨询记录做成 Skill 的场景。不适用于非法律类 Skill 创建,也不适用于用户已提供完整可执行 Brief 且明确要求直接编译的情况。

Use this Skill: https://skilld.dev/gh/cat-xierluo/legal-skills/legal-skill-alignment

This session only. Nothing lands on disk.

evalsindependent-review-260823README.md

≈2.1k tokens on demand. Your agent reads this file only when SKILL.md points to it.

独立复核记录(independent-review-260823)

背景:v1.0.6 撤回了 v1.0.5 的 promotion 结论(DECISIONS D-2026-08-11-01),既有评测因「worker prompt 泄露待验证规则、运行产物不完整、评分与产物矛盾」全部降级为 NOT_VERIFIED。本目录是对 T-019「独立复核」四要件的完整执行记录。

被测候选:legal-skill-alignment v1.0.6(commit b9d5cb45,未再改动 SKILL.md)

复核日期:2026-08-23


一、T-019 四要件对照

T-019 要求 本轮执行 证据位置
重建不包含待验证规则、评分约束或预期答案的 worker prompt worker 输入仅含:系统设定(skill 路径)+ 用户第一人称请求 + 素材原文。不含 C-01~C-17 清单、不含任何版本规则提示("法源缺失降级""空壳行""防错核对"等词零出现) worker-inputs/
每轮保存完整输入、输出、元数据;至少 3 次独立运行 5 次独立运行:case-01 R1 / case-01 R2(同输入两轮,测稳定性)/ case-02 / case-03 / case-05a(负向)。每次运行为互不知晓的全新 agent 实例,无共享上下文 worker-inputs/ + worker-outputs/
由未参与产出的独立评分器从实际 Brief 重算状态,生成可追溯回执 评分 agent 与 worker agent 完全分离(不同实例,评分者仅见产物不见生产过程);评分器按 SKILL.md 判定规则独立重算 structurally_complete / handoff_ready 再与 Brief 自标注比对 judge/
评分结果与产物一致 + 用户终审确认 见本文件「四、结论」;终审记录见 TASKS/CHANGELOG 待终审

二、评测设计

运行矩阵

轮次 输入 路径类型 考察点(对评分器公开,对 worker 保密)
case-01 R1 供应商服务合同审查素材(2 样本 + 1 SOP) 有素材 五问齐全 / 阈值带 source / 法源三列 / 状态判定
case-01 R2 同 R1(完全相同输入) 有素材 同输入稳定性(R1 vs R2 逐约束比对)
case-02 著作权代理词素材(1 样本 + 1 证据目录) 有素材 诉讼场景三角色防错 / 法源无原文时的 blocker 判定
case-03 数据合规扫描素材(1 样本 + 1 SOP) 有素材 合规场景 / 多法规仅名称无原文的处理
case-05a "douyin 视频批量下载 skill" 负向 步骤 0.5:非法律类不进入对齐流程、不产出 Brief

防泄露措施

  1. worker prompt 与评分材料物理分离:worker 只被给予 SKILL.md 路径与用户消息;constraints-tracker.md 与评分标准不在 worker 可见范围内,评分要求也未写入 worker prompt。
  2. worker 为全新上下文的独立 agent 实例,不继承编排会话(编排会话已读过约束清单与预期)。
  3. 用户消息为第一人称改写("我是律所的执业律师……"),不含评测组织语言。
  4. R1/R2 为两个并行独立实例,互相不可见。

已知边界(如实声明)

  • 负向测试模拟的是「已加载该 skill 的 agent 收到非法律请求是否错误执行对齐流程」(对应 SKILL.md 步骤 0.5),不等价于真实环境里「skill 路由层是否会错误加载本 skill」——后者依赖宿主(Claude Code 等)的 description 匹配机制,本轮不覆盖。
  • 消费者视角检查(consumer-check.md)为轻量实测:验证 Brief 能否被下游按五问无歧义消费,不产出完整编译 Skill。

三、逐轮结果

汇总矩阵

轮次 blocker 级 FAIL warning 级 FAIL 状态四项重算一致 三项特别核查 评分回执
case-01 R1(合同审查) 0 1(C-04 命名格式) ✓ true/false/1/10 全合规 judge/case-01-R1.md
case-01 R2(同输入复跑) 0 1(C-04 命名格式) ✓ true/false/1/9 全合规 judge/case-01-R2.md
case-02(著作权代理词) 0 1(C-04 命名格式) ✓ true/false/1/7 全合规 judge/case-02.md
case-03(数据合规扫描) 0 0 ✓ true/false/1/10 全合规 judge/case-03.md
case-05a(负向:douyin 下载) — — 不适用 C-15 PASS:正确不触发、零 Brief 产出、给出建议去向 judge/case-05a.md

关键结论点

  1. 状态零虚标:4 份 Brief 的 structurally_complete / handoff_ready / blocker 数 / warning 数,经独立评分器从产物重算,与自标注 100% 一致(16/16 项吻合)——v1.0.6 撤回 v1.0.5 时质疑的「评分与产物矛盾」问题未再出现。
  2. v1.0.6 核心规则实测生效:三个正向 case 素材均无法源原文且均产出具体法律建议,三轮全部登记「关键法源原文缺失」blocker 并判 handoff_ready=false(法域已知 CN 未降级)——正是 v1.0.6 收敛的判定矩阵。
  3. v1.0.5 空壳行规则生效:全部法源行均「名称+条号」合法转录或按 case-03 例外条款处理,零「三列凑空」行,降级首行占位齐备。
  4. v1.0.4 防错核对生效:三案三个陷阱(法务部/法官/合规负责人误填 represented_party)全部避开,防错核对行齐备。
  5. 同输入稳定性:R1 vs R2 十四项约束判定零漂移、状态零漂移,SOP 阈值口径冲突被两个互不知晓的实例独立发现(详见 stability-comparison.md,判定 STABLE)。
  6. 下游可消费性:消费者视角实测 7/10——Brief 五问可近乎一对一映射为下游 SKILL.md 结构,blocker/warning 语义被下游正确理解;T-001 从 STATIC_COMPATIBILITY_REVIEW 推进为真实下游消费证据(consumer-check.md)。
  7. 唯一的产出侧瑕疵:C-04 命名格式(output_audience / doc_type 用 kebab-case),3/4 轮 warning 级 FAIL,不阻塞任何交接判定——根因一半在源规范自相矛盾(见下)。

发现的源规范缺陷(回填项,不阻塞本轮结论)

# 缺陷 证据 建议
D1 standard-prompt-output.md 命名约定表要求 snake_case,但同文件自己的元数据示例与模板填充示例全部用 kebab-case(compliance-officer/contract-review 等),SKILL.md 官方 doc_type 枚举也是 kebab 三份评分回执一致指出;3/4 轮 C-04 FAIL 的取值均逐字镜像规范示例 修订规范:统一约定与示例(二选一),下次 minor 版本处理
D2 standard-prompt-output.md 模板示例安全段写「是否涉及最终法律结论:否」,与 SKILL.md「合同审查结论属具体法律建议」的权威判定冲突 judge/case-01-R2.md 状态重算第 3 步 修订示例为「是(审查意见属具体法律建议)」
D3 顶部 blockquote 是否须同时标注 legal-skill-brief/v1 与 question-set/v1 两个版本,SKILL.md 表述与实际产出存在形式偏差(R1 只标了前者在顶部) judge/case-01-R1.md C-02 备注 在模板中明确顶部双标注
D4 Brief 缺下游需要的四件小信息:非目标/不要用于专段、产物文件格式(Word/md)、输入通道约定、目标 skill 命名说明 consumer-check.md §4 纳入 question-set/v2 或模板增补考量

四、结论

独立复核四要件全部满足,5 轮独立运行(含 1 组同输入复跑)+ 5 份评分回执 + 1 份下游消费实测全部落盘并固化哈希:

  • blocker 级 FAIL:0(14 项硬约束 × 4 份 Brief,全过)
  • 负向触发:正确不触发
  • 状态判定:16/16 项重算一致,零虚标
  • 同输入稳定性:STABLE(零漂移)
  • 下游可消费性:7/10,无结构性障碍
  • 产出侧唯一瑕疵:C-04 命名格式(warning 级,根因含源规范自相矛盾 D1)

T-019「待完成(独立复核)」四要件逐项达成:①本轮 worker prompt 零预期泄露(输入文件存档可查);②5 次独立运行、完整输入/输出/评分归档、sha256 固化(hashes.txt);③独立评分器(与生产者分离的实例)从实际 Brief 重算状态并出具可追溯回执;④待用户终审确认后更新发布状态(本文件即终审输入)。

复核结论:v1.0.6 候选通过独立复核,满足恢复「可分发/可交接」状态的证据条件——待用户终审。

Source: SKILL.md on GitHub

1 warning10d3 checks · Risk SAFE
  • Gen Agent Trust Hub10d

    The analysis of the legal-skill-alignment skill reveals a robust security posture focused on the structured alignment of legal knowledge without performing high-risk operations. The skill primarily serves as an instructional framework for generating structured markdown briefs, incorporating significant internal quality controls and de-sensitization protocols. No evidence of malicious patterns such as remote code execution, persistence, or credential exfiltration was detected. Potential risks related to indirect prompt injection are addressed through specific instructions for data de-identification and the use of 'unverified' status for unconfirmed legal sources. The included evaluation documentation demonstrates a high level of testing rigor and integrity checking.

  • Socket10d

    No alerts

  • Snyk10d

    Risk: MEDIUM · 1 issue

Signed by skilld at 9be736d. This ties the file your Agent reads to that commit on GitHub. It does not review the instructions.

Last checked against GitHub yesterday.

Activeupdated 2 weeks ago
homepage
https://github.com/cat-xierluo/legal-skills
author
杨卫薪律师(微信ywxlaw)
version
1.0.7

README badge

README badge for cat-xierluo/legal-skills/legal-skill-alignment