All skills
cat-xierluo avatar

/legal-skill-evaluation

@9be736d

法律 Skill 分层质量评测工具。消费 skill-lint 的通用质量结论,再用三份测试材料、通用六维度、场景微调和律师 taste 评估法律产出,并定位最小修复单元。本技能应在审查、回归验证或发布验收法律 Skill 时使用。不要用于代替通用 Skill lint、正式法律意见或跨场景排名。

Use this Skill: https://skilld.dev/gh/cat-xierluo/legal-skills/legal-skill-evaluation

This session only. Nothing lands on disk.

referencescontract-scenario-rubric.md

≈1.8k tokens on demand. Your agent reads this file only when SKILL.md points to it.

合同型场景评测维度清单

v0.4.0 起降级为深度参考附录。主流程见 universal-dimensions.md(通用六维度 + 通用 taste)+ scenario-tuning-notes.md(合同型场景微调说明)。本文件在以下情况启用:taste 深度核查、合同型场景特异争议、需要比通用六维度更细颗粒度的评分。本文件内容作为 v0.3.x 沉淀供深度参考。

适用范围:合同初审、合同审查、合同起草、合同风险表、补充协议起草等以"合同文本"为处理对象的 Skill 输出。

一、维度清单

维度 1:法律准确性

检查问题:

  • 是否正确理解合同所涉规则、法律关系和基本概念(如违约责任、解除权、不安抗辩、违约金调整)
  • 是否把不确定结论写成确定结论(Hard Fail 邻接项,应回到 skill-lint)
  • 对本场景核心权益(如采购方在服务合同中的服务稳定性、付款方在买卖合同中的验收与付款挂钩)的判断是否准确

低分表现:法条或概念错误;把商业谈判点写成法律风险;把事实缺口写成法律结论。

高分表现:规则表述准确;结论边界清楚;区分法律风险、商业谈判点、事实缺口、需人工确认事项。

维度 2:事实叙述与条款定位

检查问题:

  • 是否忠实基于已提供合同材料(不虚构交易背景)
  • 重点风险是否尽量标注条款编号或条款位置;无编号时是否说明"合同未标明条款编号"
  • 是否遗漏关键条款(付款 / 验收 / 违约 / 解除 / 知识产权 / 保密 / 争议解决 / 适用法律)

低分表现:虚构背景;遗漏关键事实;引用条款但说不清在哪。

高分表现:能对应到具体条款位置;事实缺口明确标注。

维度 3:风险分级与争议焦点把握

检查问题:

  • 是否区分高 / 中 / 低风险,而不是平均罗列
  • 是否抓住对该方(采购方 / 供应商 / 委托方)实际影响决策的高影响条款
  • 是否识别单方变更、单方终止、单方暂停、自动续期、责任上限、争议解决条款等典型高影响条款

低分表现:风险平均罗列;主次不分;把低影响条款列为重点风险。

高分表现:识别关键冲突;按对本方影响排序。

维度 4:逻辑说服力

检查问题:

  • 是否从条款 → 风险 → 建议逐步展开
  • 风险与建议是否一一对应
  • 是否有"只有结论没有理由"的孤立条目

低分表现:只有结论;前后矛盾;建议与风险脱节。

高分表现:链条清楚;可被业务同事或谈判对手理解。

维度 5:实务可用性(修改方向 + 需确认事项)

检查问题:

  • 每项风险是否有具体修改方向(而不是"建议进一步审查"这类空话)
  • 是否列出需业务 / 客户确认的事项(如商业意图、可接受的风险敞口)
  • 输出能否直接进入红线修改、谈判或内部讨论

低分表现:建议空泛;无法修改、沟通或分派。

高分表现:行动项明确;可复核、可沟通、可修改。

维度 6:交付物格式完整度

检查问题:

  • 是否符合本场景交付物结构(风险表 / 初审意见 / 修改建议清单)
  • 字段是否稳定(风险描述 / 条款位置 / 风险等级 / 修改方向 / 需确认事项)
  • 层级是否清楚、读者能否快速定位

低分表现:字段缺失;层级混乱;读者难定位。

高分表现:字段稳定;层级清楚;适配交付对象(内部业务 / 外部客户)。

2026-07-30 contract-copilot 校准新增核查

以下三项来自真实归档校准,不另起通用维度,但在合同深度评测中必须检查:

  • CONTRACT-CAL-1 最终交付物完整性:不能只看 review-plan、执行日志的 applied 数量或脚本自报成功;必须读取最终审查报告,确认风险标题、条款位置、风险描述、修改建议和法律依据没有批量退化为空值或“未提及/待补充”。
  • CONTRACT-CAL-2 前置立场门禁:审查立场为空或“待确认”时,不得输出站队后的风险分级、可签署性结论或正式意见书;正确产出是澄清请求和材料限制说明。
  • CONTRACT-CAL-3 正式意见复核状态:正式律师署名、机构信息或“审查意见书”外观必须与可验证的人工复核状态一致;待复核草稿不得仅靠免责声明伪装成正式交付。
  • CONTRACT-CAL-4 核心事实与可签署性闭环:即使审查立场已经明确,主体、标的/专利对象、价款、期限或核心义务仍大面积缺失时,也不得仅凭风险摘要给出“可签”或“有条件可签”;应把缺失项转为签署前置条件,并将结论降为暂不具备签署判断基础。
  • CONTRACT-CAL-5 输入审阅痕迹隔离:端到端回归必须确认输入 DOCX 是否预带批注或修订;若存在,应记录基线计数或从原始文件生成干净副本,不能把历史审阅痕迹计入当前候选产出。

其中 CONTRACT-CAL-1 可由最终报告 schema/checker 主动验证;CONTRACT-CAL-2、CONTRACT-CAL-4 可由输入状态与 verdict 的一致性 checker 验证;CONTRACT-CAL-3 至少要求模板中的机器可判状态字段,并由承办律师完成最终确认;CONTRACT-CAL-5 可由 OOXML 中批注、修订的运行前后计数验证。

二、合同型场景 taste 项(必须显式核查,不并入维度)

以下是经验律师在合同审查中一眼就会觉得"不对"的东西。它们不直接对应上面六个维度,但任何一项命中都会让整份输出失去可信度。评测时必须逐项核查并单列。

  • taste-1:是否区分"法律风险"和"商业谈判点"。把"价格偏高"写成法律风险,是典型越界。
  • taste-2:是否区分"风险"和"事实缺口"。材料里没说的事情,应标"需确认",不能编。
  • taste-3:是否站在本方立场。采购方视角的合同审查,把"保护供应商"列为重点风险,是立场错位。
  • taste-4:是否提示材料缺失会影响判断(如缺主合同、缺附件、缺报价单)。
  • taste-5:是否避免过度承诺(如"该合同无任何法律风险"这类绝对化表述)。
  • taste-6:是否避免把草稿写成正式法律意见(应明确"初审意见,非正式法律意见")。

三、与 ch07 第六节六维度的对应关系

本清单的六个维度与 ch07 第六节六维度评价标准(法律准确性 / 事实叙述与证据运用 / 逻辑说服力 / 争议焦点把握 / 实务可用性 / 文书格式完整度)一一对应,但做了合同场景专属化:

  • "事实叙述与证据运用"在本场景具体化为"事实叙述与条款定位"
  • "争议焦点把握"在本场景具体化为"风险分级与争议焦点把握"
  • 其余维度保留通用含义

通用六维度的现行定义与来源说明见 universal-dimensions.md。

Source: SKILL.md on GitHub

No alerts10d3 checks · Risk SAFE
  • Gen Agent Trust Hub10d

    A comprehensive evaluation framework for legal AI skills designed to assess legal accuracy, fact faithfulness, and adherence to professional tastes. It includes Python scripts for automated quality gates, hashing, and execution probes. No malicious patterns were detected; the automated scripts are functionally aligned with the skill's primary purpose as a testing and evaluation harness.

  • Socket10d

    No alerts

  • Snyk10d

    Risk: LOW · No issues

Signed by skilld at 9be736d. This ties the file your Agent reads to that commit on GitHub. It does not review the instructions.

Last checked against GitHub yesterday.

Activeupdated 2 weeks ago
version
0.8.12
author
杨卫薪律师(微信ywxlaw)
homepage
https://github.com/cat-xierluo/legal-skills

README badge

README badge for cat-xierluo/legal-skills/legal-skill-evaluation