验证与证据边界
运行 python3 scripts/test_magpie_route.py 做离线故障验证,增加 --real-cli 才会在临时 HOME/XDG 目录运行已装 Magpie,使用回环不可达端口的虚拟供应商,不读取真实认证、不调用模型。创建真实分组及规则后读取实际 providers.json;检测原配置哈希未变。离线覆盖秘密哨兵、同名组、停用供应商、非法规则/时间、假成功、其他字段变化、陈旧计划、配置漂移和文件权限。
测试检查命令副作用,不能证明所有平台真实推理或限流。原生队列读回验证与账户并发真正生效是不同层;不通过一个离线测试声称平台端并发可用。所有模拟模型只能证明配置行为。
计划 schema 为 magpie-route-policy.v1;只接受显式完整模型 ID 和 mpr-* 新组。inspect 不评估任务质量,也不提供可派发授权。
完成标记由实际读取产生:CONFIG_READBACK_VERIFIED 只限配置;真实请求需独立的 served model/工具回合证据;多轮 Agent 稳定性需外部评估,本版不声称。证据保存在候选之外,绑定文件 SHA-256;源码变化后重测。
0.2.0 新增验证
运行 python3 scripts/test_optimizer.py --real-cli,在临时HOME/XDG下验证已有组变更、部分完成恢复、完整恢复、漂移与计划篡改拒绝。离线用本地fixture验证分页、超时、总量/首屏变化、记录重叠、字段脱敏、未知来源、缓存格式、窗口矛盾、任务重复计数、虚假覆盖、产物变化与效果不足路径。原11项配置测试继续运行。
候选外保存真实日账观察、聚合对账与诊断,核记录总数及输入/输出/cache合计。界面对账另记录日期及可见总量;GUI若暂未完成不以API替代其状态。独立前向检查采用部分观察、无验收的新请求,检查是否避免贸然降级模型或自行签发验收。
效果复核的fixture只证明计算与拒绝行为;真实多任务质量、因果收益、供应商计费和跨客户端行为需实际业务证据。