从网关输入检查 Agent 与 Skill 的效率
当请求成功但等待长,或希望从网关定位 Skill、工具和主子 Agent 的 token 开销时读本文。本 Skill 负责观测、诊断、Magpie 范围内的调整和效果复核;worker 派工与上下文策略由既有 Agent 管理、编排及全局/项目规则负责。
1. 先分清开销来自哪里
读取指定时窗的现有路由记录,不先重启、清缓存或重放全部请求。将请求关联到原任务与具体主/子会话;身份不明时保留未知,不把同一时窗的全部流量都归给一个 worker。
| 输入部分 | 可以核查的内容 | 诊断后的接续方 |
|---|---|---|
system |
宿主内置提示、附加运行规则 | 宿主或 Agent 配置维护方核可控范围 |
tools |
工具定义及重复 schema | 工具接入/Agent 管理方核实际暴露与依赖 |
skills |
Skill 目录元数据、实际加载的正文 | 对应 Skill 维护方核触发、正文和按需参考 |
memory、files |
项目规则、历史记录、输入文件 | 全局/项目规则及任务材料维护方核重复与必要性 |
results |
工具结果、日志、搜索输出 | 对应工具或任务执行方核查询范围、投影与证据完整性 |
chat |
历史对话、派工说明和协作往返 | Agent 管理/编排方核上下文继承与派工材料 |
prompt.parts 是运行时分项,不是独立账单。即使总量标成 counted,各部分也可能是估计后分配;同样的系统规则在两个请求里显示不同 token,不足以证明系统提示变了。缺失、未知种类、分项合计与总量的差额都要披露。不能把嵌套 items 再加一次,也不能据文件名或工具名的计数断言其内部命令或实际 Skill 调用次数。
只读聚合可使用 magpie_efficiency.py:显式给出日志、带时区的起止时间与新私有输出文件。它扫描现有日志、统计输入分项和延迟覆盖,不读取认证、原始会话或网关密钥,不联网、不改请求。参数和部分覆盖状态以脚本 --help 与回执为准;这不是完整请求账分页或账单核验,完整观测沿观测合同。
python3 <skill-dir>/scripts/magpie_efficiency.py <private-routing.jsonl> \
--since <ISO8601-with-timezone> --until <ISO8601-with-timezone> \
--output <private-dir>/efficiency.local.json输入只限具名普通文件,输出拒绝覆盖;读取预算、坏行、未知完成状态及字段缺失分别披露。不能把局部日志读取完成称为“所有 Agent 已覆盖”。
2. 将发现交给对应维护方
网关能展示开销,不代表产生该开销的规则应写进网关 Skill。沿用户现有任务源交回证据,并区分以下职责:
| 问题或改动 | 负责位置 |
|---|---|
| 供应商、订阅、模型目录、路由、回退、供应商账号并发和网关出口 | Magpie 配置及本 Skill 的现有变更流程 |
| worker 如何派发、继承哪些历史、复用哪个会话、同时开几个 worker | Personal Agent 等既有 Agent 管理/编排层,或全局/项目 AGENTS.md |
| 系统规则、工具暴露、Skill 发现目录、客户端上下文与压缩默认 | 对应宿主及 Agent 配置维护方;Magpie 原生命令负责的客户端接线仍沿其现有合同 |
| 单个 Skill 的触发描述、正文重复、输出过长 | 对应 Skill 的维护任务 |
| token、缓存、调用与延迟的变化是否有效 | Magpie 提供观测,任务/产物 owner 验收质量,按既有合同共同复核 |
交接包含:具名任务与观测时窗、实际请求身份、输入分项及覆盖、错误/缓存/延迟事实、尚未排除的解释、建议接续方和效果指标。它是诊断发现,不是替接续方制定派工协议。
不在本 Skill 重复维护 worker 任务卡、上下文继承参数、全局调度规则或宿主配置清单。发现已有全局原则时引用其职责,不再生成平行版本。用户另有具名跨层修改授权时,仍分别绑定维护对象和验收,保留既有在途任务及必要背景。
3. 延迟按阶段解释
先区分最终失败、实际 tries 失败和回退恢复;候选 order 出现不等于请求过。总生成时间、TTFT、首段可见文本、排队和工具执行时间也不是一个指标。
HTTP 状态和业务结果分列:200 仍可能带空文本、未完成流等错误。按 kind 区分主任务、子任务、分类、标题、预测、搜索与视觉辅助调用;预测没得到建议不能直接计成主 Agent 任务失败,也不能只凭频次关闭仍有用的能力。未知 kind 保留为其他,不按名称猜角色。
安装版支持 net 时分别看:own 是网关准备,before 是最后一次出站前的其他请求,pool/DNS/connect/TLS 是连接阶段,send 是 Go HTTP 客户端所见的请求写入,wait 是写完到响应头首字节。插件自己的 fetch 可能没有这些分项;缺失不能补零。
还要核实际协议路径。某些版本的 Codex 流请求会先尝试 WebSocket,失败后再走 HTTP;HTTP trace 此时可能只覆盖握手,不能将其 send 当整个 WebSocket 消息上传时间。安装版示例源码与网络字段定义仅用于理解机制,实际结论绑定正在运行的版本。
只读核对 provider 代理边界;需要连接测试时另行限定新连接数、超时和目的地,不切全局节点影响在途业务。主页 HEAD 返回错误状态仍可能证明 TLS/HTTP 可达,不能证明登录、推理或长流成功。小请求成功也不能排除长请求断流。
提前结束且缺少 response.completed 表示流未完整结束,不能独自确定是供应商、代理还是中间链路;context canceled 不能确定取消发起方。避免以无限重试或重新发送整个大上下文掩盖问题。已有 HTTP/1.1、请求压缩或 WebSocket 回退机制时,先核安装版实现,不重复增加开关或修改已安装核心代码。
4. 做保留质量的同题对照
- 由对应维护方确定改动与试验,任务 owner 固定输入、必要事实、约束、输出范围与验收;候选与产物按现有任务证据绑定哈希。Magpie 记录实际对照差异,不把其他层未执行的策略当作已生效。
- 尽量固定模型、推理强度、工具、账号/套餐及运行条件,保留缓存、负载、输出长度和时间顺序差异。用原生会话用量与网关实际身份交叉核实;未取得 served 回执时不只凭模型配置宣称同源。
- 先独立验收语义质量与硬约束,再比较总输入、非缓存输入、缓存读取/写入、输出、累计调用、失败、返工与任务墙钟。请求耗时相加不等于并发任务墙钟。
- 保留反向结果:提示更短可能破坏缓存前缀,非缓存输入反而更多;缩短输出也可能降低任务完成度。不能只选择看起来省的指标。价格和账单未知时不报金额收益。
原生 input_tokens 与网关 usage.in 不一定同义:某些运行时的 usage 是列表,in 只记非缓存输入,另记 cache_read;另一些格式为对象。先核当前版本及真实匹配记录,不重复扣减/相加缓存,不把输出内 reasoning 再计一次。schema 不识别时保留未知。
单次同题试用只描述该样本差异,不证明稳定提速或普遍省钱。需要每份验收成果的完整账本比较时,按效果复核执行;局部路由样本不冒充其完整分页证据。
5. 交付与停止条件
交回:诊断发现、负责方、Magpie 范围内的实际修改、其他层的采用回执、质量对照、输入/缓存/延迟差异、失败及覆盖缺口、恢复条件。公开层只留方法与合成测试;私人读数、原始输入、账号和真实产物留私有层。
只有诊断或转交证据时,不能称其他层的改动已落地。没有足够证据时保留待定位问题,不为声称“优化完成”改动模型优先级、必需代理、额度休息或在途任务。经济性结论与网关健康分别结算。