宿主内存增长:不中断取证与插件归因
当同一插件宿主的内存持续增加、错误反复出现,或用户要求“别打断任务,查是哪个插件”时读本文。共享 Bun 宿主没有在本 Skill 中验证过的逐插件内存指标;不中断取证可以缩小嫌疑,不能保证直接唯一归因。
本文的默认路径只有有界、低频读取。停用插件、刷新全部目录、重载宿主、强制 GC 和堆转储不属于默认取证。与网关韧性共用证据边界,不另建任务台账。
1. 先保留现场
- 记录故障开始时间和时区、安装版 CLI,以及实际宿主 PID、启动时间、父进程、加载脚本哈希;磁盘上的版本与运行中的版本可能不同。
- 保留现有日志/路由文件的时间范围、大小和必要片段;不先删缓存、截断日志、清认证或重启。原件含账号、提示词和工具参数,只留私有目录,公开材料只导出已核字段。
- 暂停自己额外启动的全量
quota/sync/模型目录探测;不关闭正常自动额度采样,也不停止其他正在推进的任务。多个调查者复用一个采样包。 - 先看磁盘与内存压力。若已快速恶化,缩短取样并报告恢复需求,不为凑满五分钟放任耗尽;这不隐含结束任务或重启授权。
开机时间长不是归因依据。已退出的普通进程没有待回收的用户内存,僵尸由父进程回收;不能靠批量 kill 达到“等效重启”。
2. 固定身份,再看趋势
先跑一轮只读概要;命令均在用户安装的 Skill 目录执行:
bash scripts/gateway_guardian.sh status它只报告调查对象,不能证明哪个 PID 可清理。多个宿主需分别记录父子关系和当前网关监听者;正常更新交接、独立测试实例与废弃残留不是一回事。无法核清归属时保留未知,不结束进程。
然后开始一个有界窗口,输出名每轮更换,脚本拒绝覆盖:
python3 scripts/magpie_resilience.py collect \
--samples 6 --interval 10 \
--output state/resilience/incident-001.local.json默认约五十秒,输出目录 0700、文件 0600。若内存已急速增加,可先用 --samples 3 --interval 2 缩短窗口。只有资源仍允许且首轮不足时,另开 --samples 30 --interval 10 窗口;总预算至多五分钟,不后台无限循环。脚本会将读取耗时计入预算,实际采样不足会返回非零。
检查回执:
status与实际样本数、覆盖秒数;失败的hosts=null、unknown 不能当成零进程或零变化。- UTC 的
started_at/finished_at、样本at用于关联日志;时长与预算继续用单调时钟,墙钟跳变时不从日期差计算增长率。 host_segments按 PID 与进程启动时间分段。只用至少两个有效样本比较该段;不能拼接重启前后的值,也不能将单样本差值 0 解释为内存稳定。auth_change_count只覆盖相邻采样观察到的 mtime 变化,可能漏掉采样间多次写入;一次正常 token 更新也会改变它。
采样器目前只读进程和认证文件 stat;不读凭据内容、不启动 Magpie CLI、不请求供应商,也不读取日志或自动给插件排名。
3. 区分内存、磁盘与历史错误
| 观察 | 首先检查 | 暂时不能下的结论 |
|---|---|---|
| RSS 起伏后回落,任务成功 | 同 PID、多窗口、请求量是否变化 | 单次高值不是泄漏证据 |
| 同 PID 随请求/刷新持续上升 | 并发、未完成任务、认证/目录事件是否同步增加 | 不能直接说 Bun 引擎 GC 失效 |
| 虚拟映射很大 | 已分配/驻留/脏页/物理 footprint,而非只看地址空间预留 | 预留十几 GB 不等于占用了同量内存 |
| 磁盘缓存文件变多 | 文件类别、增长速率、保留期与在途使用 | 删磁盘缓存不等于释放宿主堆或停止写入者 |
| 日志累计很多错误 | 是否在本次窗口继续新增、涉及何种 hook | 历史总条数不等于当前请求数或当前根因 |
严格不能接受目标进程停顿时,先止于 ps/stat/既有日志等低干预证据。需要逐进程分区信息时,可在确认可接受诊断开销后,针对已核 PID 保存两次 vmmap -summary <PID>;同时记录工具时间、退出状态和进程身份。本 Skill 未证明此类诊断对目标进程零停顿,不自动提权或扩大到所有进程。
堆快照、分配剖析、调试器和强制 GC 留到明确允许的诊断窗口。堆内容可能含凭据与请求,不能将原件直接放 issue。没有这些证据时,保留“增长/积压来源未确认”,不要把 RSS 曲线包装成泄漏确诊。
4. 在同一窗口关联事件
用 UTC 回执与已有日志的时区转换对齐,限定同一宿主生命周期。仅采必要时间片;大 JSONL 流式读取,日志按时间片/新增偏移读,不一次载入全部历史。
| 证据 | 记录字段 | 判断边界 |
|---|---|---|
| 路由 | 实际 tries、最终 served、状态/耗时/取消、成功用量 |
order 只是候选;最终 200 可能是别家回退。流式请求未结束也要保留在途边界 |
| 认证 | stat 变化与可核实的 auth 事件类型/来源 | 包名含 auth 不是认证事件;mtime 不能识别是哪一个插件写入 |
| 模型目录/额度 | hook 类型、插件 spec、开始/结束/超时、缓存 readAt |
一个 provider 报错可能是共享刷新被牵连;读卡停更不证明推理停了 |
| 插件绑定 | 实际 serving spec、已装版本/文件哈希、提供的 provider、开关 | 安装/启用不等于实际服务;provider off 也不保证 plugin hook 停止 |
| 生命周期 | 宿主换代、应用更新、CLI/测试实例、launchd runs/退出状态 | 多实例不自动构成冲突;新 PID 变小不是旧进程释放证据 |
插件/目录缓存只投影上述白名单;不打印原始 providers.json、认证或完整插件清单中的账号。拿不到某字段就记未知,不用反复启动 CLI 补齐。
5. 筛选插件,保留反证
先按时间与调用链筛选少量对象,不按报错次数直接排序定罪:
- 认证反复变化、目录反复刷新:查哪些已启用插件会写同一登录记录,是否有多个 fork 共用同一 provider,写入是否幂等。目录报错最多的插件可能只是受害方。
- 认证稳定、超时/取消后仍持续增大:查对应
models/usage/fetch的底层 I/O 是否接受取消、是否有结束路径、是否重复启动未完成任务。对照正常结束样本;宿主生命周期缺口可能跨插件出现。 - 只随并发/长流增加,结束后回落:先核在途体积、排队和背压,不把活跃任务占用等同已完成对象泄漏。未等到自然空闲就明确记该缺口,不能强行让任务空闲。
- 只有卡片/目录停更,推理仍成功:分别查采样和目录链路,不先重登或切模型。
- 只是磁盘增长或启动器反复拉起:转向缓存生产者/保留策略或自启任务;不要继续给插件 RSS 找原因。
同时记录反证:同版本插件在正常完成任务时是否释放、另一个插件是否也触发同类宿主问题、调用量是否变化。某插件有错误而另一个没错误,不能证明前者持有了新增内存。
6. 从嫌疑到确认,按干预程度升级
- 忙时:保留现状、只读相关性和源码路径;不给活跃插件做批量开关或在线二分,不重载来“验证内存下降”。
- 离线:绑定宿主/插件版本与哈希,用虚拟账号/存储和可控慢响应复现写入循环、取消遗漏或任务保留。确认不读生产路径、不连接真实供应商后才执行;更改 HOME 本身不是网络沙箱,也不能把第二个消费者指向真实 refresh token。已有宿主任务复现可作为特定版本案例,不是所有插件的结论。
- 维护窗口:确需实际开关时,先列插件提供的全部 provider、已核在途任务与回退容量,获得适用授权并排空;每次只变一个因素、保存前态再回读。同一可比负载下复测。若开关同时重启宿主,只能说明组合变化后的状态,不能独立归因某插件内存泄漏。
- 仍未定位:记录剩余候选、反证和所缺观测,按上游要求安排可接受的分配/引用链分析,不凭推测提交确定性“引擎泄漏”结论。
归因等级可写为:已观察增长 → 相关候选 → 已离线复现具体缺陷 → 已验证该缺陷与现场增长的因果联系。前三者均不能自动替代最后一项;不要求为取得最后一级而干扰生产。
7. 一轮排查的交回
在既有任务源记录:版本/哈希、宿主身份、窗口和覆盖、请求/事件概况、候选及反证、已执行动作、未执行的高干预动作、剩余验证与恢复条件。私有证据留 state/ 或既有私有目录,公开问题只含脱敏最小复现。
出现持续失败、内存压力/磁盘空间快速恶化时,停止追加取证负担,转入有授权的排空与恢复安排;不自动升级为 kill、清 swap 或全量重启。普通场景不承诺“全机软重启且零中断”。