chat-html 抽取规则
版本: v0.17.0
适用输入
- Cubox Pro 导出的笔记 HTML(含
<div class="reader-page">包装) - 微信 PC 端导出的聊天记录 HTML(页面内含
chatlog标记) - 微信 Mac 端导出的 JSON(与 HTML 一组)
不适用:<iframe> 嵌入 PDF、加密 IM 包、bAK/.dat 二进制。
三类资源白名单
| 类别 | 命中模式 |
|---|---|
| 外链下载 | <a href="...">下载</a> 且 href 命中下表域名 |
| 图片 | <img src> 含 cubox.pro/images/、images.weserv.nl 或 base64 内嵌 |
| 视频 | <video src>、<source src> 命中 mp4/mov/m4v/mkv/webm 后缀 |
外链域名白名单
| 域名 | 备注 |
|---|---|
cubox.pro |
Cubox Pro 下载文件 |
files.cubox.pro |
同上 |
images.cubox.pro |
图床 |
weixin.qq.com |
微信文件 |
szfiles.wx.qq.com |
微信文件 |
wenshu.court.gov.cn |
文书网(少见) |
*.aliyundrive.com |
阿里云盘(如出现) |
*.weiyun.com |
微云 |
pan.baidu.com |
百度网盘 |
输出
- 抽到的资源候选写入聊天 HTML 主记录的
extra_json.chat_html.resources - 本次抽取不伪造独立
materials记录;下载成功的文件在下一次扫描时按真实文件入库并建立来源说明 - 下载到源目录
外部资源/{YYYY-MM-DD}_{原文件名}子目录 - 失败与下载到 0 字节也记入 manifest(
download_status字段在extra_json.chat_html)
默认只做识别与 dry-run。只有用户核对域名、数量和下载目录后,才使用 --chat-html-download。
下载安全边界
- 只接受公网 HTTP/HTTPS URL 或受限的
data:image;拒绝file://、localhost、私网字面地址和其他协议。 - 白名单按解析后的主机名精确匹配或子域匹配,确保
files.cubox.pro.evil.example不命中。 - 主机名必须先完成 DNS 解析(同时查 IPv4 与 IPv6),且全部解析结果都必须是公网地址;解析到私网、回环、链路本地、ULA 或保留地址时直接拒绝,防止白名单域名被 DNS 指向内网造成绕过。
- 连接固定使用已校验的公网 IP,请求期不再重新解析 DNS,避免 DNS rebinding 把已放行的主机改写到内网;TLS SNI 与 Host 头仍使用原始主机名。
- 重定向目标继续执行公网 URL 校验与 DNS 公网校验,且必须保留在用户已确认的原始主机或其子域内;跨域重定向永久拒绝并留痕,按新解析结果重新建立固定连接。
- 错误分级:URL 形式非法、解析到非公网地址和响应超限为永久拒绝;DNS 暂时解析失败和网络超时才进入重试。
data:image只接受 png/jpeg/gif/webp/bmp,并校验内容签名,避免伪装类型进入材料包。- 单个资源最大 100MB;超限、空响应、401/403 和网络失败写入 manifest,不中断其他条目。
- 同名文件追加
_2、_3,不要覆盖既有文件。
文件命名边界
- 发送日期能从该资源附近文字抽出:使用
{YYYY-MM-DD}_{原文件名} - 抽不出:使用
待识别日期_{原文件名}并在 manifestextra_json.chat_html.resources[i].context留痕 - 同日文件名冲突:自动追加
_2、_3... 直到不冲突(不覆盖已有文件)
必选清单对账
在材料清单尾部追加"外部资源抽取对账"小节:
| 类别 | 应抽取 | 实际抽取 | 命中规则 |
|---|---|---|---|
| 外链下载 | N1 | n1 | <a href> + 域名白名单 |
| 图片 | N2 | n2 | <img> + cubox images 或 base64 |
| 视频 | N3 | n3 | <video>/<source> + 视频后缀 |
| 合计 | N | n | — |