信息泛滥与档案焦虑

当你看到一个有趣的链接，第一反应是收藏。第二反应是稍后阅读。第三反应是——忘记。

几周后，你的收藏夹里有几百条未读链接。你不知道哪些是真正重要的，哪些是随手点的。你甚至不记得为什么收藏了其中大部分。

更隐蔽的问题是：有些网页在抓取时已经损坏了。反爬机制返回了错误页面，正文被截断了，或者你抓到的只是导航页而非真实内容。如果你不检查，这些损坏的副本会安静地躺在你的档案里，占用空间，污染检索。

你需要的不只是一个抓取工具。你需要一套质量判断的框架。

设计目标：筛选，不是抓取

这个框架不追求"抓取所有链接"。它追求"识别哪些链接值得进入长期档案"。

评估围绕四个维度展开：

可读性 — 正文是否完整提取？格式是否混乱？是否被广告或无关内容淹没？

完整性 — 抓到的内容是否是真实正文，还是目录页、登录墙、错误提示、反爬拦截？

来源质量 — 来源是否可信？是否有明确的作者和日期？是否是原始出处而非转载？

长期价值 — 这篇文章半年后还有阅读价值吗？它提供了可复用的知识，还是只是时效性新闻？

质量信号

系统使用三层信号来判断一篇网页的命运：

• 抓取状态 — 正文是否成功提取？是完整读取、部分读取、仅获取 metadata，还是被拦截/出错？
• 内容质量 — 提取的正文是否看起来像真实内容？是否存在明显的截断、重复、乱码或模板填充？
• 质量备注 — 人的观察。这篇网页有什么特殊之处？来源是否罕见？格式是否异常？是否需要后续补读？

这些信号不是评分，而是描述。描述比评分更有价值，因为描述保留了上下文，而评分丢失了细节。

四种归档命运

根据信号组合，每篇网页有四种可能的命运：

• 完整归档 — 正文完整、质量可信、来源明确。直接进入长期知识库。
• 部分归档 — 正文部分提取成功，但存在缺陷。保留 URL 和 metadata，正文标记为待补读。
• 仅 metadata — 正文提取失败或被拦截。只保留标题、URL、来源信息，作为"曾注意到但未能阅读"的记录。
• 失败/跳过 — 明确的错误或低质量内容。不进入档案，但保留失败记录用于后续分析。

脚本做初筛，人做最终决定

系统可以自动检测抓取状态、标记疑似问题、生成质量信号。但它不能替你决定一篇网页是否值得进入你的长期知识库。

这个决定涉及你的阅读品味、你的研究兴趣、你对信息密度的容忍度——这些是个人的，不是通用的。

因此，流程是：脚本做初筛，把人从重复劳动中解放出来；人做最终判断，决定什么值得记住、什么值得忘记。

忘记和记住一样重要。一个只进不出的档案不是记忆，是囤积。