网站收录检测，源站正常而边缘节点异常时应保留哪些证据
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /f06399c349e9.html
📄
网站收录检测，源站正常而边缘节点异常时应保留哪些证据
先给结论：如果源站返回正常而边缘节点异常，优先保留“同一时刻、同一URL、不同网络位置”的对照证据，而不是只留一张报错截图。因为收录检测最终要回答的是搜索引擎抓取端看到了什么，边缘节点的状态必须能还原到具体时间、具体节点和具体响应，否则后续无论是切CDN、回源还是提交申诉，都缺少可复查依据。
矛盾现象：源站200，抓取端却像没收录
常见情形是：你在源站直接请求某个URL返回200，内容也完整；但搜索端表现像是抓取失败或长期未更新。此时有两种解释都成立。
- 解释一：边缘节点返回了异常状态或空内容。源站正常，但CDN、WAF、负载均衡层对特定UA、特定IP段或特定地区返回403、503、验证页、截断HTML。搜索引擎抓取端命中边缘节点，自然拿不到有效内容。
- 解释二：边缘节点正常，问题在别处。抓取端可能因robots.txt限制、页面本身质量、链接发现不足、站点地图未被处理等原因未收录。边缘节点只是被误判为元凶。
这两种解释的处理代价完全不同：前者要改边缘策略，后者改边缘没有意义。所以证据必须能区分它们。
能区分两种解释的证据清单
关键不是“证明源站好”，而是“证明边缘节点对抓取端返回了什么”。建议保留以下证据，并保证它们时间戳接近。
- 带完整响应头的请求记录。包括请求URL、请求时间、HTTP状态码、Content-Length、Content-Type、Server、Via、X-Cache、Age、CF-Cache-Status一类缓存或节点标识字段（字段名视你的服务商而定）。重点看状态码是否为200，以及响应体长度是否与源站一致。
- 同一URL在两个网络位置的对照结果。一个从源站直连或回源地址请求，一个从公网边缘节点请求。两者状态码、响应体长度、正文关键片段是否一致，是判断边缘是否异常的直接依据。
- 模拟搜索引擎UA的请求记录。用与搜索引擎抓取端一致的User-Agent发起请求，观察边缘节点是否返回不同结果。注意：不同搜索引擎的UA和支持情况须分别核查，不能用一个UA的结果推断全部。
- 边缘节点日志与源站访问日志的对应片段。如果边缘节点有日志，保留同一时间窗口内该URL的命中记录；源站日志保留同一时间窗口的回源记录。两者能对上，说明请求确实到了源站；对不上，说明边缘层就拦截或缓存了。
- robots.txt与站点地图的当前快照。robots.txt的抓取限制不等于可靠的索引移除，站点地图也不保证收录。保留它们是为了排除“抓取端本来就被限制或未发现”这一解释，而不是当作收录保证。
两种做法怎么取舍：先切边缘还是先补证据
面对源站正常、边缘异常，团队常有两种做法。
做法A：立即切换或回源，先恢复服务。适用条件是异常已确认影响线上用户或抓取，且你有可快速回退的配置。代价是切换后原始异常状态可能消失，事后难以证明问题曾存在。因此切换前至少保存一份异常响应记录。
做法B：先固定证据，再决定是否切换。适用条件是异常只出现在部分节点、部分UA或部分地区，线上用户暂未大面积受影响。代价是问题可能持续，抓取端继续拿到异常结果。此时应设定一个明确的观察窗口，窗口内完成对照请求和日志留存，再执行切换。
实际动作示例：假设某URL在边缘节点对搜索引擎UA返回503，而源站直连返回200。先保存边缘节点的503响应头和源站的200响应头，再执行回源或切换节点。切换后重新用同一UA请求，确认返回200且正文长度与源站一致。这个结果决定下一步：如果恢复一致，说明边缘层是主因，后续应排查缓存规则或WAF策略；如果切换后仍不一致，说明问题不在边缘节点，应转向抓取限制、页面质量或链接发现等方向。
证据保留时的常见误判
有几个现象容易让人过早下结论。
- 请求量或抓取量归零。这可能来自边缘异常，也可能来自抓取端正常调度波动、robots.txt变更、站点结构改动。归零本身不能单独证明边缘节点处理正确或错误。
- HTTPS正常。HTTPS不保证安全无漏洞，也不保证排名。证书正常不代表边缘节点返回的内容对抓取端有效。
- 源站日志没有异常。如果边缘节点直接返回缓存或拦截页，请求可能根本没到源站，源站日志自然干净。这不等于边缘节点正常。
因此，证据要围绕“抓取端实际收到什么”来组织，而不是围绕“源站是否健康”。源站健康只是排除项之一。
把证据整理成可复查的最小集合
如果只能保留少量材料，建议按以下顺序整理：同一URL在源站与边缘节点的对照响应头、模拟搜索引擎UA的请求结果、对应时间窗口的边缘与源站日志片段、robots.txt和站点地图快照。每一项都标注请求时间、请求位置和使用的UA。这样即使后续更换了节点或配置，也能还原当时抓取端面对的状态，并据此判断下一步是改边缘策略，还是转向收录检测中的其他环节。
