爬虫日志分析：静态响应与脚本渲染结果不同时怎样定位差异
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /38f3c579ab87.html
📄
爬虫日志分析：静态响应与脚本渲染结果不同时怎样定位差异
先给有条件的结论：如果日志里同一 URL 的抓取请求返回 200，但抓取到的正文与你在浏览器里看到的不一致，优先怀疑“返回给爬虫的 HTML 本身就不含目标内容”，而不是先怀疑渲染服务故障。这个判断成立的前提是：日志中的响应体大小、状态码和 User-Agent 分组能对上，且你能拿到该次抓取的原始响应片段。缺少原始响应时，结论会失效，只能退回到分组对比。
先分清三种“不同”：内容缺失、内容替换、内容延迟
静态响应与脚本渲染结果不同，通常表现为三类，处理顺序完全不同。
- 内容缺失：爬虫拿到的 HTML 里没有目标文本，浏览器执行脚本后才出现。日志特征是该 URL 的响应体偏小，且同一路径在带脚本能力的抓取分组里响应体更大。
- 内容替换：爬虫拿到的是占位文案、登录提示或验证页，浏览器看到的是正常内容。日志特征常伴随 200 状态码但正文长度异常，或同一 IP 段反复出现相同短响应。
- 内容延迟：静态响应里有内容，但版本比浏览器旧。日志特征是同 URL 多次抓取返回体大小波动，且波动与发布时间相关。
先判断属于哪一类，再决定是改服务端输出、调整渲染策略，还是只处理缓存刷新。把三类混在一起排查，会浪费大量时间在错误的方向上。
用日志字段做一次可复核的分组对比
定位差异的核心动作是：按 User-Agent 和 URL 路径分组，比较响应体大小、状态码和抓取频次。具体做法是，从日志中筛出目标路径，按 UA 分成“声明支持脚本执行”和“不声明”两组，分别统计响应体大小的中位数。
假设目标页面静态 HTML 约 8KB，渲染后正文约 40KB。如果日志显示某组抓取请求的响应体稳定在 8KB 左右，而另一组在 40KB 左右，说明差异来自服务端是否返回了脚本执行后的内容，而不是抓取失败。这个例子只用于说明比较方法，不代表真实站点数据。
下一步动作取决于对比结果：
- 如果两组响应体都偏小，问题在服务端输出，优先检查模板是否把正文放在脚本注入之后。
- 如果只有一组偏小，问题在渲染能力或 UA 识别，需要确认服务端是否按 UA 返回了不同版本。
- 如果响应体大小正常但内容仍不同，问题可能在缓存或内容替换，需要对比同一时间窗口内多次抓取的返回体。
这个动作的结果直接影响下一步：响应体大小能区分“没返回”和“返回了但不对”，前者改输出，后者查缓存和替换逻辑。
一个会让上述结论失效的反例
如果日志中的响应体大小本身不可靠，比如服务端对爬虫请求做了压缩或分块传输，而日志只记录了压缩后的大小，那么“响应体偏小”就不能证明内容缺失。此时两组响应体大小可能都偏小，但实际内容完整。
另一个反例是：静态响应与浏览器结果不同，但差异只出现在特定地理区域或特定网络出口。日志按 UA 分组看不出问题，因为同一 UA 在不同出口拿到不同版本。这种情况下，需要按 IP 段或出口区域再分一次组，否则会误判为渲染问题。
还有一种情况：日志显示某组抓取请求返回 200 且响应体正常，但目标内容仍不在其中。这可能是内容被替换成了结构相同但语义不同的页面，比如列表页替换了详情页。响应体大小相近，但内容不对，单靠大小无法发现。
需要额外核查的适用条件
上述判断依赖几个条件，缺一个就要调整结论：
- 日志必须包含原始响应体大小或可获取的响应片段，只有状态码和 URL 不足以定位差异。
- User-Agent 分组要能区分是否具备脚本执行能力，否则分组没有意义。
- 如果站点使用了 robots.txt 限制某些路径，抓取限制不等于内容不会出现在索引里，也不等于差异来自限制本身。robots.txt 只约束抓取行为，不解释响应内容差异。
- 站点地图不保证收录，不能用地站地图中的 URL 是否被抓取来判断渲染是否正常。
- 如果差异涉及多个搜索引擎，需要分别核查各自的抓取和渲染行为，不能用一个引擎的日志结论套用到另一个。
下一步动作：先固定一个可复现的对比样本
不要直接改代码或调整渲染服务。先固定一个可复现的对比样本：选一个目标 URL，在日志中找出同一时间段内至少两次抓取记录，一次来自声明支持脚本的 UA，一次来自不支持的 UA，分别记录状态码、响应体大小和抓取时间。
如果两次记录的响应体大小差异稳定，且与浏览器渲染结果一致，就可以把问题范围缩小到服务端输出或渲染策略。如果差异不稳定，或者同一 UA 多次抓取结果不一致，优先排查缓存和内容替换，而不是渲染能力。
这个动作的结果决定了下一步是改服务端模板、调整缓存策略，还是只更新渲染服务的配置。在拿到可复现样本之前，任何修改都无法验证是否有效。
