📍 WDQWDWQD987AAAAA:216.73.216.192
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /3e4062bfeac9.html
📄

seo技巧大全怎样核对抓取限制：一份可执行的排查清单

核对抓取限制，核心是回答三个问题：谁在抓、被什么挡住、证据在哪。最有效的做法不是凭感觉改设置，而是按“日志→robots.txt→页面响应→站点配置”的顺序逐项取证，每项都留下可对比的原始记录。下面这份清单可以直接照着执行。

第一步：先看服务器日志里真实发生了什么

要查的是搜索引擎爬虫对你站点的实际请求记录，而不是后台统计里的“访问量”。在服务器访问日志中筛选爬虫的 User-Agent，例如包含 Googlebot、Bingbot、Baiduspider 的行，统计它们请求了哪些 URL、返回了什么状态码、频率如何。

• 查什么：目标 URL 是否被请求过，返回码是 200、301、403 还是 404。
• 怎么查：用命令行工具过滤日志，例如 grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c，得到状态码分布。
• 结果说明什么：如果目标页面根本没有爬虫请求记录，问题可能出在发现环节（内链、站点地图）而非抓取限制；如果有请求但返回 403 或 429，则更可能是服务器或防火墙层面的拦截。

注意日志时间要与你的排查时间对齐。一次改动前后做比较时，要考虑季节、搜索需求和采集差异，不能把流量波动直接归因于某次设置变更。

第二步：核对 robots.txt 是否真的挡住了目标路径

robots.txt 是最容易被误配的地方，尤其是通配符和目录层级写错时。检查方法是逐条读规则，而不是只看有没有 Disallow。

1. 打开 https://你的域名/robots.txt，确认返回 200 且内容完整，没有因服务器错误返回空文件。
2. 找到对应爬虫的 User-agent 段，检查 Disallow 的路径是否覆盖了目标 URL。例如 Disallow: / 会屏蔽全站，而 Disallow: /search 只影响该目录。
3. 注意规则匹配是前缀式的：Disallow: /page 会同时挡住 /page、/page-a、/page/b。
4. 用浏览器直接访问被禁 URL，确认它本身返回 200，说明限制来自规则而非页面故障。

判断结果：如果目标 URL 命中了一条 Disallow，那就是已定位的抓取限制；如果规则里没有相关条目，robots.txt 就不是原因，继续往下查。历史遗留的旧规则也要一并清理，因为过期的 Disallow 同样会持续生效。

第三步：检查页面响应头与 meta 指令

有些限制不在 robots.txt，而在 HTTP 响应头或 HTML 里。要查的是 X-Robots-Tag 响应头和页面 <meta name="robots"> 标签。

• 查什么：是否存在 noindex、nofollow、noarchive 等值，以及它们作用在哪个层级。
• 怎么查：用 curl -I https://你的域名/目标页面 查看响应头；用浏览器查看源代码搜索 meta name="robots"。
• 结果说明什么：noindex 阻止的是索引而非抓取，页面仍可能被请求；X-Robots-Tag 写在服务器配置里，往往比页面标签更难发现，需要重点确认。

如果响应头里出现 X-Robots-Tag: noindex，而页面里没有对应标签，说明限制是在服务器或 CDN 层加的，要去那一层排查。

第四步：确认服务器与安全策略是否在拦截

当日志显示爬虫请求被拒绝，或抓取频率异常低时，要区分“可能原因”和“已经定位的原因”。常见解释包括：防火墙按 IP 或频率拦截、CDN 的机器人防护规则、WAF 误判、返回 5xx 导致爬虫降频。

• 查什么：目标 URL 在无浏览器指纹的情况下能否正常返回 200。
• 怎么查：用 curl -A "Googlebot" -I https://你的域名/目标页面 模拟爬虫请求，观察状态码；再对比普通请求的状态码。
• 结果说明什么：如果模拟爬虫被 403 而普通请求正常，通常指向服务器或安全策略的针对性拦截；如果两者都失败，则是页面本身或服务端故障，与抓取限制无关。

这一步要避免只凭单一现象下结论。同一个 403 可能来自防火墙、CDN 或应用层，需要逐层关闭或放行来验证，而不是直接认定是某一个组件的问题。

把证据整理成可复现的记录

核对抓取限制的价值在于可复现。建议对每个目标 URL 记录：日志中的请求时间与状态码、robots.txt 匹配到的规则、响应头中的 robots 指令、模拟请求的返回结果。四项对齐后，限制来源基本就明确了。

下一步：挑一个当前最影响收录的 URL，按上面四步跑一遍，把每步的原始输出保存下来。如果四项都正常但页面仍未被抓取，问题就转向发现与内链环节，而不是抓取限制。