网站恢复上线后，最容易出现的误判，是把“能打开”“爬虫回来”和“收录恢复”当作同一件事。它们分别需要可用性、访问日志和搜索索引三个层面的证据。本文给出一套可执行的检查顺序，适合经历过宕机、迁移或长时间访问异常的网站。
RootGS 技术编辑 · 2026 年 9 月 16 日 · 适用于具有网站日志与 Search Console 查看权限的站长
一、先明确自己正在等什么
| 阶段 | 能证明什么 | 不能证明什么 |
|---|---|---|
| 页面可访问 | 当前网络、TLS 与服务能返回内容 | Google 已经访问过这个页面 |
| Googlebot 抓取成功 | 经核验的爬虫请求到达，服务器返回了响应 | 正文一定被渲染完成、编入索引或获得排名 |
| 页面已编入索引 | Search Console 报告该网址的索引状态 | 所有关键词都有曝光或排名已恢复 |
| 搜索表现改善 | 相关页面或查询出现曝光、点击变化 | 变化全部由本次恢复上线造成 |
Google 官方说明，成功的 2xx 响应只是内容可能被进一步处理的条件，不能保证收录。重新抓取可能需要几天到几周，也没有提交一次就立即恢复全部页面的承诺。应把“检查窗口”与“恢复期限”分开：按固定窗口观察趋势，而不是为搜索引擎设定一个保证日期。
二、先排除“看上去正常”的错误页面
打开首页之后，再检查一篇旧文章、一篇新文章、分类页和站点地图。使用未登录状态访问，确认页面没有被挑战页、维护提示或空白模板替代。某些错误页面也返回 200，所以状态码与实际正文要一起看。
# 替换为自己的域名；只读取响应头，不提交业务操作
curl -I https://example.com/
curl -I https://example.com/robots.txt
curl -I https://example.com/sitemap.xml这些命令只适合第一轮检查。对于按请求方法返回不同结果的应用，还要用正常 GET 请求查看正文。出现 301 时，记录原始地址与 Location：HTTP 跳转 HTTPS、非首选域名跳到首选域名可能是预期行为；跳转循环、跨到无关页面或最终落到错误页才需要修正。不要为了追求“全部 200”删除有用途的规范跳转。
三、不要只搜索日志里的 Googlebot 字样
User-Agent 是客户端可以自行填写的字段。应先筛选候选请求，再通过 Google 官方爬虫 IP 范围核对来源；也可以按官方方法反查主机名并正向解析回原 IP。只看到名字中有“google”或者看到某个云服务商 IP，不足以认定为 Google 搜索爬虫。
如果网站使用 CDN，源站记录的连接地址可能属于代理。先正确恢复真实访客 IP，再做爬虫核验。否则同一个代理 IP 会混合许多访客，统计失去意义。CDN 直接从缓存响应的请求也可能不进入源站日志，所以源站计数不应冒充全站完整抓取量。
四、把一天的日志整理成五个指标
- 明确时间范围：例如北京时间前一天 09:00 至今天 09:00。服务器切换过时区时，按每条日志自带的时区偏移转换，不能直接把两段时间文本拼接比较。
- 统计已核验请求：把正文、图片、CSS、JavaScript 分开，避免一次页面渲染产生几十次资源请求，被误读为几十篇文章被抓取。
- 按文章标识去重：同一文章可能有多个 URL 写法。对能可靠解析的内容 ID 去重，再区分旧文章与新增文章。
- 检查响应：列出 200、301、404、429 和 5xx。对异常保存具体路径与时间；有跳转时检查最终结果。
- 记录入口：最近一次正文、robots.txt 与 sitemap.xml 的抓取时间，比一个孤立的总请求数更能说明进展。
教学示例：假设一天记录到 180 次已核验请求，其中 100 次是静态资源、80 次是文章请求，去重后只有 62 篇文章。正确表述是“抓取涉及 62 篇文章”，而不是“新增 180 篇收录”。如果 12 篇属于新发布内容，只能进一步说明爬虫已开始发现新内容。这些数字仅用于演示，不是任何网站的实测数据。
五、用 Search Console 接上日志的最后一段
挑选首页、重要分类页、两三篇旧文章和新文章，使用网址检查分别看抓取与索引信息，并核对系统选择的规范网址。实时测试用于判断当前可访问性，与已保存的索引状态不是同一份结果。批量新增内容通过站点地图提供发现入口，少量重要网址可以申请重新抓取，不必对同一个网址反复提交。
如果状态是“已抓取但未编入索引”，继续增加文章数量未必能解决问题。检查页面是否重复表达同一问题、正文是否只有少量换词、内部链接是否清晰，以及内容是否真正回答用户的具体需求。优先完善关键页面，保留稳定 URL，不要频繁删除重发来制造“新内容”。
六、一份可以每天复用的记录
每天记录同一时间窗口下的：已核验请求数、正文去重数、新文章数、5xx 数量、最新站点地图抓取，以及重要网址的索引状态。抓取持续且错误减少，说明访问层正在恢复；索引和曝光变化则需要继续用对应报告验证。没有抓取时先解决可访问性与发现入口，有抓取但不收录时再把精力放到内容与规范网址上。
