本文详解Google Search Console中常见提示如robots屏蔽、备用网页、404、重定向、noindex等的含义。适合网站运营和SEO人员,核心原则是判断提示是否与预期一致,一致则无需处理,不一致才需修复,避免盲目操作。
Tags:
大家好,我是哥飞。
经常有群友问,GSC 里提示我一些问题,要不要处理?
哥飞的回答都是,GSC 里的这些是提示,不是报错。
你想要达到什么样的效果,于是去写了相关代码来设置,然后谷歌帮你检查了这些设置项,并且在 GSC 里把检查结果提示出来。
只有这些提示的结果,跟你预期想要的结果不一致,才是错误,你就需要找到原因,然后去根据原因解决问题。
对于那些跟你预期一致的,不用担心,不用修改,就放在那里就行了。
举例来说,你今天准备买个牛肉馅的包子吃,也真的去买了一个牛肉馅包子吃完了,然后有个人闻到了,说你吃了牛肉馅包子。
这会有什么问题吗?
他只不过说出来了你的真实情况。
如果他说,你吃的是巧克力,或者你吃的是韭菜馅包子,那才说明有问题。
这时候,你就要去检查,到底是他闻错了,还是你吃错了。
GSC 也是一样。
它说某些页面被 robots.txt 屏蔽了,不代表你网站坏了。
它说某些页面是备用网页,不代表你 SEO 做错了。
它说某些页面 404,不代表一定要修。
关键是,这些结果是不是你本来就想要的。
在 GSC 里,你可能会看到下面截图这些提示。
今天这篇文章,哥飞就拿着这些提示,一条一条跟大家解释一下。
注意,这里的每一条,都可以点进去看到,具体是哪些网址被提示了。
有些朋友不知道可以点击,只是停留在这个页面干着急。
这时候其实不用怕,你都点点,反正也点不坏。
下面我们一个一个来说明。
一、已被 robots.txt 屏蔽
点进去,你就能够看到,这些被 robots.txt 屏蔽的网页,到底是否符合你的预期。
如哥飞这个截图里的,是 Next 框架打包出来的静态文件,本来就是不需要被索引的,所以哥飞在 robots.txt 里设置了不允许抓取。
现在这里提示的,是符合我预期的,那就是没问题的。
但如果你点进去发现,有一些网址,本来你是想要被收录的,结果提示被屏蔽了,那就要去检查你的 robots.txt 是否哪里写错了,找到错的地方,然后去修正。
这里补充一点,robots.txt 控制的是抓取,不是最稳的禁止索引方式。
如果一个 URL 被外部链接发现,即使被 robots.txt 屏蔽,谷歌也可能知道这个 URL 的存在。
所以如果你真正想表达“这个页面不要被索引”,通常应该让谷歌能够抓取到页面,然后在页面里用 noindex。
但是对于这些 Next 静态资源文件来说,我们本来也不需要它出现在搜索结果里,也不需要它被抓取内容。
所以提示符合预期,不处理。
二、备用网页(有适当的规范标记)
这个提示也很常见。
很多朋友一看到“备用网页”,就以为页面出问题了。
其实不一定。
所谓备用网页,一般是说谷歌发现了这个 URL,但这个 URL 不是你希望参与排名的主版本。
你通过 canonical 告诉谷歌:真正应该被当成主页面的是另一个 URL。
谷歌看到了这个设置,并且认可了这个设置,于是就把当前 URL 放到“备用网页(有适当的规范标记)”里。
这有什么问题吗?
没有问题。
举例来说,同一个页面可能会有这些 URL:
https://example.com/page
https://example.com/page/
https://example.com/page?utm_source=xxx
如果你希望它们都统一到 https://example.com/page,那么其它几个 URL 被提示为备用网页,就是正常现象。
你需要做的是点进去看看:
这些 URL 是不是确实不需要单独收录?
它们指向的 canonical 是不是你想要的主页面?
如果答案都是是,那就不用处理。
但如果你发现,本来应该被收录的页面,却 canonical 到了别的页面,那就要检查 canonical 标签是不是写错了。
关于 Canonical 标签的基础用法,哥飞之前专门写过一篇文章:【哥飞SEO教程】再聊 Canonical 标签,用好有好处,用错有坏处,需要小心用
还没看过的朋友,可以先看那篇,再回来看今天这篇会更容易理解。三、未找到(404)
404 也不一定是错误。
如果一个页面本来就删除了,或者某个临时页面、本来就不存在的路径,被谷歌发现之后访问,返回 404,这就是正常的。
你不想让它存在,它也确实不存在。
这就符合预期。
不用看到 404 就紧张。
真正需要处理的是这几种情况:
第一,这个页面本来应该存在,但因为代码、路由、部署问题变成了 404。
第二,这个页面以前有流量、有外链、有排名,现在误删了。
第三,这个页面其实只是换了新地址,但旧地址没有做跳转。
如果是这些情况,就需要恢复页面,或者做 301 跳转到最相关的新页面。
如果它本来就应该不存在,那就让它 404。
不要为了消除 GSC 里的提示,硬把一堆不存在的 URL 都跳到首页。
这反而可能制造更多问题。
四、网页会自动重定向
这个也经常被误解。
比如你把 http 跳到 https。
比如你把 www 跳到非 www。
比如你把 /old-page 跳到 /new-page。
比如你统一了结尾斜杠。
这些都会让某些 URL 在 GSC 里显示“网页会自动重定向”。
这是不是错误?
不是。
只要跳转目标符合你的预期,就是正常现象。
但你要检查两件事:
第一,跳转目标是不是正确。
第二,最终目标页是不是能正常打开、能被收录。
如果旧 URL 跳到了最相关的新 URL,那就没问题。
如果所有旧 URL 都粗暴跳到首页,或者跳转链路绕来绕去,甚至最后跳到 404,那才需要处理。
五、被 noindex 标记排除了
noindex 是你明确告诉谷歌:这个页面不要索引。
所以如果 GSC 提示“被 noindex 标记排除了”,你首先要问自己:
这个页面是不是本来就不想让谷歌收录?
比如登录页、后台页、支付成功页、站内搜索结果页、某些低价值标签页。
如果这些页面被 noindex 排除,说明你的设置生效了。
这是好事,不是坏事。
但如果你发现,一个你希望拿搜索流量的落地页、工具页、文章页,被 noindex 排除了,那就要去代码里检查。
看看是不是页面模板里误加了 noindex。
看看是不是 CMS、插件、环境变量、预览模式把 noindex 带到了正式页面。
这就属于提示结果和预期不一致,需要处理。
六、被屏蔽了,因为会返回 401
401 的意思是未授权。
简单说,就是访问这个页面需要登录,或者需要某种权限。
如果这是后台页面、会员页面、用户私有数据页面,那就很正常。
谷歌不能访问,也不应该访问。
但如果这是你希望被收录的公开页面,却返回了 401,那就要检查权限配置。
有时候是服务器鉴权配置错了。
有时候是上线时把测试环境的访问限制带到了正式环境。
有时候是某些接口或页面被 CDN、防火墙、登录中间件挡住了。
判断标准还是那句话:
你想让它公开,它却 401,就是问题。
你本来就不想让它公开,它 401,就是正常。
七、已抓取,尚未编入索引
这个提示最容易让新手焦虑。
因为它看起来像是:
谷歌已经来过了,但是不要我。
某种程度上,确实可以这么理解。
但这也不一定是“报错”。
它只是说明,谷歌抓取过这个页面,但目前还没有决定把它放进索引。
原因可能很多。
可能页面内容太薄。
可能跟站内其它页面太像。
可能搜索需求不明确。
可能网站权重还不够。
可能内链太弱。
也可能只是谷歌暂时还没处理完。
这时候不要只做一件事:疯狂点请求编入索引。
更应该做的是回到页面本身:
这个页面到底解决了什么搜索需求?
它跟同类页面相比,有什么独特价值?
页面内容够不够完整?
有没有清楚的内链入口?
有没有被 Sitemap 提交?
有没有外链或者站内权重传过去?
如果这些都没有做好,那你点再多次请求索引,也没什么用。
八、已编入索引,尽管遭到 robots.txt 屏蔽
截图下方还有一个“改进网页的呈现效果”的提示:
已编入索引,尽管遭到 robots.txt 屏蔽。
这个提示的意思是,谷歌知道这个 URL,并且把它放进了索引,但是因为 robots.txt 不允许抓取,所以谷歌没法正常读取页面内容。
这时候搜索结果里的标题、摘要等呈现效果,可能就不如正常抓取的页面。
如果这个 URL 本来就不重要,不需要展示在搜索结果里,那可以不用管。
如果这个 URL 是你想要拿流量的页面,那就不要用 robots.txt 屏蔽它。
你应该允许谷歌抓取它,让谷歌看到页面内容。
如果你不想它被索引,就不要只靠 robots.txt。
应该让谷歌能抓取到页面,并看到 noindex。
最后总结一下
GSC 里的提示,不是让你看到就马上去修。
正确做法是:
第一,点进去看具体 URL。
第二,明确你对这些 URL 的预期。
第三,判断提示结果和预期是否一致。
第四,只处理不一致的部分。
如果你本来就不想让某些页面被收录,它们被 robots.txt、noindex、401、404 排除,是正常现象。
如果你本来就想让某些重复 URL 统一到主页面,它们显示为备用网页,也是正常现象。
如果你本来就想让旧 URL 跳到新 URL,它们显示重定向,也是正常现象。
不要为了让 GSC 页面看起来“干净”,去把本来正确的设置改坏。
做 SEO,最怕的不是 GSC 有提示。
最怕的是你不知道自己想要什么结果。
只要提示跟预期一致,就不用处理。
提示跟预期不一致,再去找原因,再去修。
如果你也想跟着哥飞学习做网站、搞 SEO、赚美元,欢迎加入哥飞的朋友们社群。
如果对社群感兴趣,请加哥飞微信咨询了解。
微信搜索框,输入 361079,点击查找 QQ 号,就能加哥飞微信了。
没有评论:
发表评论