欢迎光临
我们一直在努力

如何限制谷歌蜘蛛的爬取频率? 解决google蜘蛛爬行导致服务器资源不足,流量消耗异常

最近发现自己的一个网站,资源消耗极大,经常导致服务器无响应甚至影响其他网站的正常运行。

经过排查发现谷歌蜘蛛每天的爬取频率居然达到了一百多万次,对服务器造成了非常严重的资源浪费。

因为谷歌在国内众所周知的原因(访问障碍),消耗巨大服务器资源的同时,谷歌带来的访问量是不成比例的。

那么,如何限制/屏蔽谷歌蜘蛛的爬取频率对服务器的影响呢?

1、如果可以彻底不需要国外ip的访问,可以直接一次性屏蔽掉所有国外ip对服务器的访问;

2、记录谷歌蜘蛛的IP段(我发现爬取超级频繁的就那两三个ip段,在服务器禁止就完全可以解决问题)

3、如果需要让国外用户访问,可以用robots文件禁止谷歌蜘蛛爬取;

4、如果还需要保持一定的谷歌优化,可以在谷歌站长工具中进行限制(google search console),

访问,https://www.google.com/webmasters/tools/home?hl=zh-CN

先验证站点权限,然后访问老版本地址,把下面网址中的网站地址换成你的网址,

https://www.google.com/webmasters/tools/settings?siteUrl=https://www.vckers.com

然后选择滑道到最低即可,一般次日生效。

以上4种方法,根据自身网站实际情况选择即可。

赞(1) 赏口饭吃
版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《如何限制谷歌蜘蛛的爬取频率?》
文章链接:https://www.vckers.com/notes/154.html
本站资源仅供个人学习交流,请于下载后24小时内删除,不允许用于商业用途,否则法律问题自行承担。
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

微客网络

真的勇士永不止步

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏