利用robots文件降低网络爬虫速度减小压力

有些站长经常抱怨自己的网站打开速度很慢,用了各种方法都不起效果。也找不开影响网站打开慢的真正原因。对于我们检测的一部分网站中,有一部分网站打开慢是由于网站被大量网络爬虫频繁的访问造成的。
利用robots文件降低网络爬虫速度减小压力
我们网络爬虫也就是我们 SEO 课程中讲的搜索引擎蜘蛛,我们网站想要在搜索引擎上有排名,第一步就是让搜索蜘蛛抓取我们的网站。但是网络上有大量的垃圾蜘蛛,会肆无忌惮的不停访问我们的网站,这样会给自己的网站服务器增加很大的负担。这时我们需要降低网络爬虫速度减小压力。

降低网络爬虫速度的方法很简单,在 robots.txt 文件里就可以通过代码来降低速度。

  1. User-agent: *
  2. Crawl-delay: 10
  3. Request-rate: 60/1m
  4. Visit-time: 0000-0800

由于这个还没有完全的标准,两种都用了,Crawl-delay 是每秒访问的网页数,而 Request-rate 是页面数/时间段,可以设置为比较小的值,Visit-time 为允许访问的时间段。

当然,我们也可以把一些常见的垃圾蜘蛛屏蔽掉,不让他们来抓取我们的网站。方法见:

给TA打赏
共{{data.count}}人
人已打赏
WordPress教程

WordPress网站实现query_posts查询万能分页代码

2022-3-21 15:55:41

WordPress教程

WordPress 批量替换erphpdown插件的下载地址域名

2022-3-21 15:56:46

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索