有些站长经常抱怨自己的网站打开速度很慢,用了各种方法都不起效果。也找不开影响网站打开慢的真正原因。对于我们检测的一部分网站中,有一部分网站打开慢是由于网站被大量网络爬虫频繁的访问造成的。
我们网络爬虫也就是我们 SEO 课程中讲的搜索引擎蜘蛛,我们网站想要在搜索引擎上有排名,第一步就是让搜索蜘蛛抓取我们的网站。但是网络上有大量的垃圾蜘蛛,会肆无忌惮的不停访问我们的网站,这样会给自己的网站服务器增加很大的负担。这时我们需要降低网络爬虫速度减小压力。
降低网络爬虫速度的方法很简单,在 robots.txt 文件里就可以通过代码来降低速度。
- User-agent: *
- Crawl-delay: 10
- Request-rate: 60/1m
- Visit-time: 0000-0800
由于这个还没有完全的标准,两种都用了,Crawl-delay 是每秒访问的网页数,而 Request-rate 是页面数/时间段,可以设置为比较小的值,Visit-time 为允许访问的时间段。
当然,我们也可以把一些常见的垃圾蜘蛛屏蔽掉,不让他们来抓取我们的网站。方法见:
- 1、本站大部分内容均收集于网络,若内容侵犯到您的权益,请发送邮件至:service@wuyanshuo.cn,我们将第一时间处理!
- 2、本站资源所需价格并非资源售卖价格,是收集、整理、编辑以及本站运营的适当补贴,并且本站不提供任何免费技术服务。
- 3、所有资源仅限参考和学习,版权归原作者所有,更多请阅读无言说网络服务器协议。