爬虫会耗费大量流量吗(服务器被爬虫访问耗费很多流量)

爬虫会耗费大量流量吗(服务器被爬虫访问耗费很多流量)

问题场景:

客户使用虚拟主机,网站被搜索引擎爬虫访问耗费大量流量和带宽,如何处理。

解决方法:

可以通过在站点根目录下创建 Robots.txt,Robots.txt 文件是网站的一个文件,搜索引擎蜘蛛抓取网站首先就是抓取这个文件,根据里面的内容来决定对网站文件访问的范围。它能够保护我们的一些文件不暴露在搜索引擎之下,从而有效的控制蜘蛛的爬取路径。

注:Robot.txt协议不是强制协议,部分搜索引擎或者伪装成搜索引擎的爬虫不会遵守该协议,对于不遵守该协议的情况,以下方法无效。

1. 首先,先了解一下目前搜索引擎和其对应的 User-Agent,如下:

搜索引擎 User-Agent

AltaVista Scooter

baidu Baiduspider

Infoseek Infoseek

Hotbot Slurp

AOL Search Slurp

Excite ArchitextSpider

Google Googlebot

Goto Slurp

Lycos Lycos

MSN Slurp

Netscape Googlebot

NorthernLight Gulliver

WebCrawler ArchitextSpider

Iwon Slurp

Fast Fast

DirectHit Grabber

Yahoo Web Pages Googlebot

LooksmartWebPages Slurp

2. Robots.tx t样例代码:

例1. 禁止所有搜索引擎访问网站的任何部分

User-agent:

Disallow: /

例2. 允许所有的搜索引擎访问网站的任何部分

User-agent:

Disallow:

例3. 仅禁止Baiduspider访问你的网站

User-agent: Baiduspider

Disallow: /

例4. 仅允许Baiduspider访问你的网站

User-agent: Baiduspider

Disallow:

例5. 禁止spider访问特定目录

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /data/

注意事项:

三个目录要分别写。

请注意最后要带斜杠。

带斜杠与不带斜杠的区别。

例6. 允许访问特定目录中的部分url

实现a目录下只有b.htm允许访问

User-agent: *

Allow: /a/b.htm

Disallow: /a/

分享到 :
相关推荐

DDOS高防服务器租用的使用技巧有哪些(ddos高防服务器租用的使用技巧有哪些)

互联网迅猛发展除了给人们带来很大的生活便利和带动贸易全球化外。也随之带来诸如DDoS...

美国服务器租用常见的磁盘类型(美国服务器租用常见的磁盘类型有)

在租用美国服务器的时候。磁盘类型及容量大小都是必需要考虑的因素。磁盘是放置网站所有数...

美国服务器安全防御怎样做(美国服务器安全防御怎样做出来的)

如何做好美国服务器安全防御?近几年。很多网站都遭受网络攻击的威胁。网络黑客的攻击手段...

如何防止服务器网站被黑(如何防止服务器网站被黑客攻击)

防止服务器网站被黑的方法:1。定期检查服务器日志。排查服务器异常问题;2。定期检查服...

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注