BLEXBot是什么蜘蛛？使用robots.txt屏蔽垃圾蜘蛛

前几天发现一些蜘蛛不停地抓取网站，有的蜘蛛能够抓取几千次，比如：AhrefsBot，SemrushBot等等，今天又发现BLEXBot、YisouSpider等蜘蛛抓取次数也有上千次，关键这些蜘蛛也不知道是哪家的？我认为对于日新博客没有多大用处。

BLEXBot是urban dictionary的蜘蛛，是一个专供网友来发表对一些特殊的单词或短语的解释的网站。

以前我写过：AhrefsBot是什么蜘蛛？怎么样屏蔽？解决掉了AhrefsBot蜘蛛抓取的情况。那么今天我就使用robots.txt文件屏蔽掉BLEXBot等垃圾蜘蛛，可以减少服务器的压力。

User-agent: AhrefsBot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: Uptimebot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: MegaIndex.ru
Disallow: /
User-agent: ZoominfoBot
Disallow: /
User-agent: Mail.Ru
Disallow: /
User-agent: SeznamBot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: ExtLinksBot
Disallow: /
User-agent: aiHitBot
Disallow: /
User-agent: Researchscan
Disallow: /
User-agent: DnyzBot
Disallow: /
User-agent: spbot
Disallow: /
User-agent: YandexBot
Disallow: /

将上面代码复制到网站根目录下的robot.txt文件里，这样可以屏蔽掉以上的垃圾蜘蛛对于网站的抓取。

robots协议

也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的蜘蛛，此网站中的哪些内容是不应被搜索引擎的蜘蛛获取的，哪些是可以被蜘蛛获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的蜘蛛访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据（Metadata，又称元数据）。

robots协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。