AhrefsBot是什么蜘蛛？怎么样屏蔽？

日新站长博客 12-30 6539 0

最近发现AhrefsBot经常来访问网站，我知道是一个蜘蛛，不知道对于网站有没有用，通过百度搜索后，大概明白了。对于我的网站来说一点用处也没有，怎么样屏蔽它呢？

AhrefsBot是一个国外的搜索引擎蜘蛛。不过对你的网站来说除了浪费资源外，没有任何好处。AhrefsBot是一个营销网站的爬取蜘蛛，负责分析你网站的链接信息，这个工具对于国内用户来说基本上无用。

详细的介绍你可以查看他们官网的英文解释。https://ahrefs.com/robot

这个网站是一个国外的网站，不过他们有中文版。

AhrefsBot是一个Web爬网程序，可为Ahrefs在线营销工具集提供12万亿个链接数据库。它会不断抓取网络，以使用新链接填充我们的数据库，并检查先前找到的链接的状态，以向我们的用户提供最全面，最新的数据。

Ahrefs Bot从网上收集的链接数据被全球成千上万的数字营销人员用来计划，执行和监视他们的在线营销活动。

这些数据对SEO社区具有巨大的价值，因为它可以帮助市场营销专业人士更好地了解世界上最大的搜索引擎的基本算法，以便他们可以相应地优化网站。我们的爬虫每24小时访问一次超过60亿个网页，并每15-30分钟更新一次Ahrefs的索引。

使用robots.txt封禁AhrefsBot

如果不需要我们可以屏蔽。他的ip地址还是很多的所以建议用robots.txt屏蔽。屏蔽代码为：

User-agent: AhrefsBot
Disallow: /

官方公布的AhrefsBot爬虫IP段如下：

54.36.148.0/24
54.36.149.0/24
54.36.150.0/24

195.154.122.0/24
195.154.123.0/24
195.154.126.0/24
195.154.127.0/24

直接封AhrefsBot IP段

如果你使用的网站是阿里云的，可以直接封AhrefsBot蜘蛛的IP段，阿里云后台有安全组可以使用，所以直接屏蔽AhrefsBot的IP段，这样是最简单粗暴，效果立竿见影的方法。

进入阿里云后台，进入你的服务器列表，点击服务器的安全组，配置安全组规则。

按照上图的方法配置，把下面这些ip段全部添加进去就行了。