12.3 垃圾蜘蛛屏蔽 和 User-Agent名单


垃圾蜘蛛屏蔽 和 User-Agent名单


2023-04-08_163714.png

上图说明:互联网上存在部分垃圾爬虫蜘蛛,会对服务器造成压力,以下蜘蛛均为垃圾蜘蛛,默认已经添加屏蔽,也可以自定义只允许的蜘蛛名称。


ahrefs,webmeup-crawler,seostar,dataforseo,semrush,opensiteexplorer,mj12bot,serpstatbot,babbar,petalsearch