1 serpstatbot 爬蟲(chóng)
UserAgent 信息為: serpstatbot/2.1 (advanced backlink tracking bot; https://serpstatbot.com/; abuse@serpstatbot.com)
ip地址:5.9.55.228
這是一家國(guó)外的網(wǎng)絡(luò)爬蟲(chóng)工具,會(huì)抓取我們網(wǎng)站的SEO信息。官方介紹說(shuō),如果不想被serpstatbot抓取,可以在根目錄下創(chuàng)建robots.txt 文件。在文件中填寫(xiě)。
User-agent: serpstatbot Disallow: /
那么這個(gè)爬蟲(chóng)就不會(huì)再訪問(wèn)我們的網(wǎng)站了
官網(wǎng)為:https://serpstatbot.com/
2 bing 爬蟲(chóng)
UserAgent 信息為: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/103.0.5060.134 Safari/537.36 或: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
ip地址:157.55.39.80,157.55.39.201
這個(gè)是Bing搜索的官方爬蟲(chóng)
3 阿里云態(tài)勢(shì)感知
UserAgent信息為: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.6.2333.33 Safari/537.36 AliyunTaiShiGanZhi https://www.aliyun.com/product/sas
可以屏蔽訪問(wèn)，通過(guò)屏蔽:47.110.180.0/224 屏蔽這個(gè)網(wǎng)段。
4 Google 爬蟲(chóng)
UserAgent信息為: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html),Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.5304.110 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
ip地址為:66.249.77.63 ,66.249.77.34
5 百度爬蟲(chóng)
UserAgent信息為: Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
ip地址為:116.179.32.109,220.181.108.91,116.179.37.*
百度的蜘蛛類(lèi)型比較多，之間有差異，有小程序的、電腦端的、移動(dòng)端的，還有渲染的；IP地址也很多，不過(guò)國(guó)內(nèi)基本上沒(méi)有人會(huì)屏蔽百度蜘蛛吧（大概都不會(huì)）
6 SeznamBot 爬蟲(chóng)
UserAgent信息: Mozilla/5.0 (compatible; SeznamBot/3.2; +http://napoveda.seznam.cz/en/seznambot-intro/),Mozilla/5.0 (compatible; SeznamBot/4.0-RC1; +http://napoveda.seznam.cz/seznambot-intro/)
ip地址為:77.75.76.166,77.75.79.31
和serpostatbot一樣,屬于國(guó)外的爬蟲(chóng)工具,可以屏蔽。
7 YisouSpider 爬蟲(chóng)
UserAgent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36
ip地址為: 101.67.49.72,39.173.105.172,60.188.10.170,101.67.49.191 ,112.13.112.104,112.13.112.139等信息。
這個(gè)是神馬搜索的爬蟲(chóng)。
8 頭條爬蟲(chóng)
今日頭條的爬蟲(chóng)信息。
UserAgent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181;Bytespider;https://zhanzhang.toutiao.com/ 或者 Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)
ip地址為:110.249.202.37 ,111.225.148.58
9 PetalBot 爬蟲(chóng)
這個(gè)是華為花瓣搜索爬蟲(chóng)。
UserAgent: Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)
Ip地址為:114.119.159.226,114.119.153.191
10 YandexBot 爬蟲(chóng)
這個(gè)是俄羅斯Yandex搜索引擎的爬蟲(chóng)工具。
UserAgent: Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
IP地址為:5.255.253.111
遵守:robots協(xié)議 要是不做外貿(mào)的話，可以屏蔽掉
11 AhrefsBot 爬蟲(chóng)
國(guó)外營(yíng)銷(xiāo)網(wǎng)站爬蟲(chóng)。可以屏蔽掉
UserAgent: Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)
IP地址為:51.222.253.2,51.222.253.6
遵守:robots協(xié)議 可以屏蔽掉
12 Expanse 掃描
Palo Alto Networks公司旗下的Expanse 會(huì)通過(guò)ip地址掃描我們的服務(wù)器
UserAgent: Expanse, a Palo Alto Networks company, searches across the global IPv4 space multiple times per day to identify customers' presences on the Internet. If you would like to be excluded from our scans, please send IP addresses/domains to: scaninfo@paloaltonetworks.com
ip地址為:205.210.31.132,198.235.24.29
好像沒(méi)啥用，國(guó)內(nèi)用戶可以屏蔽掉
13 Sogou 爬蟲(chóng)
UserAgent: Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
IP地址為:58.250.125.82
哎 已經(jīng)半死不活了，可以不用管它，也可以屏蔽掉
14 MJ12Bot 爬蟲(chóng)
國(guó)外的SEO分析爬蟲(chóng),和SemrushBot類(lèi)似。我們?nèi)绻幻鎸?duì)國(guó)外客戶。完全可以屏蔽。
UserAgent: Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)
ip地址為:173.212.245.225
特別說(shuō)明：
1.以上只是部分爬蟲(chóng), 還有很多這里沒(méi)有做太多展示。
2.上面的Ip地址僅供參考。因?yàn)閕p地址可以變動(dòng)。
