爬虫系列——做爬虫必备：各大网站蜘蛛UA

前言

User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

了解各大搜索引擎蜘蛛爬虫的UA，对我们进行某些程序编写十分有用，例如网页判断客户端来源时，UA是常用的标准之一。本文收集了各大搜索引擎的蜘蛛爬虫UA，以便需要时查阅。

1.百度蜘蛛Baiduspider

Baiduspider，日志中还发现了Baiduspider-image这个百度旗下蜘蛛，是专门用以抓取图片的蜘蛛。常见百度旗下同类型蜘蛛还有下面这些：Baiduspider-mobile（抓取wap）、Baiduspider-video（抓取视频）、Baiduspider-news（抓取新闻）。

UA

PC：

Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

移动：

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) 

AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

 2.谷歌蜘蛛Googlebot

UA

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Google图片搜索

Googlebot-Image/1.0

3.必应蜘蛛bingbot

UA

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

4.雅虎蜘蛛Yahoo

UA

雅虎英文

Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

雅虎中国

Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)

5.搜狗蜘蛛Sogou News Spider

UA 

搜狗图片

http://pic.sogou.com

Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

搜狗

Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

6.360蜘蛛 360Spider

UA 

Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);

360网站安全检测

360spider (http://webscan.360.cn)

7.MSN蜘蛛msnbot-media

UA 

*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)

8.有道蜘蛛YoudaoBot

UA 

Mozilla/5.0 (compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/;)

9.宜搜蜘蛛EasouSpider

UA

Mozilla/5.0 (compatible; EasouSpider; +http://www.easou.com/search/spider.html)

10.七牛

UA 

qiniu-imgstg-spider-1.0

————————————————

版权声明：本文为CSDN博主「前方一片光明」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。

原文链接：https://blog.csdn.net/qq_26230421/article/details/99052337

相关标签：