什么是网络爬虫特征？（百度蜘蛛抓取的主要特征）

一、固定标识

不管是谷歌、百度、雅虎等等，他们的蜘蛛在进行网页爬取时都会带上他们的商业标识。比如：

网页搜索 Baiduspider

在线搜索 Baiduspider

图片搜索 Baiduspider-image

视频搜索 Baiduspider-video

新闻搜索 Baiduspider-news

百度搜藏 Baiduspider-favo

百度联盟Baiduspider-cpro

竞价蜘蛛Baiduspider-sfkr

二、User Agent信息

用户代理（User Agent，简称 UA），是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。我们可以获取请求头中的UserAgent信息，来判断是否为爬虫行为。

三、IP策略

同样的，网络请求是离不开IP的，也就是说：以百度为例，他们的蜘蛛的IP是有一个相近的区间的。比如：

Mozilla/5.0 (Windows NT 6.1; WOW64; Baidu Transcoder) AppleWebKit/536.11 (KHTML,likeGecko)Chrome/20.0.1132.57 Safari/536.11

61.135.169.75

61.135.169.55

61.135.169.22

220.181.51.40

220.181.51.39

111.13.13.74

111.13.13.73

111.13.13.72

111.13.13.71

111.13.13.6

111.13.13.5

111.13.13.4

111.13.13.3

101.254.184.206

转载请注明来自专注SEO技术,教程,推广 - 8848SEO，本文标题：《什么是网络爬虫特征？（百度蜘蛛抓取的主要特征）》

标签：百度蜘蛛baiduspider爬虫蜘蛛搜索引擎爬虫特征爬虫工具大数据爬虫网络爬虫