对于很多学Python的人来说，爬虫是一个很有意思的学习方向，通常刚接触完爬虫的小伙伴们就喜欢在各大网站跃跃欲试，结果很多时候就碰一鼻子灰…因为很多网站都设置了反爬机制这道门槛。

　　爬虫世界一直都是道高一尺魔高一丈，你有反爬我就有反反爬，你giao我就giao giao！

　　首先我们得先来了解一下什么是反爬。所谓反爬机制通俗讲就是不让爬虫去抓取数据的一些机制措施，比如以下几种反爬机制：

　　下面就为大家详细介绍网站的反爬虫策略，在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。

　　从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。

　　一般网站从三个方面反爬虫：用户请求的Headers，用户行为，网站目录和数据加载方式。前两种比较容易遇到，大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用，这样增大了爬取的难度（防止静态爬虫使用ajax技术动态加载页面）。

　　在访问某些网站的时候，网站通常会用判断访问是否带有头文件来鉴别该访问是否为爬虫，用来作为反爬取的一种策略。那我们就需要伪装headers。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。

　　如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中；或者将Referer值修改为目标网站域名[评论：往往容易被忽略，通过对请求的抓包分析，确定referer，在程序中模拟访问请求头中添加]。对于检测Headers的反爬虫，在爬虫中修改或者添加Headers就能很好的绕过。

　　例如打买球股份有限公司开搜狐首页，先来看一下Chrome的头信息（F12打开开发者模式）如下：

　　如图，访问头信息中显示了浏览器以及系统的信息（headers所含信息众多，其中User-Agent就是用户浏览器身份的一种标识，具体可自行查询）

　　Python中urllib中的request模块提供了模拟浏览器访问的功能，代码如下：

　　其中headers是一个字典，通过这种方式可以将爬虫模拟成浏览器对网站进行访问。

　　还有一部分网站是通过检测用户行为，例如同一IP短时间内多次访问同一页面，或者同一账户短时间内多次进行相同操作。[这种防爬，需要有足够多的ip来应对]

　　（1）、大多数网站都是前一种情况，对于这种情况，使用IP代理就可以解决。可以专门写一个爬虫，爬取网上公开的代理ip，检测后全部保存起来。有了大量代理ip后可以每请求几次更换一个ip，这在requests或者urllib中很容易做到，这样就能很容易的绕过第一种反爬虫。

　　（2）对于第二种情况，可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站，可以通过请求几次，退出登录，重新登录，继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。

　　[评论：对于账户做防爬限制，一般难以应对，随机几秒请求也往往可能被封，如果能有多个账户，切换使用，效果更佳]

　　上述的几种情况大多都是出现在静态页面，还有一部分网站，我们需要爬取的数据是通过ajax请求得到，或者通过Java生成的。

　　Selenium：自动化web测试解决方案，完全模拟真实的浏览器环境，完全模拟基本上所有的用户操作

　　各位友友，我的网盘资料是越堆越多了，尤其是Python的资料，我已经用不到了，现准备拿出来分享给每一个看我文章的人，有需要的话直接拿走。

　　需要的话可以加我微信号pykf20（链接老是被F），全部免费拿走，备注一下领资料，方便我知道你的来意和最快速度给你东西，细品下图：

　　转载：查看评论* 以上用户言论只代表其个人观点，不代表本网站的观点或立场