本篇小编给大家分享一个爬虫反扒的几个方法，有兴趣的小伙伴可以耐心的阅读完这篇文章。

　　加User-Agent值：如果不加header头，部分网站服务器判断不到用户的访问来源，所以会返回一个404错误来告知你是一个爬虫，拒绝访问，解决办法如下：

　　加Referer值：这类反爬网站也很常见，例如美团，仅仅加User-Agnet还是返回错误信息，这时就要把Referer值也加到头部信息中，也可以加Host和Accept值。

　　这种就更常见了，大部分网站都有此类反爬措施，也就是说网站服务器会根据某个ip在特定时间内的访问频率来判断是否为爬虫，然后把你把你拉进“黑名单”，素质好的给你返回403或者出来个验证码，素质不好的会给你返回两句脏话。此种情况有两种解决办法：

　　②添加代理ip，代理ip又分为付费的和不要钱的，前者比较稳定，后者经常断线、Ajax动态请求加载

　　这类一般是动态网页，无法直接找到数据接口，以某易新闻网站为例，我想爬取该网页内的新闻图片，发现它的网页url一直不变，但是下拉网页的时候会一直加载图片，那么我们该怎么办呢？

　　首先按照开头方式打开流量分析工具点击左上角“垃圾桶”图标清空缓存，然后下拉新闻网页，会出现一大堆东西，但是不用慌，我们可买球股份有限公司以根据类型去寻找，一般图片信息肯定实在html、js或json格式的文件中，一个一个点进去看看，很快就找到了结果。在结果中把callback去掉之后就是个json文件

　　以上就是小编给大家带来的爬虫常见的反爬措施了，希望大家通过阅读小编的文章之后能够有所收获！如果大家觉得小编的文章不错的话，可以多多分享给有需要的人。

　　【原创声明】凡注明“来源：优草派”的文章，系本站原创，任何单位或个人未经本站书面授权不得转载、链接、转贴或以其他方式复制发表。否则，本站将依法追究其法律责任。

　　Python发送http请求怎么做？Python发送http请求的方法是什么

　　Python怎么搭建scrapy框架项目？Python如何使用scrapy框架创建爬虫

　　Python如何利用Scrapy抓取网页？Python怎么用Scrapy框架爬取网页数据