当前，Web网站推送的验证码大多分为四类 ：计算验证码、滑块验证码、识图验证码、 语音验证码。

　　– 目前主流的验证码破解主要有两种：机器图像 识别与人工打码，此外还可以使用浏览器插件 绕过验证码的类似技术。

　　• 5. 针对页面异步加载与客户端JS支持判断 可以使用Selenium或PhantomJS进行JS解析， 并执行页面内容获取所需要的正确的JS方法/ 请求。当然也可以使用真实的浏览器作为采 集工具的基础，例如自定义封装一个自定义 的firefox浏览器，以插件的形式实现采集工具 。

　　Headers数据由浏览器自动生成并填充，主要 或者模拟浏览器进行访问，访

　　包括User-Agent、允许的字符集以及本地文件 问请求存在无 Headers数据和

　　– 爬虫使用各种技巧逃避Web服务器的检测 – Web服务器采取各种方法检测爬虫，并阻止爬

　　请求中特定的Cookies数据的 每次访问使用相同的浏览器，也自然会调用 不一定会使用Cookies。

　　2. 针对Header的内容验证 使用Selenium或其他内嵌浏览器进行浏览器的 访问和模拟，同时构造合理的Headers信息， 主要包括User-Agent和Hosts信息。使用 Seleni买球股份有限公司um则会调用浏览器。 也可以根据规则自行组装Headers信息，在爬 虫实现中尽可能完整地填写Headers的各个属 性值。

　　– 通过IP与访问间隔等请求模式的识别 – 通过Header内容识别 – 通过cookies信息识别 – 通过验证码识别 – 通过对客户端是否支持js的分析来识别 – 通过是否遵循Robot协议来识别是否友好爬虫 – 页面资源是否加载

　　同一个用户的IP一般不会变化，同一时间段 可能通过单一IP或者代理IP访

　　内不同用户之间的IP区别比较大，IP地理分布 问，简单的爬虫往往是通过单

　　• 阻止爬虫则是阻止恶意的爬取，同时能够 在识别错误时为正常用户提供一个放行的 通道。

　　– 不遵守robots – 大量并发访问 – 给服务器带来持续压力或瞬间压力

　　• 3. 针对Cookies验证 使用不同的线程来记录访问的信息，如 Python中的requests.session，为每个线程保存 Cookies，每次请求的Header均附上正确的 Cookies，或者按照站点要求正确使用Cookies 内的数据（例如使用cookies内的指定密钥进 行加密校验）。

　　– 使用分类器等高级技术，将这些特征综合起来 ，同时使用多种特征来刻画一个HTTP请求

　　1. 通过非200/304的Response Status禁止访 问 2. 封禁IP（或IP段）的访问权限 3. 使用验证码或关键信息图片化增加采集 难度 4. 使用页面异步加载增加采集难度 5. 动态调整页面结构 6. 设置蜜罐干扰爬虫行为

　　加载页面时会加载相关的所有JS/CSS等脚本文 大部分会只获取HTML文件，

　　1. 针对IP与访问间隔限制 不使用真实IP，爬虫使用代理服务器或者云主 机等方式进行IP的切换 在请求中使用代理：