批量获取网站信息的方式；其实我们做的就是了解反爬虫的技术，继而反反爬虫。

　　网站通过ip访问量反爬虫，对访问进行统计，单个ip访问量超过阈值，则封杀或者输验证码；

　　通过session（会话控制）访问量反爬虫，session对象存储用户会话所需属性和配置信息，用户在web页跳转，存储在session中变量不会丢失，而是在整个会话中一直存下去，如果一个session的访问量过大，就会进行封杀或者输验证码；

　　，默认的User-Agen为python-requests/（xxx），服务器判断其不是真正的浏览器会予以封杀；

　　如果不修改请求头，网页默认为python-requests/xxx，所以需要修改；也可以做一个User-Agen 的池，但针对User-Agen的访问量进行封锁的不多，一般设置为正常的浏览器的user-Agen就好了。

　　将sleep放在每一个网页更改前，红框中以爬取两个但还是出现错误ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。是服务器为了维护自己的安全，对于不正常的浏览网页者做的限制。刚开始不知是否是网页的问题，因为该网址有网页进入不了。所以更换了一个网址(豆瓣)，重新测试。

　　爬取结正规买球的网站果，是ok的，所以前面一个网页自己的问题哦；但目前还不知道 遇到这种网页应该怎么办。

　　代理是一种特殊的网络服务，允许一个网络终端（一般为客户端），通过这个服务于另一个网络终端（一般为服务器）进行非直接的连接，其实就是信息的中转站。比如，直接访问国外的网站速度很慢，就可以用国内的代理服务器中转，数据先从国外某网站到国外的代理服务器，再到计算机，反而会比较快。

　　因此在爬虫过程中，可以维护一个代理池，让自己的爬虫程序隐藏自己的真实ip。但是代理ip池较难维护，且不稳定。使用代理ip获取网页的方法，模板如下：