无论是浏览器还是爬虫程序，在向服务器发起网络请求的时候，都会发过去一个头文件：headers，比如知乎的requestsheaders:

　　很多网站都会建立 user-agent白名单，只有属于正常范围的user-agent才能够正常访问。

　　可以自己设置一下user-agent，或者更好的是，可以从一系列的user-agent里随机挑出一个符合标准的使用，代码如下：

　　如果一个固定的ip在短暂的时间内，快速大量的访问一个网站，那自然会引起注意，管理员可以通过一些手段把这个ip给封了，爬虫程序自然也就做不了什么了。

　　简单的说，就是通过ip代理，从不同的ip进行访问，这样就不会被封掉ip了。

　　可是ip代理的获取本身就是一个很麻烦的事情，网上有免费和付费的，但是质量都层次不齐。如果是企业里需要的话，可以通过自己购买集群云服务来自建代理池。

　　这个可以说是终极的办法了，因为，爬虫终归只是一段程序，它并不能像人一样去应对各种变化，如验证码，滑动解锁之类的。

　　举个例子：如果想爬取某个网站，但是在进入网站之前，它会有一个验证页面来验证你是不是机器。

　　世界上做爬虫最大最好的就是Google了，搜索引擎本身就是一个超级大的爬虫，Google开发出来爬虫24h不间断的在网上爬取着新的信息，并返回给数据库，但是这些搜索引擎的爬虫都遵守着一个协议：robots.txt

　　robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.

　　txt，或者使用robots元数据（Metadata，又称元数据）。 robots

　　.txt协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。注意robots.txt是用字符串比较来确定是否获取URL，所以目录末尾有与没有斜杠“/”表示的是不同的URL。robots.txt允许使用类似Disallow: *.gif这样的通配符[1][2]。

　　wiki上说的已经很清楚了，这实际上只是一个”君子协议“，遵守与否，都在于爬虫的编写者。

　　可以看到，京东的robots协议里明确的指出四个”user-agent”是禁止访问的，

　　所以最好遵守这个规则！，互联网上的很多资源都是免费的，但是如果因为个人的利益，而损害到别人，这是很不买球官方网站对的！

　　当然有种情况是例外的，比如说我们爬虫的获取网页的速度，和人类浏览网页是差不多的，这并不会给服务器造成太大的性能损失，在这种情况下，我们是可以不用恪守 robots协议的。