互联网的安全问题始终是魔高一尺，道高一丈，并没有一个终极的解决方案。我想，在产品的安全问题上始终要达到一个标准：就是让盗版者的盗取成本高于他的获利成本，又或者让盗版者盗取风险高昂，即使获利，也要背负法律责任，得不偿失。

　　网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。

　　不是所有的爬虫正规买球的网站都有害，网络推广技术SEO的基础就是针对目前比较火，关注度较高的一些关键词，加到网页中去，然后让GOOGLE,BAIDU这些大的搜索公司爬取本家网站的网页，从而让用户搜索到，并且排名靠前。对于这样的爬虫，多一点更好。

　　恶意的爬虫就是赤裸裸的盗版，把一些有知识产权的、隐私的、或者是有商业价值的网页内容统统爬下来，放到自己的网站上去，实现商业盈利。按理说，如果全世界的法律都反盗版，每一个国家都保护知识产权，那就没有人敢冒这个风险，做恶意的爬虫，但现实不是这样的，有些国家甚至没有相关的法律，比如说前一段时间，有个美国人，就爬取了好多电子图书，放到乌克兰的网站上去经营，没有人管，因为这个国家还没有相关的法律。

　　设想一下，如果今后把人卫社的图书全部放到网站上去，被人爬走了，也放到乌克兰去经营，我们没辙。更可怕的是：如果几年后电子图书流行开来，客户想看书，直接去类似的网站下载就好了，不花一分钱。

　　所以反爬虫一定要做，并且要与时俱进。下面是目前反爬虫的最好用的几种策略对比表格：

　　策略： 手工识别和拒绝爬虫的访问  通过识别爬虫的User-Agent信息来拒绝爬虫  通过网站流量统计系统和日志分析来识别爬虫  网站的实时反爬虫防火墙实现策略

　　原理： 检查那些处于handle-request状态的高并发IP 适用于非登陆用户 通过记录和分析User-Agent信息来挖掘和封锁爬虫 适用于非登陆用户 分析服务器日志里面请求次数超过3000次的IP地址段，排除白名单地址和真实访问IP地址，最后得到的就是爬虫IP了，然后可以发送邮件通知管理员进行相应的处理。 适用于登陆用户，但是手工操作，没有实时性  用数据库记录每个IP访问计数，写一个全局程序在单位时间内判断超过阀值就让用户填写验证码，如果一个用户访问了500本书，就要审查他是一个人，还是爬虫 适用于登陆用户，程序操作，实时性高

　　学术网的正文只是授权的登陆用户才能看到，也就是说爬虫有授权账户才能爬。那前两种策略就没有必要。

　　学术网的内容比较少，目前运营后也就是2000多本书，平均一本书20篇，每篇有10章，目前是每页显示一章，那就是2000*20*10=200000页。20万的访问量，一天就能爬完。这样第三种策略通过手工防范也有问题。