随着近些年python大火，很多人有或多或少学习过一点python，而爬虫的技术又相对比较简单，这就导致了很多学有小成的爬虫开发者待着自己的爬虫在你的网站上爬取数据，对于大站而言，一些小小的爬虫并不会太多地影响他站点的运营。但小站就不一样了，轻则影响其他人的服务效果，重则爬虫掏干净了你的库，然后你的创作就不值钱了，那么作为一个站长，怎么进行python爬虫反爬呢？其实有一个比较简单的操作——使用http2.0。

　　Scrapy 框架最新版本 2.5.0（2021.04.06 发布）加入了对 HTTP/2.0 的支持，但是官网明确提示，现在是实验性的功能，不推荐用到生产环境，原文如下：

　　关于其他的一些库，也不必多说了，对 HTTP/2.0 的支持也不好，目前对 HTTP/2.0 支持得还可以的有 hyper 和 httpx，后者更加简单易用一些。

　　如果我们禁用所有的 HTTP/1.x 的请求，是不是能通杀掉一大半爬虫？requests 没法用了，Scrapy 除非升级到最新版本才能勉强用个实验性版本，其他的语言也不用多说，也会杀一大部分。

　　而浏览器对 HTTP/2.0 的支持现在已经很好了，所以不会影响用户浏览网页的体验。

　　这个怎么做呢？其实很简单，在 Nginx 里面配置一下就好了，主要就是加这么个判断就行了：

　　我的服务是在 Kubernetes 里面运行的，所以要加这个配置还得改下 Nginx Ingress 的配置，不过还好预留了一个配置叫做，利用它我们可以自定义 Nginx 买球股份有限公司的判定逻辑。

　　如果你用 requests，无论如何都不行的，因为它就不支持 HTTP/2.0。

　　那我们换一个支持 HTTP/2.0 的库呢？比如 httpx，安装方法如下：

　　可以看到，HTML 就成功被我们获取到了！这就是 HTTP/2.0 的魔法！

　　所以，这就印证了，只要 HTTP/1.x 通通没法治！可以给 requests 烧香了！

　　到此这篇通过如何禁用Requests库请求的方式来进行python爬虫反爬对方文章就介绍到这里,更多Python反爬虫相关技术内容请搜索W3Cschool以前的文章或继续浏览下面的相关文章。