python爬虫伪装ip伪装好了才能出发

导读前面我们介绍过通过不同的浏览器访问网站，算是伪装的一种方法。今天介绍一下通过代理服务器的方式去访问网站，是伪装的另外一种方法了。思路和准备可以通过网站htt....

前面我们介绍过通过不同的浏览器访问网站，算是伪装的一种方法。今天介绍一下通过代理服务器的方式去访问网站，是伪装的另外一种方法了。

思路和准备

可以通过网站 http://httpbin.org/get 得知我们现在的IP情况，等下我们就以访问这个网站为例来看看代理是否工作。

另外，这里介绍一个免费代理的网站，大家可以用作测试。如果需要专业爬网站，最好是去买个代理。https://www.xicidaili.com

编写代码

这里引入了一个ProxyHandler组件，在这里可以配置http的代理服务器的IP。如果是付费的IP可以通过用户名和密码的方式访问。

另外，我们的访问需要通过build_opener调用handler来实现。代码很简单，大部分代理之前都介绍过。

from urllib.Request import request, build_openerfrom fake_useragent import UserAgentfrom urllib.request import ProxyHandlerurl = "http://httpbin.org/get"headers={ "User-Agent": UserAgent().chrome}request = Request(url, headers=headers)handler = ProxyHandler({"http" : "112.85.129.8:9999"})opener = build_opener(handler)response = opener.open(request)print(response.read().decode())

测试结果

先运行程序看看目前没有用代理的时候IP的信息

再看看利用了proxy之后产生的结果

可以看到请求的ip地址已经发生了改变。