在Python3爬虫中，使用代理是一种防止IP被禁或者提高爬取速度的常用方法，主要用于模拟多个IP地址进行访问。代理可以分为免费代理和付费代理两种，其中免费代理不稳定，而付费代理相对比较稳定可靠。

以下是 Python3 爬虫代理的使用场景和应用：

防止 IP 被封锁：有些网站会设置 IP 访问频率限制，如果访问次数超过限制，则该 IP 将被禁止访问网站，使用代理能够避免这种情况发生。

提高爬取速度：使用代理可以同时建立多个连接，从而实现快速爬取目标数据的目的。

绕过地域限制：某些网站在不同的区域提供的服务不同，如果你需要访问某些只针对特定地区开放的网站，使用代理可以绕过这种限制，使你可以得到所需的数据。

总之，代理IP在 Python3 爬虫中扮演着非常重要的角色。由于使用代理也会带来一些安全问题，因此在使用代理时，需要注意选择合适的代理服务商，并严格遵守网络安全规定。

准备工作

我们需要先获取一个可用代理，代理就是 IP 地址和端口的组合，就是 ip:端口 这样的格式。如果代理需要访问认证，那就还需要额外的用户名密码两个信息。

这里我的本机安装了一部代理软件，它会在本地 7890 端口上创建 HTTP 代理服务，即代理为 127.0.0.1:7890。另外，该软件还会在 7891 端口上创建 SOCKS 代理服务，即代理为 127.0.0.1:7891，所以只要设置了这个代理，就可以成功将本机 IP 切换到代理软件连接的服务器的 IP 了。

在本章下面的示例里，我使用上述代理来演示其设置方法，你也可以自行替换成自己的可用代理。

设置代理后，测试的网址是 http://httpbin.org/get 访问该链接我们可以得到请求的相关信息，其中返回结果的 origin 字段就是客户端的 IP，我们可以根据它来判断代理是否设置成功，即是否成功伪装了 IP。

好，接下来我们就来看下各个请求库的代理设置方法吧。

获取Python3爬虫代理

一些网站会检测对其数据的频繁访问，并采取措施阻止这些访问。使用代理服务器可以分散访问来源，减少被检测的可能性，从而增加爬取成功率。

最佳美国静态代理IP

IPRoyal是一家对中国地区极其友好的代理服务提供商其住宅代理解决方案极具吸引力

查看IPRoyal
最便宜的静态代理

Proxy-seller 是一个数据中心代理提供商，受到许多小型互联网营销人员的欢迎。

查看Proxy-seller
最实惠的静态代理

Shifter.io是一家知名的代理服务提供商，旨在为用户提供隐私保护和更好的互联网体验。

查看Shifter.io

2. urllib

首先我们以最基础的 urllib 为例，来看一下代理的设置方法，代码如下：

 from urllib.error import URLError
 from urllib.request import ProxyHandler, build_opener

 proxy = '127.0.0.1:7890'
 proxy_handler = ProxyHandler({
    'http': 'http://' + proxy,
    'https': 'http://' + proxy
 })
 opener = build_opener(proxy_handler)
 try:
    response = opener.open('https://httpbin.org/get')
    print(response.read().decode('utf-8'))
 except URLError as e:
    print(e.reason)

运行结果如下：

 {
  "args": {},
  "headers": {
    "Accept-Encoding": "identity",
    "Host": "httpbin.org",
    "User-Agent": "Python-urllib/3.7",
    "X-Amzn-Trace-Id": "Root=1-60e9a1b6-0a20b8a678844a0b2ab4e889"
  },
  "origin": "210.173.1.204",
  "url": "https://httpbin.org/get"
 }

这里我们需要借助 ProxyHandler 设置代理，参数是字典类型，键名为协议类型，键值是代理。注意，此处代理前面需要加上协议，即 http:// 或者 https://，当请求的链接是 HTTP 协议的时候，会使用 http 键名对应的代理，当请求的链接是 HTTPS 协议的时候，会使用 https 键名对应的代理。不过这里我们把代理本身设置为了 HTTP 协议，即前缀统一设置为了 http://，所以不论访问 HTTP 还是 HTTPS 协议的链接，都会使用我们配置的 HTTP 协议的代理进行请求。

创建完 ProxyHandler 对象之后，我们需要利用 build_opener 方法传入该对象来创建一个 Opener，这样就相当于此 Opener 已经设置好代理了。接下来直接调用 Opener 对象的 open 方法，即可访问我们所想要的链接。

运行输出结果是一个 JSON，它有一个字段 origin，标明了客户端的 IP。验证一下，此处的 IP 确实为代理的 IP，并不是真实的 IP。这样我们就成功设置好代理，并可以隐藏真实 IP 了。

如果遇到需要认证的代理，我们可以用如下的方法设置：

 from urllib.error import URLError
 from urllib.request import ProxyHandler, build_opener

 proxy = 'username:password@127.0.0.1:7890'
 proxy_handler = ProxyHandler({
    'http': 'http://' + proxy,
    'https': 'http://' + proxy
 })
 opener = build_opener(proxy_handler)
 try:
    response = opener.open('https://httpbin.org/get')
    print(response.read().decode('utf-8'))
 except URLError as e:
    print(e.reason)

这里改变的只是 proxy 变量，只需要在代理前面加入代理认证的用户名密码即可，其中 username 就是用户名，password 为密码，例如 username 为 foo，密码为 bar，那么代理就是 foo:bar@127.0.0.1:7890。

如果代理是 SOCKS5 类型，那么可以用如下方式设置代理：

 import socks
 import socket
 from urllib import request
 from urllib.error import URLError

 socks.set_default_proxy(socks.SOCKS5, '127.0.0.1', 7891)
 socket.socket = socks.socksocket
 try:
    response = request.urlopen('https://httpbin.org/get')
    print(response.read().decode('utf-8'))
 except URLError as e:
    print(e.reason)

此处需要一个 socks 模块，可以通过如下命令安装：

 pip3 install PySocks