我们在《python脚本百度(SEO)快排--模拟点击最新核心源码》中提到对快排影响的重要因素之一就是IP，如何使用多IP执行快排脚本有两种方法：
** 1、使用动态拨号VPS ** ** 2、代理IP池**
今天我们主要来说下如何设计一个万能的代理IP池接口？
我们随便找几家做代理IP池的厂家，看看他们都是什么样的接口？
1、芝麻HTTP
接口文档：https://zhimahttp.com/getapi/
2、品易HTTP
接口文档：http://pc.py.cn/api/
3、华益云 接口文档：http://www.9vps.com/show.asp?id=8
4、站大爷 接口文档：https://www.zdaye.com/doc/api/ShortProxy/
5、proxyPool
接口文档：https://github.com/jhao104/proxy_pool/
上述5个平台代理ip池都有各自的对接接口，而且他们的接口都不一样，有的是通过GET方式获取的，有的是通过POST方式获取的，获取的结果也不相同，有的可以直接返回代理ip如：114.55.53.151:3128 这样的格式是我们需要，有的接口返回的是json格式如：
{
"anonymous": "",
"check_count": 2,
"fail_count": 0,
"https": false,
"last_status": true,
"last_time": "2021-12-10 12:15:59",
"proxy": "8.218.161.168:1080",
"region": "",
"source": "freeProxy05"
}
如上这种json格式就需要从中提取代理ip与端口
返回结果格式上看可以把他们分为两类：
一类是直接返回代理ip 另一类直接返回json格式数据
对于第一种直接返回代理ip的我们不需要处理直接哪来使用就可以
对于返回json格式数据我们需要从中提取代理ip与端口，但不同厂家返回的json数据格式是不统一的，比如：
{
"code":0,
"success":true,
"msg":"0",
"data":[
{
"ip":"49.68.68.197",
"port":33220,
"expire_time":"2019-05-24 08:58:31",
"city":"徐州市",
"isp":"电信"
},
{
"ip":"58.218.201.108", //隧道ip （代理ip）
"port":2690, // 代理端口
"expire_time":"2019-05-24 08:55:31",
"city":"苏州市",
"isp":"电信",
"outip":"219.136.47.161", // 隧道ip的出口ip
}
]
}
那么如何解决做一个配置，能兼容所有的代理ip池呢？
在python中可以使用jsonpath库，jsonpath提取json格式的数据非常方便
1. jsonpath介绍
用来解析多层嵌套的json数据;JsonPath 是一种信息抽取类库，是从JSON文档中抽取指定信息的工具，提供多种语言实现版本，包括：Javascript, Python， PHP 和 Java。
使用方法如：
import jsonpath
res=jsonpath.jsonpath(dic_name,'$..key_name')
#嵌套n层也能取到所有key_name信息,其中：“$”表示最外层的{}，“..”表示模糊匹配,当传入不存在的key_name时,程序会返回false
2. JsonPath 对于 JSON 来说，相当于 XPath 对于 XML
安装方法：
pip install jsonpath
官方文档：http://goessner.net/articles/JsonPath
3. JsonPath与XPath语法对比：
Json结构清晰，可读性高，复杂度低，非常容易匹配，下表中对应了XPath的用法。
| / | $ | 跟节点 |
|---|---|---|
| . | @ | 现行节点 |
| / | . or [] | 取子节点 |
| .. | n/a | 就是不管位置，选择所有符合条件的条件 |
| * | * | 匹配所有元素节点 |
| [] | [] | 迭代器标示(可以在里面做简单的迭代操作，如数组下标，根据内容选值等) |
| | | [,] | 支持迭代器中做多选 |
| [] | ?() | 支持过滤操作 |
| n/a | () | 支持表达式计算 |
| () | n/a | 分组，JsonPath不支持 |
4. 使用实例
d={
"error_code": 0,
"stu_info": [
{
"id": 2059,
"name": "小白",
"sex": "男",
"age": 28,
"addr": "河南省济源市北海大道32号",
"grade": "天蝎座",
"phone": "18378309272",
"gold": 10896,
"info":{
"card":434345432,
"bank_name":'中国银行'
}
},
{
"id": 2067,
"name": "小黑",
"sex": "男",
"age": 28,
"addr": "河南省济源市北海大道32号",
"grade": "天蝎座",
"phone": "12345678915",
"gold": 100
}
]
}
res= d["stu_info"][1]['name'] #取某个学生姓名的原始方法:通过查找字典中的key以及list方法中的下标索引
print(res) #输出结果是：小黑
import jsonpath
res1=jsonpath.jsonpath(d,'$..name') #嵌套n层也能取到所有学生姓名信息,$表示最外层的{}，..表示模糊匹配
print(res1) #输出结果是list：['小白', '小黑']
res2= jsonpath.jsonpath(d,'$..bank_name')
print(res2) #输出结果是list：['中国银行']
res3=jsonpath.jsonpath(d,'$..name123') #当传入不存在的key(name)时,返回False
print(res3) #输出结果是：False
5、提取proxypool接口中的代理
proxypool接口：http://127.0.0.1:5010/get/
通过GET方式请求，返回数据如下：
{
"anonymous": "",
"check_count": 1,
"fail_count": 0,
"https": false,
"last_status": true,
"last_time": "2021-12-10 14:19:22",
"proxy": "112.14.47.6:52024",
"region": "",
"source": "freeProxy05/freeProxy04"
}
从这样的接口中获取代理ip的方式如下：
import requests
import jsonpath
import json
response = requests.get('http://127.0.0.1:5010/get/')
data = json.loads(response.text)
ips = jsonpath.jsonpath(data, '$..proxy') #返回的是list
if len(ips) >0 :
print(ips[0])
