爬虫代理IP池的实现

使用代理发送请求:

• requests.get(url,proxies={协议:协议+ip+端口})
• 正向代理：客户端知道最终服务器的地址
• 反向代理：客户端不知道最终服务器的地址
  怎样合理的使用代理:
• 准备一堆的ip地址，组成ip池，随机选择一个ip来时用
• 如何随机选择代理ip，让使用次数较少的ip地址有更大的可能性被用到
  • {“ip”:ip,”times”:0}
  • [{},{},{},{},{}],对这个ip的列表进行排序，按照使用次数进行排序
  • 选择使用次数较少的10个ip，从中随机选择一个

• 检查ip的可用性
  • 可以使用requests添加超时参数，判断ip地址的质量
  • 在线代理ip质量检测的网站

欢迎交流

来源：户同学