个人对爬虫框架的一些认知（三）

      接上一篇通用框架的讲解之后，今天给大家讲解下爬虫框架关于代理IP使用这块的一些个人见解。

      就我个人使用过的代理种类来看，从获取和使用的方式上，我把他们分为两类：

      1.所有出去的代理IP都是用的同一个Ip和端口，不需要动态变化，例如：阿布云；

      2.通过代理平台接口获取下来不同的Ip和端口进行配置，动态获取，动态使用，例如：站大爷；

      我给大家列下现在有的21个代理平台：

1. 米扑代理 http://proxy.mimvp.com
2. 大象代理 http://www.daxiangdaili.com 
3. 快代理 http://www.kuaidaili.com
4. 站大爷 http://ip.zdaye.com
5. 讯代理 http://www.xdaili.cn
6. 阿布云代理 http://www.abuyun.com/
7. 蚂蚁代理 http://www.mayidaili.com
8. 360代理 http://www.swei360.com
9. 云代理 http://www.ip3366.net
10. 代理云 http://www.dailiyun.com
11. 流年免费代理 http://www.89ip.cn
12. 无忧代理 http://www.data5u.com
13. 全网代理 http://www.goubanjia.com
14. 芝麻代理 http://ip.mengdie.com
15. ITRENT（IP租赁）http://www.iprent.cn
16. 虎头代理 http://www.hutoudaili.com
17. AWMProxy（需要VPN访问）http://awmproxy.net
18. ProxyKey （需要VPN访问）http://www.proxykey.com
19. HideMy（需要VPN访问）http://hidemy.name
20. HideMyAss（需要VPN访问）http://www.hidemyass.com
21. FreeProxyLists （需要VPN访问）http://freeproxylists.net

各平台代理效果如何，我直接给大伙贴个统计图，相信大家一看就会明白的。

代理在爬虫代码里面怎么用，应该不用多讲了吧，随便找一家代理平台，都有相应语言的使用案例的，这里给大家贴一个阿布云的：

阿布云代理使用接入指南

C#为例，我贴下代码：

不同种类的代理建议大家做成参数可配置化，方便各种情况下的抓取，调整起来也会很方便，本地和代理之间可以任意切换。

另外也建议大家使用账号密码的方式，相对ip白名单的机制会更灵活，也方便放到一些成型的抓取软件如：火车浏览器、八爪鱼这种的。

相关代理知识了解链接：米扑代理：爬虫代理IP哪家好呢

有什么的好的意见和建议欢迎给我留言。下一篇章给大家讲解账号机制。

下一章关于账号体系：个人对爬虫框架的一些认知（四）

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树首页概览208442 人正在系统学习中

来源：捉虫大仙里