文源网络，仅供学习之用，如有侵权请联系删除。

代理服务的介绍：

我们在做爬虫的过程中经常最初爬虫都正常运行，正常爬取数据，一切看起来都是美好，然而一杯茶的功夫就出现了错误。

如：403 Forbidden错误，“您的IP访问频率太高”错误，或者跳出一个验证码让我们输入，之后解封，但过一会又出现类似情况。

出现这个现象的原因是因为网站采取了一些反爬中措施，如：服务器检测IP在单位时间内请求次数超过某个阀值导致，称为封IP。

为了解决此类问题，代理就派上了用场，如：代理软件、付费代理、ADSL拨号代理，以帮助爬虫脱离封IP的苦海。

测试HTTP请求及响应的网站:http://httpbin.org/

GET地址 ：http://httpbin.org/get

POST地址：http://httpbin.org/post

httpbin这个网站能测试 HTTP 请求和响应的各种信息，比如 cookie、ip、headers 和登录验证等。

且支持 GET、POST 等多种方法，对 web 开发和测试很有帮助。

它用 Python + Flask 编写，是一个开源项目。开源地址：https://github.com/Runscope/httpbin

返回信息中origin的字段就是客户端的IP地址，即可判断是否成功伪装IP：

代理的设置：

① urllib的代理设置

② requests的代理设置

③ Selenium的代理使用

使用的是PhantomJS

④ 在Scrapy使用代理

#在Scrapy的Downloader Middleware中间件里

免费代理IP的使用

我们可以从互联网中获取免费的代理IP：如：西刺

随机选择一个代理

收费代理IP的使用
收费代理还是很多的如：
西刺

讯代理

快代理

大象代理

在requests中使用收费代理
import requests

从代理服务中获取一个代理IP

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树网络爬虫urllib208427 人正在系统学习中

来源：wulishinian