Python爬虫帮你抢秒杀

什么是爬虫/span>

网络爬虫又被称为网页蜘蛛，网络机器人，是一种按照一定的规则，自动地抓取网络信息的程序或者脚本，另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。

你可以简单地想象：每个爬虫都是你的「分身」。就像孙悟空拔了一撮汗毛，吹出一堆猴子一样

百度: 其实就是利用了这种爬虫技术：每天放出无数爬虫到各个网站，把他们的信息抓回来，然后化好淡妆排着小队等你来检索

抢票软件: 就相当于撒出去无数个分身，每一个分身都帮助你不断刷新 12306 网站的火车余票。一旦发现有票，就马上拍下来，然后对你喊：土豪快来付款

总结: 你基本可以认为你能用浏览器,各种手机app等网络软件做的事情,爬虫都可以做,只不过爬虫可以不舍昼夜的同时比你快n倍的去做这些事情

爬虫的「骚操作」   爬虫也分善恶

像谷歌这样的搜索引擎爬虫，每隔几天对全网的网页扫一遍，供大家查阅，各个被扫的网站大都很开心。这种就被定义为「善意爬虫」但是，像抢票软件这样的爬虫，对着 12306 每秒钟恨不得撸几万次。铁总并不觉得很开心。这种就被定义为「恶意爬虫」（注意，抢票的你觉得开心没用，被扫描的网站觉得不开心，它就是恶意的。）

注意，这张图显示是全世界，不是全中国

而每一个色块背后，都是一条真实而强大的利益链条

 爬取数据的基本流程

1.起始URL地址

准备URL

URL（Uniform Resource Locator）网络资源定位符 其实就是俗称的网址

 2.发出请求获取响应数据

requests : 可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3）

官方文档 ：http://cn.python-requests.org/zh_CN/latest/

安装 ：pip3 install requests

requests.get(www.baidu.com) : 通过requests向服务器发送请求

response = requests.get()

response.content() : 获取响应的数据

3.对响应数据解析

4.数据入库

 Selenium自动化操作

selenium 安装

安装：pip install selenium

Chrome 驱动下载

https://chromedriver.storage.googleapis.com/index.html

如何学习python爬虫/span>

教程推荐：

Python爬虫帮你抢秒杀

Python入门到精通（19天全）

黑马程序员180分钟轻松获取疫情数据，Python爬虫入门课_i

黑马程序员Python爬虫基础，快速入门Scrapy爬虫框架_i

来源：骨灰级收藏家