如何将爬虫的数据添加到mysql数据库中

以爬取糗事百科中24小时网页中第一列表页中所有文章的内容，作者，搞笑数，评论数为例，将爬取的四项内容存入到mysql数据库中。

思路：要想存入到数据库中就需要用到数据库中的表，所以我们首先创建一个名叫‘myblog’的数据库，然后在此数据库中建立一个名

叫‘qiushi’的表，可以使用命令符进入mysql数据库，使用mysql语句进行创建。也可以使用Navicat Premium软件直接连接mysql数据库，在

可视化界面直接进行操作。如下图所示,在qiushi表中建立如下类型的字段。

然后需要用python连接数据库，需要用到pymsql模块，此模块为python的三方模块，需要进行引入下载，。然后创建连接的语句如下程序所示：

由于我们要做项目的时候不可能将这一段代码都拼接到我们的爬取程序文件当中，所以我们可以将这些语句封装为一个类的形式，每次爬

虫完成之后，可以在该程序中直接实例化一个类对象，然后调用类中存入数据库的一个方法来进行数据的存入。

封装后的类形式如下程序所示;

首先是settings.py文件用来写入连接mysql数据的各项参数，连接的ip，端口，mysql数据库密码，连接的数据库名字

创建类的文件：

然后可以直接进行爬虫，在爬虫程序中可以先引入类文件中的类名，进行实例化创建一个类对象，然后直接调用类中的save_data方法就可以将爬取的数据存入到数据中。

具体程序如下：

来源：珂鸣玉