【第一个爬虫】python爬取58同城企业信息并插入数据库

在ubuntu 16.04 lts 下，python2.7， MySQL 5.7，编辑器sublime text 3

安装的开发环境废了好长时间，python的包安装也麻烦，之前在win7 64位系统中安装mysqldb包一直没装上，后来在别的电脑上试了一下，mysqlconnect啥的包可以替代，好像说是正统的包

用的beautif soup包，连接mysql也弄了半天，导出到excel也是用的第三方软件，直接导出到excel好像安全方面有点问题

因为58上企业电话号码和邮箱地址是以图片形式给出的，所以就把图片下载到本地

两种解决方案：

1、图片直接放入excel对应行，但是好像不怎么好搞，把本地图片的超链接存入对应单元格还是没问题的，但是查看的时候还要点击链接才能打开图片不方便，用宏的话录制脚本又达不到要求

2、就是识别图片中号码和邮箱地址，这个工程量感觉不小，感觉要使用机器学习方面的知识

      找了个第三方软件中文名好像叫“泰比”的俄罗斯软件，识别效果很好，就是不知道批量识别速度如何，关键这软件不便宜。

。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

更新

 添加爬取公司地址

mysql插入语句也要修改，就不赘述了

下面来说一个mysql中表导出为excel表格的问题，当然在ubuntu中是LibreOffice Calc这个软件，文件后缀是ods，不过显然不要紧

1、首先在控制台进入mysql

2、选中想导出的数据库

3、执行检查安全设置语句

我的是secure_file_priv         /var/lib/mysql-files/

意思你想导出文件只能导出到这个指定的目录下

4、导出到上述指定的目录中

比如：

这时控制台会显示：query ok， 多少多少rows affected

说明文件已经导出到了/var/lib/mysql-files目录下了

但是你直接去找会发现你居然看不了！！！说你没有权限！！！WTF！！！电脑不是买的吗统不是我装的吗难道还没有权限万只草泥马奔腾。。。

别砸电脑，毕竟不是别人的日系车。。。看下面

5、控制台退出mysql，键入下面语句，并输入你的密码

权限瞬间提升五个等级。。。以前只是神盾局小探员的等级，现在就是独眼局长的权限

然后再查看就ok了

PS：不过我发现我想直接把导出文件拖到桌面还是不行。。。只好打开另存到桌面。。。

不过最后删除的时候到时很顺手就删了。。。

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树首页概览208363 人正在系统学习中

来源：Line290