1.引言
1.1 编写目的
1.2 项目背景
1.2 项目概要
- 总体要求
2.1 系统功能概述
2.2 系统功能要求
- 软件开发
3.1 软件需求分析
3.2 软件的概要设计
3.2.1 软件概要设计说明
3.2.3 基本设计概念和处理流程
3.3 软件的详细设计
3.3.1 系统结构
3.3.2 模块设计说明
3.3.3 爬虫模块
3.3.4 日志模块
3.3.5 数据处理
3.3.6 数据建模
3.3.7 事件画像
3.3.8 可视化展示
3.4 数据库设计
3.4.1 数据库说明
3.4.2 数据库操作
3.4.3 数据库结构
3.4.4 表结构
1.引言
1.1 编写目的
项目名称：基于互联网大数据的事件智能抓取和画像系统
项目成员：禹精华、刘可可、刘贤辉
对基于互联网大数据的事件智能抓取和画像系统进行算法描述和软件设计说明。
1.2 项目背景
项目背景：随着互联网大数据的发展，各种大数据的分析对各行业都产生了不同程度的影响。网站数据、社交媒体数据等是互联网大数据的重要组成部分。对于民航业领域，社会事件的发生，会很大程度影响旅客的出行需求变化，从而影响航空公司飞机运力投放、航班编排、票价策略调整等，对互联网事件的准确抓取和分析能够帮助航空公司更好的服务市场、服务旅客、提升收益。
行业背景：对于航空公司来说，能否预先判断旅客的出行需求，可用于航空公司及行业管理部门决定行业运力投放的合理性，从而提高旅客服务水平、提高航空公司航班收益水平，从互联网中获取大量的影响民航领域的信息能够帮助航空公司制定销售策略。
1.3 项目概要
开发团队：武汉职业技术学院筑梦云工作室demo01团队
项目开发平台说明：
操作系统：Windows7 及以上版本
应用服务器：Ubuntu Server 14.04 LTS 64位
服务器配置：CUP： 1核 内存：1GB 公网带宽：1Mbps 硬盘：20G
应用服务器：Windows Servers 2008
服务器配置：CUP： 1核 内存：2GB 公网带宽：1Mbps 硬盘：40G
网络架构：完全支持TCP/IP协议
开发工具或技术体系：开发语言：Python 3.6，开发工具：Pycharm 2017
数据库： MongoDB 3.4.3
软件运行环境说明：
设备：
客户程序硬件要求：
具有 1核处理器且满足以下要求的计算机：
最低 1G内存
最小 20 GB 硬盘
web服务器硬件需求：
具有1核处理器且满足以下要求的计算机：
最低 1G内存
最小 20 GB 硬盘
总线I/O：8M/s；
数据库服务器硬件需求：
具有1核处理器且满足以下要求的计算机：
最低 1G内存
最小 20 GB 硬盘
2.总体要求
2.1 系统功能概述
从互联网上抓取事件，对事件数据进行数据处理，存储到数据库，进行分词及语义等处理，提取事件的属性建立事件模型，以及可视化展现。
1、实现互联网事件天级或更高频次抓取，采集政治会议、展会、体育赛事、演唱会、突发异常天气等各类中比较主要的事件，每个类型的事件数据至少来自2个数据源（网站），每天爬取一次。
2、实现事件的去重功能，一是不同数据源（网站）的事件去重，二是不同天抓取的事件去重。
3、事件画像建模，即事件属性自动化提取。
4、使用DataV进行可视化展现。
2.2 系统功能要求
1、网络爬虫模块实现互联网事件抓取。
2、日志模块实现各个模块间日志的生成。
3、数据处理模块实现数据的准备、清洗、去重、转换。
4、数据建模模块对数据建立模型，计算及转换。
5、事件画像模块对事件分词及提取属性。
6、DataV进行可视化展示。
3.软件开发
3.1 软件需求分析
系统需求分析：为航空公司飞机的运力投放、航班编制、票价策略提供服务。
软件系统结构描述：基于互联网大数据的事件智能抓取和画像系统由爬虫模块、日志模块、数据处理模块、数据建模模块、事件画像模块、可视化系统构成。
软件结构如图3-1:
图3-1 系统总用例图
数据流程如图 3-2：
图 3-2 数据流程
3.2 软件的概要设计
3.2.1 软件概要设计说明
软件系统采用B/S架构，并且将程序部署在云服务器。
3.2.2 基本设计概念和处理流程
考虑到互联网上的数据复杂性非常高、并且事件数据一般为非结构化数据，其处理和分析有一定的难度，对爬虫的稳定性和爬取速度有很大的要求，我们使用scrapy爬虫框架技术来从各网站爬取数据，对数据进行处理，使用NoSQL型数据库MongoDB存储半结构化数据，对数据画像、分析、建模并且将程序部署在云端。通过访问云端数据库，数据流映射到DataV实现可视化展示。
系统流程如图 3-2-2：
图 3-2-2 系统流程图
设计说明：
1、每一个计算机需要不需要安装客户程序，但是需要有IE4.0或更高版本的支持；
2、WEB发布服务器访问数据库服务器，数据库服务器对外部不可见；
3、数据库服务器使用MongoDB来实现，对于目前的访问量，MongoDB在足够的硬件环境的支持下能够适用，并且在经济上也是合理的；
4、多用户并发访问和处理、数据加锁、事务协调，由MongoDB数据库来完成，本系统不提供单独的事务处理服务器；
5、scrapy爬虫框架可以实现快速、高并发、高层次的网络抓取。
3.3 软件的详细设计
3.3.1 系统结构
应用程序采用Python语言进行开发，网络爬虫使用scrapy框架进行开发并将其部署在云服务器上，考虑到爬虫抓取的数据多为半结构化或者非结构化数据，我们使用NoSQL型数据库MongoDB进行数据存储，并部署在云服务器上。
系统设计如图 3-3-1：
图 3-3-1 系统设计图
3.3.2 模块设计说明
整个系统共划分为6个模块
1、爬虫模块
2、日志模块
3、数据处理
4、数据建模
5、事件画像
6、可视化展示
系统模块设计如下：
1、爬虫模块分为定时爬虫模块和scrapy爬虫两个模块构成。
定时爬虫模块：管理整个爬虫模块，监控爬虫运行状态、设置爬虫抓取频率（每天爬取一次）、爬虫程序异常处理、管理爬虫日志。
Scrapy爬虫模块：从目标网站上抓取数据，采集政治会议、展会、体育赛事、演唱会、突发异常天气、交通管制新闻网等数据源网站的事件经过数据处理，并生成爬虫日志存储到数据库。此模块由11个爬虫脚本组成，分别对相应的数据源进行数据爬取。
爬虫模块如图3-3-2：
图3-3-2 爬虫模块图
2、日志模块：日志模块与系统各个模块部分联系紧密，各个模块运行都会产生日志，生成的日志将存储到数据库，方便系统管理、维护、排错。
日志设计图如图 3-3-3：
图3-3-3 日志模块设计图
3、数据处理：数据处理分为数据准备、数据转换、数据聚合。主要对非结构化/半结构化数据进行处理，得到干净、规整的数据。爬虫爬取网站数据源的时候进行数据预处理，对所收集数据进行审核、筛选、排序等操作。数据预处理完成后对数据进行清洗，过滤掉不符合要求的数据，将脏数据转化为满足要求的数据。再进行缺失值处理，对缺失项进行特殊值填充，存储到数据库。数据去重主要对不同网站的事件数据去重复处理。
4、数据建模：对事件数据建立一个统一的模型，利用聚类等机器学习算法挖掘数据间隐藏的属性及关系。由聚类算法和搜索引擎收录数两个子模块构成。
聚类算法：使用无监督学习的K-Means对数据进行聚类分析。
搜索引擎收录数：对于热度相关数据的缺失，我们通过抓取百度搜索引擎对事件的收录数，对缺失热度数据进行填充。
5、事件画像：事件画像模块实现了对事件属性的自动化提取。调用数据建模模块对数据进行聚类，对不同类型的事件进行分词及属性提取，数据样本初始化，日志生成，对事件画像，生成事件样本。
事件属性表如下：
| 主办方级别 | 是否是国际性组织 |
|---|---|
| 是否是国家政府 | |
| 是否是省政府 | |
| 是否是地方级政府 | |
| 主办方类型 | 是否是国内民间协会 |
| 是否是国际民间协会 | |
| 是否是国内行业协会 | |
| 是否是国际行业协会 | |
| 主要影响年龄阶段 | 主要影响年龄层为儿童 |
| 主要影响年龄层为青年 | |
| 主要影响年龄层为成年 | |
| 主要影响年龄层为老年 | |
| 是否有固定的参与人群 | 是否有固定的参与人群 |
| 影响社会群体 | 是否影响商务人群 |
| 是否影响社会大众 | |
| 最大影响范围 | 最大影响全球 |
| 最大影响洲际 | |
| 最大影响全国 | |
| 最大影响全省 | |
| 最大影响全市 | |
| 事件类型 | 是否是展会 |
| 是否是演唱会 | |
| 是否是体育赛事 | |
| 是否是会议 | |
| 是否是地方性节假日 | |
| 事件热度 | 事件热度 |
| 事件历史悠久程度 | 事件历史悠久程度 |
| 事件一年内频率 | 事件一年内频率 |
| 基本属性 | 开始日期 |
| 结束日期 | |
| 举办城市 | |
| 事件名称 |
6、可视化展示我们使用阿里云的可视化工具DataV来生成图表和数字大屏。
3.3.3 爬虫模块
定时爬虫模块设计如图3.3.3：
图3.3.3 定时爬虫模块
程序定时及爬虫管理脚本 TimerAdmins.py
scrapy爬虫模块设计如图 3.3.4：
图3.3.4 Scrapy爬虫模块类和接口设计
3.3.4 日志模块
日志模块设计如图 3.3.4：
图3.3.4 日志接口类图
算法及源码设计如下：
来源：python量化交流
声明：本站部分文章及图片转载于互联网，内容版权归原作者所有，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！