Python数据分析与可视化（1）——Python数据分析与可视化

1、大数据分析框架结构

数据分析与数据挖掘的区别：

差异角度	数据分析	数据挖掘
定义	描述和探索性分析，评估现状和修正不足 技术	技术性的“采矿”过程，发现未知的模式和规律
侧重点	技术性的“采矿”过程，发现未知的模式和规律	技术性的“采矿”过程，发现未知的模式和规律
技能	统计学、数据库、Excel、可视化等	过硬的数学功底和编程技术
结果	需结合业务知识解读统计结果	模型或规则

数据分析的流程：

1、需求分析：数据分析中的需求分析也是数据分析环节的第一步和最重要的步骤之一，决定了后续的分析的方向、方法。
数据获取：数据是数据分析工作的基础，是指根据需求分析的结果提取，收集数据。
2、数据预处理：数据预处理是指对数据进行数据合并，数据清洗，数据变换和数据标准化，数据变换后使得整体数据变为干净整齐，可以直接用于分析建模这一过程的总称。
3、分析与建模：分析与建模是指通过对比分析、分组分析、交叉分析、回归分析等分析方法和聚类、分类、关联规则、智能推荐等模型与算法发现数据中的有价值信息，并得出结论的过程。
4、模型评价与优化：模型评价是指对已经建立的一个或多个模型，根据其模型的类别，使用不同的指标评价其性能优劣的过程。
5、部署：部署是指将通过了正式应用数据分析结果与结论应用至实际生产系统的过程。

3、数据可视化

数据分析是一个探索性的过程，通常从特定的问题开始。它需要好奇心、寻找答案的欲望和很好的韧性，因为这些答案并不总是容易得到的。
数据可视化，即数据的可视化展示。有效的可视化可显著减少受众处理信息和获取有价值见解所需的时间。
数据分析和数据可视化这两个术语密不可分。在实际处理数据时，数据分析先于可视化输出，而可视化分析又是呈现有效分析结果的一种好方法。

数据可视化：是关于数据视觉表现形式的科学技术研究。其中，这种数据的视觉表现形式被定义为“一种以某种概要形式抽提出来的信息，包括相应信息单位的各种属性和变量”。
数据可视化主要是借助于图形化手段，清晰有效地传达与沟通信息。

数据可视化是指将大型数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程。
数据可视化技术的基本思想是将数据库中每一个数据项作为单个图元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。

数据可视化的方法1—-面积&尺寸可视化：

数据可视化的方法3—-图形可视化
可视化典型案例：
1、全球黑客活动
安全供应商Norse打造了一张能够反映全球范围内黑客攻击频率的地图（http://map.ipviking.com），它利用Norse 的“蜜罐”攻击陷阱显示出所有实时渗透攻击活动。如下图所示，地图中的每一条线代表的都是一次攻击活动，借此可以了解每一天、每一分钟甚至每一秒世界上发生了多少次恶意渗透。

3、编程语言之间的影响力关系图
Ramio Gómez利用来自Freebase上的编程语言维护表里的数据，绘制了编程语言之间的影响力关系图，如下图所示，图中的每个节点代表一种编程语言，之间的连线代表该编程语言对其他语言有影响，有影响力的语言会连线多个语言，相应的节点也会越大。

5、世界国家健康与财富之间的关系
“世界国家健康与财富之间的关系”利用可视化技术，把世界上200个国家，从1810年到2010年历时200年其各国国民的健康、财富变化数据（收集了1千多万个数据）制作成三维动画进行了直观展示（http://www.moojnn.com/Index/whn）。

7、数据可视化案例-滴滴的交通大数据

为何选用Python

Python语言是一种解释型、面向对象、动态数据类型的高级程序设计语言
Python语言是数据分析师的首选数据分析语言，也是智能硬件的首选语言

优点一：优雅、简单、明确
优点二：强大的标准库
优点三：良好的可扩展性
优点四：免费、开源

Python常用类库

1. Numpy
   NumPy软件包是Python生态系统中数据分析、机器学习和科学计算的主力军。它极大地简化了向量和矩阵的操作处理。
   除了能对数值数据进行切片（slice）和切块（dice）外，使用NumPy还能为处理和调试上述库中的高级实例带来极大便利。
   一般被很多大型金融公司使用，以及核心的科学计算组织如Lawrence Livermore、NASA用其处理一些本来使用C++、Fortran或Matlab等所做的任务。

2. SciPy
   SciPy（http://scipy.org）是基于NumPy开发的高级模块，依赖于NumPy，提供了许多数学算法和函数的实现，可便捷快速地解决科学计算中的一些标准问题，例如数值积分和微分方程求解、最优化、甚至包括信号处理等。
   作为标准科学计算程序库， SciPy它是Python科学计算程序的核心包，包含了科学计算中常见问题的各个功能模块，不同子模块适用于不同的应用。

3. Pandas
   Pandas提供了大量快速便捷处理数据的函数和方法。它是使Python成为强大而高效的数据分析环境的重要因素之一。
   Pandas中主要的数据结构有Series、DataFrame和Panel。其中Series是一维数组，与NumPy中的一维array以及Python基本的数据结构List类似；DataFrame是二维的表格型数据结构，可以将DataFrame理解为Series的容器； Panel是三维的数组，可看作为DataFrame的容器。

4. Matplotlib
   Matplotlib是Python 的绘图库，是用于生成出版质量级别图形的桌面绘图包，让用户很轻松地将数据图形化，同时还提供多样化的输出格式。

5. Seaborn
   Seaborn在Matplotlib基础上提供了一个绘制统计图形的高级接口，为数据的可视化分析工作提供了极大的方便，使得绘图更加容易。
   用Matplotlib最大的困难是其默认的各种参数，而Seaborn则完全避免了这一问题。一般来说，Seaborn能满足数据分析90%的绘图需求。

6. Scikit-learn
   Scikit-learn是专门面向机器学习的Python开源框架，它实现了各种成熟的算法，容易安装和使用。
   Scikit-learn的基本功能有分类、回归、聚类、数据降维、模型选择和数据预处理六大部分。

数据科学计算平台—Anaconda

Anaconda是一个集成的Python数据科学环境，简单的说，Anaconda除了有Python外，还安装了180多个用于数据分析的第三方库，而且可以使用conda命令安装第三方库和创建多个环境。相对于只安装Python而言，避免了安装第三方库的麻烦。
网站：
https://mirror.tuna.tsinghua.edu.cn/help/anaconda/

来源：零陵上将军_xdr