大家好，我是不温卜火，昵称来源于成语—，本意是。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！博客主页：https://buwenbuhuo.blog.csdn.net/

目录

• 前言
• 一、大数据时代到来的动因
• • 1.1 第三次信息化浪潮
  • 1.2 信息科技为大数据时代提供技术支撑
  • • 1.2.1 存储设备容量不断增加
    • 1.2.2 CPU处理能力大幅提升
    • 1.3.1 网络带宽不断增加
  • 1.3 数据生产方式的变革促成大数据时代的来临
• 二、大数据的简单介绍
• • 2.1 大数据的定义
  • 2.2 大数据的特点(5V)
  • 2.3 大数据的发展历程
  • 2.4 大数据的关键技术
  • 2.5 大数据计算模式
  • 2.6 大数据产业
  • 2.7 大数据与云计算、物联网的关系
  • 2.8 大数据开发的一般过程
  • • 2.8.1 数据采集
    • 2.8.2 数据存储
    • 2.8.3 数据清洗
    • 2.8.4 数据分析
    • 2.8.5 数据可视化
  • 2.9 大数据的应用场景
• 三、大数据的影响以及未来前景展望
• • 3.1 大数据的影响
  • 3.2 大数据行业发展趋势的两个层面
  • • 3.2.1 国家层面
    • 3.2.2 高校教育和就业层面
  • 3.3 未来展望
  • 3.4 大数据职业发展路线

---

前言

此系列主要为我的学弟学妹们所创作，在某些方面可能偏基础。如果读者感觉较为简单，还望见谅！如果文中出现错误，欢迎指正~

1.2 信息科技为大数据时代提供技术支撑

1.2.1 存储设备容量不断增加

根据上图我们可以清晰的看到CPU晶体管数目随着时间的变化而变化。

1.3.1 网络带宽不断增加

二、大数据的简单介绍

2.1 大数据的定义

大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2.2 大数据的特点(5V)

2.4 大数据的关键技术

下图为大数据技术的不同层面及其功能的解释：

2.5 大数据计算模式

2.7 大数据与云计算、物联网的关系

云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者相辅相成，既有联系又有区别，在此就不过多赘述云计算和物联网。如有兴趣可自行查阅相关资料。

如果我们想要完整实现的话，一般需要经过以下几个步骤：

1数据分析的方法：机器学习

数据可视化工具：

1、Matplotlib(Python)：一个2D绘图库，可以绘制许多高质量的图形

2、Seaborn(Python)：Matplotlib基础上的高级绘图库，运用简单的操作就能够画出较为复杂的图形

3、Tableau：一个强大的数据可视化工具，可实时进行可视化数据分析和数据探索

4、Echarts：由百度前端技术部开发的，基于Javascript的数据可视化图表库，提供直观、生动、可交互、可个性化定制的数据可视化图表

2.9 大数据的应用场景

随着大数据的发展，大数据技术已经广泛应用在众多行业，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹：

2电商站内推荐：给用户推荐可能喜欢的商品

个性推荐

4物流仓储：京东物流，上午下单下午送达、下午下单次日达

除此之外还有电信以及只会城市的建设等等，大数据的价值，远远不止于此，大数据对各行各业的渗透，大大推动了社会生产和生活，未来必将产生重大而深远的影响。

三、大数据的影响以及未来前景展望

3.1 大数据的影响

图灵奖获得者、著名数据库专家Jim Gray 博士观察并总结人类自古以来，在科学研究上，先后历经了实验、理论、计算和数据四种范式

根据上图中的组织结构我们可以知道从事大数据岗位包括：

• ETL工程师—数据清洗
• 数据仓库工程师—数据仓库搭建
• 实时流处理工程师
• 用户画像工程师
• 数据挖掘
• 算法工程师
• …

部分相关素材来源：

1. 林子雨 大数据技术原理与应用（第3版）
2. 尚硅谷 大海哥大数据Hadoop 3.X

本片文章到这里就结束了，如有不足请指出~

---

来源：不温卜火