2020-11-22

数据分析

• 《云计算与大数据应用》
• • 云计算概述
  • • 1.1 什么是云计算
    • 1.2云计算的发展背景
    • 1.3典型的云计算基础架构
    • 1.4 云计算的主要服务模式
    • 1.5 云计算的主要部署模式。
    • 1.6 云计算是商业模式的创新
    • 1.7 典型的云计算产品
    • 1.8 云计算技术的新发展
    • 1.9 我国的云计算产业现状

《云计算与大数据应用》

云计算概述

1.1 什么是云计算

云计算(cloud computing)是一种基于因特网的超级计算模式，在远程的数据中心里，成千上万台电脑和服务器连接成一片电脑云。因此，云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。
1.1.1云计算的定义
云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问， 进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。
1.1.2云计算的概念模型
从以上云计算的概念可知，云计算的实质是网络的下的应用去，其业务实现的概念模型。
1 用户的公众性。
2 设备的多样性。
3 商业模式的服务性。
4提供方式的灵活性。

1.2云计算的发展背景

有人说云计算是技术革命的产物，也有人说云计算只不过是已有技术的最新包装，是设备厂商或软件厂商新瓶装旧酒的一种商业策略。我们认为，云计算是社会、经济的发展和需求的推动、技术进步以及商业模式转换共同作用的结果。
1.飞速发展的网络技术
2.万维网的发明与发展
长期以来，人们只是通过传统的媒体（如电视、报纸、杂志和广播等）获得信息。但随着计算机网络的发展，人们想要获取信息，已不再满足于传统媒体那种单方面传输和获取的方式，而希望有一种主观的选择性。现在，网络上提供各种类别的数据库系统，如文献期刊、产业信息、气象信息、论文检索等等。由于计算机网络的发展，信息的获取变得非常及时、迅速和便捷。

到了1993年，WWW 的技术有了突破性的进展，它解决了远程信息服务中的文字显示、数据连接以及图像传递的问题，使得 WWW 成为 Internet 上最为流行的信息传播方式。

现在，Web 服务器成为 Internet 上最大的计算机群，Web 文档之多、链接的网络之广，令人难以想象。可以说，Web 为 Internet 的普及迈出了开创性的一步，是近年来 Internet 上取得的最激动人心的成就。
3. 信息产业的发展演进
科技的日新月异,使得电子信息产业得到了迅速的发展,成为国民经济发展的重要动力。不断发展着的电子信息产业,已经开始成为国家核心竞争力的主要组成因素,同时在提高现代经济发展的过程中做出了杰出贡献。本文通过简要介绍了电子信息产业在我国的发展历程,然后分析了我国电子信息产业的发展现状,同时对于我国未来的电子信息产业做出了展望。
4.云计算的提出
1.提出者：Google工程师，比希利亚，27岁
2.云计算包含的网格计算特征：
（1）提供在线的计算、存储等服务
（2）超大规模的资源组合
（3）资源的虚拟化
网格计算：利用互联网把地理上广泛分布的各种资源（计算、存储、带宽、软件、数据、信息、知识等）连成一个逻辑整体，就像一台超级计算机一样，为用户提供一体化信息和应用服务（计算、存储、访问等） 。
3.云计算与网格计算的比较：
1）网格计算强调资源共享，任何节点都可以请求使用其它节点的资源，任何节点都需要贡献一定资源给其他节点；云计算强调专有，请求或获取的资源是专有的，并且由少数团体提供，使用者不需要贡献自己的资源。
2）网格计算侧重并行的计算集中性需求，并且难以自动扩展；云计算侧重事务性应用，大量的单独的请求，可以实现自动或半自动的扩展。

1.3典型的云计算基础架构

首先，云计算大致分为IaaS（基础设施即服务，如小鸟云、阿里云）、PaaS（平台即服务）、SaaS（软件即服务）

PaaS（Platform-as-a-Service：平台即服务）是指将软件研发的平台作为一种服务，以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用。但是，PaaS的出现可以加快SaaS的发展，尤其是加快SaaS应用的开发速度。在2007年国内外SaaS厂商先后推出自己的PaaS平台。PaaS能够提供企业进行定制化研发的中间件平台，同时涵盖数据库和应用服务器等。

PaaS可以提高在Web平台上利用的资源数量。例如，可通过远程Web服务使用数据即服务（Data-as-a-Service：数据即服务），还可以使用可视化的API，甚至像800app的PaaS平台还允许你混合并匹配适合你应用的其他平台。用户或者厂商基于PaaS平台可以快速开发自己所需要的应用和产品。同时，PaaS平台开发的应用能更好地搭建基于SOA架构的企业应用。

1.4 云计算的主要服务模式

算的主要服务形式：SaaS（软bai件即服务），PaaS（平台du即服务），zhiIaaS（信息即服务）
1.4.1 基础设施服务设置 Iaas
IaaS(Infrastructure as a Service)，即基础设施即服务。

消费者通过Internet 可以从完善的计算机基础设施获得服务。这类服务称为基础设施即服务。基于 Internet 的服务(如存储和数据库)是 IaaS的一部分。Internet上其他类型的服务包括平台即服务(Platform as a Service，PaaS)和软件即服务(Software as a Service，SaaS)。PaaS提供了用户可以访问的完整或部分的应用程序开发，SaaS则提供了完整的可直接使用的应用程序，比如通过 Internet管理企业资源。
1.4.2 平台即服务 Paas
PaaS(Platform-as-a-Service:平台即服务)全称:(Platform as a service)中文: 平台即服务所谓PaaS实际上是指将软件研发的平台(计世资讯定义为业务基础平台)作为一种服务，以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用。但是，PaaS的出现可以加快SaaS的发展，尤其是加快SaaS应用的开发速度。在2007年国内外SaaS厂商先后推出自己的PAAS平台。PAAS之所以能够推进SaaS的发展，主要在于它能够提供企业进行定制化研发的中间件平台，同时涵盖数据库和应用服务器等。PAAS可以提高在Web平台上利用的资源数量。例如，可通过远程Web服务使用数据即服务(Data-as-a-Service:数据即服务)，还可以使用可视化的API。用户或者厂商基于PaaS平台可以快速开发自己所需要的应用和产品。同时，PaaS平台开发的应用能更好地搭建基于SOA架构的企业应用。
1.4.3 软件即服务 Saas
aaS是Software-as-a-Service（软件即服务）的简称。

像以前用的OA系统都是安装在企业的服务器中，数据存储在本地，通过局域网或者互联网进行访问。

但是现在不需要安装软件了，打开浏览器输入网站就可以登录到公司的OA系统了，数据也被存储在服务器中，这个服务器就是软件服务提供商所提供的。

这个系统就是SaaS。

再举个简单的例子，一个企业想要用一套OA办公系统，云创就会给这家企业提供一个账号用以使用OA系统，至于OA系统的维护升级都是由云创来负责的，包括数据也都是保存在云创的服务器中。这家企业只需要享受所有OA系统中的服务就可以了。

1.4.4 三种服务模式之间的关系
SaaS、PaaS、IaaS简单的说都属于云计算服务，也就是云计算+服务。我们对于云计算的概念，维基百科有以下定义：Cloud computing is a new form of Internet-based computing that provides shared computer processing resources and data to computers and other devices on demand. 云计算就是一种按照需求通过Internet获取计算资源的形态。这些计算资源被包装成为服务，提供给用户。而提供这些服务的主体，我们称之为云服务供应商（Cloud Service Provider）。按照NIST (National Institute of Standards and Technology，美国国家标准和技术研究院)的定义，云服务最主要的有三类，就是题主提问的IaaS、PaaS、Saa

1.5 云计算的主要部署模式。

1.私有云，云端资源只给一个单位组织内的用户使用，这是私有云的核心特征。而云端的所有权、日常管理和操作的主体到底属于谁并没有严格的规定，可能是本单位，也可能是第三方机构，还有可能是二者的联合。云端位于本单位内部，也可能托管在其他地方。

2.社区云，云端资源专门给固定的几个单位内的用户使用，而这些单位对云端具有相同诉求（如安全要求、云端使命、规章制度、合规性要求等）。云端的所有权、日常管理和操作的主体可能是本社区内的一个或多个单位，也可能是社区外的第三方机构，还可能是二者的联合。云端可能部署在本地，也可能部署于他处。

3.公共云，云端资源开放给社会公众使用。云端的所有权、日常管理和操作的主体可以是一个商业组织、学术结构、政府部门或者它们其中的几个联合。云端可能部署在本地，也可能部署于其他地方，比如郑州市民公共云的云端可能就建在郑州，也可能建在洛阳。

4.混合云，混合云由两个或两个以上不同类型的云（私有云、社区云、公共云）组成，它们各自独立，但用标准的或专有的技术将它们组合起来，而这些技术能实现云之间的数据和应用程序的平滑流转。由多个相同类型的云组合在一起属于多云的范畴，比如两个私有云组合在一起，混合云属于多云的一种。由私有云和公共云构成的混合云是目前最流行的——当私有云资源短暂性需求过大时，自动租赁公共云资源来平抑私有云资源的需求峰值。例如，网站在节假日期间点击量巨大，这时就会临时使用公共云资源来应急。

1.6 云计算是商业模式的创新

很多人讨论，云计算是否格局已定，我觉得云计算只是刚刚走过了其高速发展的草莽时代。这个时代，相当于拓荒之地刚刚完成了庞大的基础设施建设。离全面的繁荣，还有很长的一段路要走。先用一段篇幅，回顾一下这个时代的一些历史和时代印记。我在两年前写过一篇文章，可以回顾一下当时的市场。

新的商业模式的诞生

2006年，当亚马逊第一次将其对象存储作为服务区售卖时，标志着云计算这种新的商业模式的诞生。有的人把云计算当做一种新的技术，其实并没有反映出云计算的本质。云计算并没有用到什么新的技术，它用的虚拟化技术，网络技术，存储技术，十多年前就已经很成熟了。甚至很多学术界的同僚对此嗤之以鼻，认为云计算是产业界搞出的一个概念，把他们之前搞的并行计算，集群计算换了个高大上的名字，并不是什么创新。我个人认为，云计算的确是创新，但是不是技术上的创新。云计算的本质是一种商业模式的创新，是将IT资源作为一种服务去售卖的新的商业模式。当年，云计算出现时的意义，就像我们现在看到的”共享单车“的意义是一样的。突然之间，大家恍然大悟，喔，原来自行车是不用买的，随时随地即时获取，按需付费。可惜当年大家悟的不是这么快。

中国的拓荒者

谈起云计算，我觉得这个行业的所有人都应该对国内最早的先驱者盛大云表示敬意，当然，按照历史规律，必定也是先烈。我第一次接触云计算，是从使用盛大云开始的，第一次觉得IT还可以这样玩，所以当时就觉得，如果要继续搞IT，就一定要进入到云计算这个行业。后来，阿里进入了这个行业，一场大革命也就开始了。腾讯其实也是最早的开拓者之一，我2011年进入这个腾讯的时候，就已经成立了云计算的业务部门。只是当时主要以向开放平台的生态伙伴售卖服务为主，面向的是相对小众的一个市场。内部的能力一直在积累中，2014年开始全面对外开放。与此同时，除了阿里，腾讯这两个巨头开始进入这个市场，引领革命的同时，也出现了一些创新者，譬如QingCloud，Ucloud，他们凭借当时相对更新的技术，以及非常好的服务，也取得了不俗的战绩。

“基建时代”的用户

最早使用云计算的是一些什么用户觉得最早使用云计算的用户，一类是游戏客户，一类是网站客户。网站客户很好理解，因为网站时代，主机托管，主机租用，VPS，租用空间的模式流行了很长时间。本质上，他们和云计算的模式类似，但是云计算的模式比他们更先进一些，体验也更好，特别是BGP网络这样的东西，直接秒杀了当时很多三网IP的VPS。阿里也是通过收购万网，快速取得了领先地位。最早使用云计算的游戏行业用户，是从页游开始的。记得当时到腾讯云时，大部分客户都是页游客户。当时的游戏巨头Zynga在腾讯云就有着庞大的机器集群。云计算的快速发展，得益于2012年开始，手游市场的爆发式增长。为什么手游行业会第一个吃螃蟹，这主要与手游的特点是有关系的：

生命周期短（租用模式最划算）

快速开发，快速迭代（资源随时获取）

用户爆发快（需要很强的资源弹性）

分区分服，架构简单（虚拟机就可以搞定）

手游用户大规模采用云计算的同时，也让这种模式在互联网行业逐渐被认可，后面有经历了app的一轮爆发，基本上都认同使用云计算，再也没有人去买机器，搞托管方式了。所以云计算早期的市场主要还是集中在互联网领域，包括游戏，移动应用，网站。2016年，视频直播爆发，其实也是属于互联网领域。某种程度上讲，只是在自己的圈子开始流行开了，改变所有行业，推动社会发展，还远没有开始。

1.7 典型的云计算产品

1.7.1
1）软件服务baiSaaS的，这类是最多的，比du如淘宝、网zhi易云课堂、销售易dao（CRM）、163邮箱
2）平台服务PaaS的，比如百度提供地图API，zhuan联提供云通讯API，UZER.ME提供在线编辑API等等
3）基础设施服务SaaS的，比如阿里云提供ECS弹性服务器，AWS的S3存储等等
1.7.2
阿里云创立于2009年，是全球领先的云计算及人工智能科技公司，致力于以在线公共服务的方式，提供安全、可靠的计算和数据处理能力，让计算和人工智能成为普惠科技。阿里云服务着制造、金融、政务、交通、医疗、电信、能源等众多领域的领军企业，包括中国联通、12306、中石化、中石油、飞利浦、华大基因等大型企业客户，以及微博、知乎、锤子科技等明星互联网公司。在天猫双11全球狂欢节、12306春运购票等极富挑战的应用场景中，阿里云保持着良好的运行纪录 [1] 。
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。

1.8 云计算技术的新发展

1、数据中心向整合化和绿色节能方向发展

目前传统数据中心的建设正面临异构网络、静态资源、管理复杂、能耗高等方面问题，云计算数据中心与传统数据中心有所不同，它既要解决如何在短时间内快速、高效完成企业级数据中心的扩容部署问题，同时要兼顾绿色节能和高可靠性要求。高利用率、一体化、低功耗、自动化管理成为云计算数据中心建设的关注点，整合、绿色节能成为云计算数据中心构建技术的发展特点。

数据中心的整合首先是物理环境的整合，包括供配电和精密制冷等，主要是解决数据中心基础设施的可靠性和可用性问题。进一步的整合是构建针对基础设施的管理系统，引入自动化和智能化管理软件，提升管理运营效率。还有一种整合是存储设备、服务器等的优化、升级，以及推出更先进的服务器和存储设备。艾默生公司就提出，整合创新决胜云计算数据中心。

兼顾高效和绿色节能的集装箱数据中心出现。集装箱数据中心是一种既吸收了云计算的思想，又可以让企业快速构建自有数据中心的产品。与传统数据中心相比，集装箱数据中心具有高密度、低PUE、模块化、可移动、灵活快速部署、建设运维一体化等优点，成为发展热点。国外企业如谷歌、微软、英特尔等已经开始开发和部署大规模的绿色集装箱数据中心。

通过服务器虚拟化、网络设备智能化等技术可以实现数据中心的局部节能，但尚不能真正实现绿色数据中心的要求，因此，以数据中心为整体目标来实现节能降耗正成为重要的发展方向，围绕数据中心节能降耗的技术将不断创新并取得突破。数据中心高温化是一个发展方向，低功耗服务器和芯片产品也是一个方向。

2、虚拟化技术向软硬协同方向发展

按照IDC的研究，2005年之前是虚拟化技术发展的第一阶段，称之为虚拟化1.0，从2005年到2010年时虚拟化发展的第二阶段，称之为虚拟化2.0，目前已经进入虚拟化2.5阶段，虚拟化3.0阶段在不久也将会到来。根据Gartner的预测，到2016年中国70%的X86企业服务器将实现虚拟化。

ArsTechnica网站上刊出的一篇文章评论到，当前的虚拟化市场当中，VMware是老大，微软Hyper-V老二，思杰Xen第三，红帽和甲骨文在争夺第四把交椅。随着服务器等硬件技术和相关软件技术的进步、软件应用环境的逐步发展成熟以及应用要求不断提高，虚拟化由于具有提高资源利用率、节能环保、可进行大规模数据整合等特点成为一项具有战略意义的新技术。

首先，随着各大厂商纷纷进军虚拟化领域，开源虚拟化将不断成熟。Gartner也指出，虽然目前开源虚拟化的市场还比较小，但到2014年底其市场份额将翻番，而且未来也会快速增长。

其次，随着虚拟化技术的发展，软硬协同的虚拟化将加快发展。在这方面，内存的虚拟化已初显端倪。

第三，网络虚拟化发展迅速。网络虚拟化可以高效地利用网络资源，具有节能成本、简化网络运维和管理、提升网络可靠性等优点。VMware和思科公司通过四年的合作，在网络虚拟化领域取得突破创新，推出了VXLAN（虚拟可扩展局域网）。VXLAN已获得多个行业领先厂商的支持。

3、大规模分布式存储技术进入创新高峰期

在云计算环境下，存储技术将主要朝着从安全性、便携性及数据访问等方向发展。分布存储的目标是利用多台服务器的存储资源来满足单台服务器不能满足的存储需求，它要求存储资源能够被抽象表示和统一管理，并且能够保证数据读写操作的安全性、可靠性、性能等各方面要求。为保证高可靠性和经济性，云计算采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，以高可靠软件来弥补硬件的不可靠，从而提供廉价可靠的海量分布式存储和计算系统。在大规模分布式存储技术中，基于块设备的分布式文件系统适用于大型的、海量数据的云计算平台，它将客户数据冗余部署在大量廉价的普通存储上，通过并行和分布式计算技术，可以提供优秀的数据冗余功能。且由于采用了分布式并发数据处理技术，众多存储节点可以同时向用户提供高性能的数据存取服务，也保证数据传输的高效性。目前国外很多大学、研究机构和公司已经或正在着手开发分布式文件系统，已经涌现出一批著名的分布式文件系统，如PVFS、GPFS、zFS、Google FS、Hadoop FS等，进一步更深入的研发也还在进行中。

除了大规模分布式存储技术，P2P存储、数据网格、智能海量存储系统等方也是海量存储发展的趋势体现。其中，P2P存储可以看做是分布式存储的一种，是一个用于对等网络的数据存储系统，旨在提供高效率、鲁棒和负载均衡的文件存取。数据网格是有机的智能单元的组合，类似于计算网格。智能海量存储系统包括主动的数据采集、数据分析、主动调整等。云计算中存储的海量数据应用将为云计算提供新的价值高点，也必将成为云计算发展的重点方向之一。

4、分布式计算技术不断完善和提升

资源调度管理被认为是云计算的核心，因为云计算不仅是将资源集中，更重要的是资源的合理调度、运营、分配、管理。云计算数据中心的突出特点，是具备大量的基础软硬件资源，实现了基础资源的规模化。但如何合理有效调度管理这些资源，提高这些资源的利用率，降低单位资源的成本，是云计算平台提供商面临的难点和重点。业务/资源调度中心、副本管理技术、任务调度算法、任务容错机制等资源调度和管理技术的发展和优化，将为云计算资源调度和管理提供技术支撑。不过，正成为业界关注重点的云计算操作系统有可能使云计算资源调度管理技术走向新的道路。云计算操作系统是云计算数据中心运营系统，是指架构于服务器、存储、网络等基础硬件资源和单机操作系统、中间件、数据库等基础软件管理海量的基础硬件资源和软件资源的云平台综合管理系统，可以实现极为简化和更加高效的计算模型，以低成本实现指定服务级别、响应时间、安全策略、可用性等规范。

现在云计算的商业环境对整个体系的可靠性提供了更高的需求，为了支持商业化的云计算服务，分布式的系统协作和资源调度最重要的就是可靠性。未来成熟的分布式计算技术将能够支持在线服务(SaaS)，自从2007年苹果iPhone进入市场开始，事情发生很大的变化，智能手机时代的到来使得Web开始走进移动终端，SaaS的风暴席卷整个互联网，在线应用成为一种时尚。分布式计算技术不断完善和提升，将支持在跨越数据中心的大型集群上执行分布式应用的框架。

5、安全与隐私将获得更多关注

云计算作为一种新的应用模式，在形态上与传统互联网相比发生了一些变化，势必带来新的安全问题，例如数据高度集中使数据泄漏风险激增、多客户端访问增加了数据被截获的风险等等。云安全技术是保障云计算服务安全性的有效手段，它要解决包括云基础设施安全、数据安全、认证和访问管理安全以及审计合规性等诸多问题。云计算本身的安全仍然要依赖于传统信息安全领域的主要技术。不过另一方面，云计算具有虚拟化、资源共享等特点，传统信息安全技术需要适应其特点采取不同的模式，或者有新的技术创新。另外，由于在云计算中用户无法准确知道数据的位置，因此云计算提供商和用户的信任问题是云计算安全要考虑的一个重点。总体来说，云计算提供商要充分结合云计算特点和用户要求，提供整体的云计算安全措施，这将驱动云计算安全技术发展。适应云计算的特点和安全需求，云计算安全技术在加密技术、信任技术、安全解决方案、安全服务模式方面加快发展。

此外，未来的安全趋势，势必会涉及终端及移动终端各个层面，包括各类PC、手机在内的智能终端、可穿戴设备，都有可能会面临攻击者的挑战，这样的攻击对多种设备会变得日益难以防护。解决终端安全，云安全是首先需要解决的，即从云端首先判断安全的趋势，而不是孤立的从一台终端来判断。通过云端安全的大数据分析，可以清晰发现其中存在的多种威胁趋势，从而及时拦截新木马以及防止网络入侵和攻击。隐私权保护问题虽是云计算普及过程中需要解决的一大难题，但随着云计算的发展及相关标准的成熟。相信隐私权会得到更好地保护，云计算也将像互联网上的其他应用环境一样，深刻地影响我们的生活方式。

6、SLA细化服务质量监控实时化

要想让用户敢于将关键业务应用放在云计算平台上，粗放的服务协议显然无法让人放心，用户需要知道云计算厂商能否快速地将数据传遍全国、网络连接状况又能好到何种程度。对于激增的商业需求而言，性能的拓展是不够的，而云计算提供商能够多快地拓展性能也事关重要。用户需要能够让他们高枕无忧的服务品质协议，细化服务品质是必然趋势。云计算对计算、存储和网络的资源池化，使得对底层资源的管理越来越复杂，越来越重要，基于云计算的高效工作负载监控要在性能发生问题之前就提前发现苗头，从而防患于未然，实时的了解云计算运行详细信息将有助于交付一个更强大的云计算使用体验，也是未来发展的方向。

1.9 我国的云计算产业现状

1.9.1
云计算作为一个全新的概念产业日益受到世界各国政府和企业界的重视.全社会不仅对它投入了巨 大的关注,更为了它的快速发展投入了大量的人,财,物.云计算带来的计算机应用方式的革命被业内专家寄于厚望,更有人将其称为继信息技术革命之后的第四次 工业革命.文章对云计算在目前的发展状况进行了简要概括;重点对云计算目前发展阶段存在的各种瓶颈问题进行了归纳总结,对其成因进行了剖析;对云计算今后 的发展,应用趋势进行了展望.
1.9.2
本文首先对我国云计算实力的全球排名及影响因素进行了分析。然后从市场概况、国家和地方政策法规、重点地区云计算项目建设情况三个方面,介绍了我国云计算产业发展现状。最后对云计算产业的发展趋势做出预测。
：

来源：别等苦来。