云服务复习提纲
第1章 云计算概述
-
定义
Cloud computing is an information technology(IT) paradigm that enables ubiquitous access to
shared pools of system resources and higherlevel services that can be rapidly provisioned with minimal management effort, often over the Internet.云计算是一种信息技术（IT）范例，可以无处不在地访问共享的系统资源池和更高级别的服务，这些服务可以通过互联网以最少的管理工作进行快速配置
-
基本属性
- On-demand(按需)
- Resource pooling(资源池)
- Ubiquitous network access(任意网络可以访问)
- Location independence(位置独立)
- Rapid elasticity(快速弹性)
- Pay-as-you-go
- Multi-tenancy(多租户)
-
概念和术语
-
可扩展性：指IT资源可以处理增加或减少的使用需求的能力。
-
水平扩展：改变IT资源的数量（物理机cpu不变，改变分配虚拟机数量）
水平分配资源也称为向外扩展（scaling out）。
水平释放资源也成为向内扩展（scaling in）。 -
垂直扩展：改变IT资源容量(增加或减少cpu)
向上扩展（scaling up）：分配更大容量的资源。
向下扩展（scaling down）：分配更小容量的资源。
对比：
-
-
交付模式 Service Model
- 每个虚拟机都可以访问文件系统
- HDFS(Hadoop Distributed File System)
云架构（安全，性能，可得性）
- Security
- 多租户引入了对非云环境的额外关注
- 无意的信息共享。由于共享资源的使用，可能会共享该信息。例如。如果重新分配磁盘，则磁盘上的信息可能仍然存在
- 虚拟机逃脱是断开虚拟机（管理程序）并与主机操作系统交互的过程
- 拒绝服务攻击。一个用户可以使用主机服务器的资源并将其拒绝给其他用户
- 多租户引入了对非云环境的额外关注
- Performance
两种方法保证性能：- 负载均衡是在多个计算资源之间分配工作负载，以避免单个资源的过载
- 自动缩放是一种计算资源量的方法，通常根据活动服务器的数量来衡量，根据负载自动缩放
- Availability
- 失败在云中很常见
- 云提供商确保云本身可用，但有一些特殊的例外。
- 应用程序开发人员必须假设实例将失败并在发生故障时构建检测和更正机制
第2章 云计算与大数据处理
-
并发控制（锁、基于时间戳协议）
- 基于锁的并发控制
- 两阶段锁协议
- 基于时间戳的并发控制
- 基于全局唯一的时间戳
- 基于锁的并发控制
-
分布式文件系统（HDFS）
- 基本架构：
- 多层次容错
- 自动复制
- 按块存储，并行读取，效率高
-
- HDFS可靠性
- 磁盘数据错误：1.心跳 2. 重新分布
- 数据完整性：校验和
- 元数据磁盘故障：检查点
- 快照：用于回滚，尚未实现
- 基本架构：
-
NoSQL系统
什么是NoSQL系统/p>- 主要优点
- 非关系型，不需要架构
- 数据被复制到多个节点并可以进行分区
- 下节点很容易被替换
- 没有单一的失败点
- 水平可伸缩
- 便宜，易于实施
- 写入性能好
- 快速键值访问
- 缺点
- 不完全支持关系功能
- 没有声明性查询语言(如SQL)
- 不容易与支持SQL的其他应用程序集成
- NoSQL的类型
- 键值对
- 基于文档
- 基于列
- 基于图
- 主要优点
-
MapReduce
- 对比
- 分布式计算单词数：
- 分布式计算单词数：
- 模型中的功能
- Map:处理键/值对以生成中间键/值对
- Reduce:合并与同一个键关联的所有中间值
- Partition: 默认用hash(key) mod R，平衡性很好
- Remain…
- 对比
第3章 特殊云机制
- 云使用监控（三种实现方式）
- 云使用监控机制是一种轻量级的自治软件程序
- 用于收集和处理IT资源的使用数据
- 使用数据发送到日志数据库，以便进行后续处理和报告
- 三种常见的实现形式：
- 监控代理(monitoring agent)
- 轮询代理(polling agent)
- 监控代理(monitoring agent)
- 按使用付费监控器(pay-per-use monitor)
- 按照预先定义好的定价参数测量云资源使用，并生成使用日志用于计算费用
- 使用数据由计费管理系统(billing management system)进行处理
- 一些典型的监控变量：
- 请求/响应消息数量
- 传送的数据量
- 带宽消耗
- 实现方式
- 资源代理
- 监控代理
- 资源代理
- 主动-被动
- 一个处于活动状态，一个待机或闲置
- 当IT资源变得不可用的时候，就会激活待机实 例来接管工作
- 相应的工作负载就会被重定向到接管操作的这 个实例上
- 图例
- 资源集群(resource cluster)
- 把多个IT资源实例分为一组，使得他们能像 一个IT资源那样进行操作。
- 通过高速专用网络链接或者集群结点实现工作 负载、任务调度、数据共享和系统同步等通讯 要求。
- 常见的资源集群类型包括
- 服务器集群——提高性能和可用性
- 数据库集群——提高数据可用性，维持数据的一致 性
- 大数据集集群——数据的分区和分布
- 负载均衡的集群——保持集中管理的特性下实 现了在集群结点中的分布式工作负载
- 高可用集群——在多节点失效的情况下保持系 统的可用性，需要冗余实现和故障转移机制
- 多设备代理(multiple-device broker)
- 用于运行时的数据转换
- 克服云服务和多样性的云服务用户之间的不兼容性
- 使得云服务能够被更广泛的云服务用户程序和设备 所使用
- 需要创建映射逻辑(mapping logic)来改变运行时交 换的信息。
- 图例
- 课后题
- 讨论分析可以用于自动伸缩的判定条件和机制
- 分析讨论按使用付费监控器的两种实现方式的优缺点
第4章
- 常见调度问题
- 单处理器上的任务包调度
- 多处理器上的任务包调度
- DAG在异构处理器上的调度
- 工作车间安排
- 定期任务调度
- 调度方法
- 以机器为中心的方法
- 当机器空闲时触发调度
- 对于每个空闲机器，根据某些策略选择任务
- 以任务为中心的方法
- 在新任务到达时触发调度
- 对于每个计划任务，根据某些策略选择机器
- 以机器为中心的方法
- 列调度算法(List Scheduling)
- 第1步：任务选择
- 通过为每个任务分配优先级来构建有序的任务列表，并按优先级顺序选择任务
- 第2步：处理器选择
- 每个所选任务被安排到处理器，该处理器最小化预定义的成本函数
- 重复步骤1和步骤2，直到计划完所有任务
- 例子(to do)
- 第1步：任务选择
第5章 数据中心网络
- 设计目标与需求、成本、数据中心拓扑结构（分类）
- 目标
- 敏捷
- 将服务器转换为单个大型可互换池
- 好处
- 提高服务开发人员的工作效率
- 低成本
- 实现高性能和可靠性
- 需求
- 统一的高容量
- 性能隔离
- 易于管理：“即插即用”
- 成本
- 服务器成本
- 网络成本
- 数据中心拓扑结构
- 目标
- 常见拓扑结构，重点掌握FatTree架构及属性
- 全网状网络
- 基于树的拓扑结构
- 基本树拓扑
- Clos Network
- Fat Tree拓扑结构
- 图例
- 作为应用程序/服务器环境的内置组件 （内置方式）
- 图例
- 动态垂直扩展（Dynamic Vertical Scaling）
- 调整单个IT资源的处理容量
- 向上或向下扩展IT资源实例
- 动态重定位（Dynamic Relocation）
- 将IT资源重新放置到更大/更小容量的主机上
- 云爆发架构
- 动态扩展架构的特殊形式
- 基于云的IT资源是冗余性预部署
- 保持非活跃状态，直到发生云爆发
- 图示
- 性能建模与优化
- 性能建模方法
- 系统分析
- 通过系统架构和模型，分析和推导影响性能各因素与性能指标之间的直接关系
- 数据挖掘
- 测量系统在不同因素下性能，基于测 量数据 ， 采用数据挖掘方法建立性能模型
- 系统分析
- 优化
- 数据存放和负载分配
- 计算划分
- 图例
- 性能建模方法
- 计算切分
- 数据流应用计算切分
- 动态环境（例如网络断线）计算切分
- 多用户计算切分
来源：zedjay_
声明：本站部分文章及图片转载于互联网，内容版权归原作者所有，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！