目录

一、什么是分布式文件系统

二、常用的分布式文件系统

三、什么是ceph

3.1 ceph组件

3.1.1 RADOS Components

3.2 ceph实验的配置

3.2.1 部署ceph集群

3.2.2 开始部署

3.2.3 验证

3.3 Ceph块存储

3.3.1 什么是块存储

3.3.2 创建镜像

3.3.3 动态调整大小

3.3.4 集群内通过KRBD访问

3.3.5 客户端通过KRBD访问

3.3.6 创建镜像快照

3.3.7 使用快照恢复数据

3.3.8 快照克隆

3.3.9 客户端撤销磁盘映射

3.3.10 删除快照与镜像

3.3.11 实战快存储

3.4 cephFS

3.4.1 什么是元数据

3.4.2 简单部署使用

3.5 对象存储

3.5.1 环境配置

3.5.2 相关部署

3.5.3 新建网关实例

3.5.4 修改服务端口

3.5.5 客户端测试

3.6 Docker部署ceph集群

3.6.1 创建ceph专用网络

3.6.2 创建具体的容器

3.6.3 创建用户

一、什么是分布式文件系统

• 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连

• 分布式文件系统的设计基于客户机/服务器模式

• DAS -> IDE SATA SCSI SAS USB

• NAS(网络附加存储,提供文件存储系统接口) -> NFS/CIFS

• SAN(存储区局域网络) -> SCSI FC SAN ISCSI

• 专业存储设备 -> EMC/NetAPP/IBM

• 分布式存储 – > 有状态的应用的

• HDFS(Hadoop Distributed Filesystem) -> 山寨谷歌GFS

二、常用的分布式文件系统

• Lustre

• Hadoop

• FastDFS

• Ceph

• GlusterFS

三、什么是ceph

Ceph是一个可大规模伸缩的、开放的、软件定义的存储平台，它将Ceph存储系统的最稳定版本与Ceph管理平台、部署实用程序和支持服务相结合。也称为分布式存储系统，其出现是为了解决分布式文件系统元数据成为存储的瓶颈问题的，常规情况下元数据存储服务会成为整个存储的中心节点，而ceph利用了一致性hash计算的方式将查询变成了取膜计算的方式，将查询变成了实时运算

• Ceph是一个式存储系统，它把每一个待管理的数据流（例如一个文件）切分为一到多个的对象数据，并以其为原子单元完成数据存取

• 对象数据的底层存储服务是由多个主机（host）组成的存储集群，该集群也被称之为（Reliable Automatic Distributed Object Store）存储集群，即可靠、自动化、分布式对象存储系统

• librados是RADOS存储集群的API，它支持C、C++、Java、Python、Ruby和PHP等编程语言

• ceph可以提供对象存储、块存储、文件系统存储,ceph可以提供PB级别的存储空间,软件定义存储(Software Defined Storage)作为存储,行业的一大发展趋势,已经越来越受到市场的认可

• 无论您希望向云平台提供Ceph对象存储和/或Ceph块设备服务、部署Ceph文件系统或将Ceph用于其他目的，所有Ceph存储集群部署都是从设置每个Ceph节点、您的网络和Ceph存储集群开始的。

• Ceph存储集群至少需要一个Ceph监视器、Ceph管理器和Ceph OSD(对象存储守护进程)。

• 在运行Ceph文件系统客户机时，还需要Ceph元数据服务器。

3.1 ceph组件

• OSD

  • 存储设备:用于集群中所有的数据与对象的存储/复制平衡/恢复等
• Monitors
  • 集群监控组件:维护cluster MAP表,保证集群的数据高一致性
• MDSs
  • 存放文件系统的元数据(对象存储和块存储不需要该组件):保存文件系统服务的元数据(OBJ/Block不需要该服务)
• GW
  • 提供与Amazon S3和Swift兼容的Restful API的Gateway服务
• Client
  • ceph客户端

3.1.1 RADOS Components

Ceph OSD(对象存储守护进程，Ceph – OSD)存储数据，处理数据复制、恢复、再平衡，并通过检查其他Ceph OSD守护进程的心跳来为Ceph监视器和管理器提供一些监控信息。
冗余和高可用性通常需要至少三个Ceph OSDs。

• Ceph元数据服务器(MDS, Ceph – MDS)代表CephFilesystem(即， Ceph块设备和Ceph对象存储不使用MDS)。

• Ceph元数据服务器允许POSIX文件系统用户执行基本命令(如ls、find等)，而不会给Ceph存储集群带来巨大的负担。

• 简单说就是文件系统的守护进程如果不需要使用是不需要管理的。

是Ceph的一个新的存储后端。

• 具有更好的性能(写操作大约为2倍)、全数据校验和内置压缩。

• 夜光v12.2是Ceph OSDs新的默认存储后端。在为新的OSDs配置ceph-disk、ceph-deploy和/或ceph-ansible时，默认使用。

3.2 ceph实验的配置

3.2.1 部署ceph集群

1.配置YUM源

2.配置/etc/hosts

3.配置无密码登入

非交互生成密钥对

分发给每一个节点

4.NTP时间同步

物理机上为每个虚拟机创建3个磁盘

3.2.2 开始部署

1.使用client作为部署主机

2.创建目录

3.创建ceph集群

4.给所有节点安装ceph软件包

5.初始化所有节点的mon服务(主机名解析必须对)

6.创建OSD

初始化清空磁盘数据(仅node1操作即可)

创建OSD存储空间(仅node1操作即可)

来源：CN-FuWei