Lustre并行文件系统的部署和测试

Author: Luo

E-Mail: xcluo.mr@gmail.com

MSN: lx_9986@hotmail.com

Date: 12 Sep, 2011

Keywords: Lustre,并行文件系统, 集群, 高性能, 线性增长


一 并行文件系统

        文件系统分为分布式和共享式,而在分布式文件系统中,又细分有分布式并行文件系统,这里说的也是这个。NFS(网络文件系统)是起源最早的为网络系统服务的文件系统之一,用户可以通过NFS将自己的存储才网络中共享给所有的客户端。但是在系统增大,计算机节点增多的前提下,很容易出现访问瓶颈,比如网络瓶颈(千兆网卡的最大数据能力就是100MB/s上下),存储瓶颈(单硬盘的读写能力基本在100MB/s上下),服务器内存等,都会成为存储的瓶颈。基于此问题,诞生了更新一代的网络文件系统,那就是分布式并行文件系统。它通过在网络中集中的管理大于2台存储服务器,使之能如访问一台存储的使用方式一样,保持系统前后使用的一致性基础上, 通过存储服务器的叠加,来提高访问的速度和存储的大小。具体的做法如下:

 1. 一台服务器用来构建元数据服务器,主要是文件的索引信息(文件物理位置,文件创建者,时间,日期,日志等);

 2.  多台文件存储服务器,用来存储文件的实际内容;


二 Lustre 概述

         Lustre文件系统是当前应用最为广泛的分布式并行文件系统,在世界超级计算机500强中占有大数(其他有ZFS, Panasas等),Lustre由SUN公司开发和维护,现在被Oracle收购,由Oracle提供开发和维护(从2.0开始,Oracle不提供纯软件的技术支持了,对免费使用的用户来说,基本没什么影响),是免费的软件,遵从GPL开源软件协议。兼容了POSIX标准(是一个UNIX系统的程序访问操作系统接口,主要是方便应用程序在不同的Unix系统,包含了Linux系统之间方便的移植)的网络系统,能使用与类Unix,Linux,FreeBSD架构的系统。

三 系统安装与部署

四 性能测试

五 调试调优

六 编者按

七 备注

八 参考

来源:秦王的弓

声明:本站部分文章及图片转载于互联网,内容版权归原作者所有,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2011年8月10日
下一篇 2011年8月10日

相关推荐