焱融科技分布式文件存储-YRCloudFile软件

YRCloudFile是焱融科技自主研发的高性能分布式文件存储产品，提供标准的POSIX文件接口，具有高性能、支持海量文件、支持容器持久化等特点，满足AI、HPC、渲染、基因分析、EDA等行业的非结构化海量数据存储需求。

软件来源：北京焱融科技有限公司

商品介绍

项目流程

商品特点

高性能

• IO500性能排名，进入世界前六
• 应对大、小文件，随机、顺序复杂IO场景
• 支持InfiniBand、RoCE网络

海量小文件

• 元数据集群横向扩展
• 单集群支持百亿小文件
• 百亿小文件下操作、读、写性能无衰减

容器存储

• 国内首个进入CNCF LandScape的容器存储产品，支持CSI接口
• 提供众多企业级容器存储功能

商品功能特性

客户端多级智能缓存，数据加载速度大幅提升

• 内存缓存+ GPU服务器SSD缓存
• 在GPU服务器上，可配置一定容量的SSD缓存（推荐960GB以上）
• 训练程序先从客户端内存缓存中加载，未命中则从客户端服务器SSD加载，不命中最后从文件系统集群中加载
• 对训练框架、应用程序完全透明
• 在整个训练中，数据集加载速度提升幅度超过500%

基于目录的QoS，解决集群性能争用问题 

• 实现了基于目录的QoS，解决目录/应用对性能争用问题
• 同一目录，不同客户端，动态调节多个客户端之间的性能，解决客户端间性能争用问题

Windows并行文件访问客户端应对内容制作场景

• 支持大量客户端并发访问
• 小文件性能比SMB提升3倍
• 预读及缓存机制大幅提升顺序读性能

训练文件系统热点、客户端IO 压力实时监控  

• 定位文件系统访问热点
• 目录IOPS、带宽TopN，按读/写/总量进行统计
• 客户端40+个IO性能监控项全面监控，按实时、日、周排序