法国原子机构测试种族对象存储
法国替代能源和原子能委员会(CEA)已经选择了对象存储软件,从检测到的项目中的种类开发了其高性能计算(HPC)操作的存储架构。
CEA希望能够将种族作为其军事应用部门(大坝)中的存储架构的一部分。它希望成为存储硬件不可知的能力,并在磁盘介质上获得吞吐量效率的能力。
Paris附近的CEA / DAM网站采用了数十万CPU和数十千叶的存储容量进行了多次PETAFLOP研究。
目前,它的存储资源包括使用LOSTPLANTPLINE文件系统的批量存储和基于XYRATATECH文件和基于块的存储器的DDN。
DAM使用Scality“S环分布式对象的软件定义存储”开始了测试程序,该存储将以2020替换为HPC操作的文件和块存储。
除了使用任何存储硬件的能力,是基于软件的产品 - 它希望实现更大的输入/输出(I / O)效率并提高到物理存储的带宽,称为Head CEA的科学计算复杂部门。
“基于通过块和文件模型的访问,我们将带宽效率从旋转磁盘驱动器获得20%至30%。我们认为如果我们移动到对象存储界面,那么将增加到100%的较近,“他说。
由于块和文件存储的POSIX界面和树状文件结构,因此,Lafoucrière出现了效率低下,不允许应用程序和存储从硬件中获得最佳状态。
“如果我们转到对象界面,它将能够处理数百兆字节的对象,并执行I / O优化,而且不必管理数据和元数据的复杂性,”他说。
“文件和块访问存储具有限制,从其树状结构和必须收集的多个目录中的数据集,并且必须遵循POSIX语义。这导致问题缩放,数以万计的CPU将进入同一组数据。“
Lafoucrièreadded:“对象存储界面与I / O负载相互作用,比与文件和块更高的级别。它不会看到一个小块,而是一次性对象。文件和块AREN“T在一次为许多并行流构建。随着POSIX,较低级别的机制可以妨碍。对象存储在大小和与数据的交互方面更灵活。“
Scity Ring软件在商品硬件上运行,并使用对象存储核心以多个站点的单个分布式系统缩放,并且可能存在数千个标准的X86服务器。其架构提供对数据的并发访问权限。
种类和其他对象存储供应商使用代表性状态传输(REST)协议来存储在一个平面系统中的非常大量的数据,其中仅由元数据识别。
这与传统的文件系统形成对比,该文件使用树状等级结构。这一位置限制了文件系统,因为由于文件系统生长到数百万和数十亿个文件时,性能开销增加。
对象存储旨在以平坦的结构留下这些性能的困难。它使用簧片 - 所罗门擦除编码方法的形式保护数据,这些方法将对象拆下并将零件存储在不同的地方。如果丢失,该方法可以重建数据。
“我们选择了种族,因为我们认为这是一个有前途的技术和对象存储将使我们能够灵活地为我们的存储系统提供最好的I / O,”Lafoucrière说。
“我们对对象存储的主要兴趣是替换文件和阻止访问,我们希望它在我们的存储设备上接近100%的带宽使用,或至少80%或90%。”