HPC研究群集获得Red Hat OpenStack私有云
Emedlab是七个研究和学术机构的伙伴关系,已经建立了一个私有云5.5pb高性能计算(HPC)群集,具有使用Cinder Block Storage和IBM的Spectrum Scale(以前GPFS)并行文件系统的Red Hat Enterprise Linux OpenStack。
该组织拒绝使用对象存储 - 对于非常大的容量研究数据用例的新出现选择 - 并且由于对数据的控制和安全性涉及令人担忧,因此拒绝了公共云的使用。
Emedlab建立了HPC集群 - 与基于谢菲尔德的HPC专业OCF结合 - 为研究遗传易感性和适当治疗方法的研究人员提供计算资源,以便为癌症,心血管和稀有疾病的遗传敏感性和适当的治疗方法。研究人员可以通过Web界面请求和CONP计算最多6,000个核心和存储的资源和存储。
HPC群集托管在斯劳的JISC数据中心。它包括252个Lenovo Flex系统刀片,每个带有24个核心和500MB的RAM。这些每次运行KVM虚拟机管理程序,用于研究项目,私有云管理功能来自Red Hat Enterprise Linux OpenStack。
存储 - 总容量为5.5pb - 是OpenStack Cinder Block Storage和IBM Spectrum秤的组合。物理存储容量通过Lenovo GSS24和GSS26 SAS JBOD,在更快的SAS驱动器上的批量刮擦层和4.3pb的批量容量上有1.2pb。
连接是具有10Gbps Mellanox NIC的以太网。
Emedlab拒绝了对象存储,它可以在OpenStack中获得,作为SWIFT,越来越流行,用于存储大量非结构化数据。
这是因为EMEDLAB群集需要GPF与私有云功能结婚的POSIX文件系统 - 例如OpenStack和其Cinder Block Access Storage的Murodinglab,Operation Leving emedlab的操作。
“这是一种非标准方法,提供灵活性,”Silva说。“OpenStack通过Cinder和Cinder为虚拟机提供存储,并且Cinder利用频谱刻度内的文件,这为我们提供了一个POSIX文件系统来共享虚拟机之间的数据。
“在OpenStack中,我们选择了Cinder Block Storage,而不是Swift,因为我们还没有设计用于对象存储的工作负载。但是,GPFS在其路线图上具有对象存储。我们还讨论了关于Manila [OpenStack的文件访问存储系统],但我们不相信它已经成熟了。
“如果我们确定我们正在进行纯粹的OpenStack方法,我们本可以去对象存储。但是,我们还参加的系统也有GPFS / Spectrum刻度,以提供Posix和Cinder的良好表现。“
在采购过程中,将私有云/ OpenStack方法称重,以在更多现成的HPC系统中购买,以及公共云的使用。
“所有选项都在质量方面接近,但我们的要求有各种限制,并且随着OCF系统我们发现更好的合适,”Silva说。
“我们更喜欢私有云系统,因为它给我们控制了我们的基础架构,我们知道它是安全的。我们正在关注公共云。我们知道它即将到来,但它必须在成本和监管问题方面克服障碍。但对于我们正在做的工作,目前正在私有云最合适。“