澳大利亚蒙纳士大学的100Gbps网络权力Petabyte研究云
澳大利亚最大的大学是实施100Gbps网络骨干,将推动新一代的学术理解。
压力不仅可以管理研究相关数据的爆炸量,而且还可以使研究人员进行实时合作,推动了发展。
蒙纳士大学 - 一个拥有55,000名学生和8,100名位于墨尔本的多学科机构,位于澳大利亚最多的人口最多的城市 - 长期以来,长期以来,努力跟上100多个研究中心的研究数据,17个合作研究中心,以及澳大利亚干细胞中心和澳大利亚同步奖等主要设施。
大数据和高性能计算(HPC)系统的需求组合 - 蒙纳士Eresearch Center的副主任史蒂夫Quenette呼叫“大计算” - 推动了技术团队“为研究人员提供了一个环境来找到他们的环境避风港在之前看过,并更快地做到这一点“。
这种方法反映了计算能力的越来越大的转变 - 从主要需要收集的数据所需的东西,这是作为数据收集阶段开始的研究过程的内在部分。
“在发生所有领先和有趣的研究的情况下,我们都有大数据和大计算的地方,”他说。他补充说,新乐器可以在一次运行中生成500TB的数据。“这使得一个非常有趣的ICT环境,我们需要汇聚HPC和数据基础架构,并以这样的方式执行这种情况。”
这种渗透性意味着蒙纳士IT团队的设计远远超过一个大数据存储库 - 它已经拥有了大约五个薄弱的原始数据,但是一个“非常低的延迟”环境,使研究人员和学者能够成为“创造大的-data信息云“。
在连接一些研究设施的范围内的一系列25Gbps和50Gbps连接,很明显环境的进一步发展将需要更大的骨干容量。可用选项的评估最终领导大学在Mellanox的CloudX平台上定居,该平台将该公司的Spectrum SN2700开放以太网交换机,ConnectX-4 NIC和LinkX电缆结合在一起。
CloudX平台提供100Gbps的交换带宽,可显着增加可用带宽来计算节点 - 以及组的SAN - 但也降低了网络拥塞竞争高带宽应用的潜在影响。
在澳大利亚SOPTUS等电视台(如澳大利亚的optus)中介绍了100Gbps容量,该电信系统最近建造了跨国100Gbps回程链接 - 从HPC环境中从其工作中学到的工作中获悉的许多事情。
“HPC系统内的互连长期以来一直处于网络的最前沿,”Quenette表示。“当你”重新处理数百和数千个[CPU]核心时,它需要完全低延迟。您可以忍受留言故障。当您开始在整个网络结构上带来时,您也需要对数据进行相同的操作。“
基于开源OpenStack云基础架构,新的环境几乎是定义的所有软件,与以前的专用HPC网络不同,广泛可在一系列网络拓扑上提供。
“织物故意是异构的,”Quenette表示。“我们可以拥有一些,这是一个真正的性能,有些是不是那么”t。我们根据需要塑造它,我们可以将[带宽]务实推入我们的环境中。“
这种方法不仅适应扩大的数据处理需求,而且适用于不断发展的协作研究模型,其中研究人员越来越多地将大数据服务视为赋予他们做新型协作研究的实用程序。
Quenette说:“每个学科都在一起汇集数据,人们正在交易信息并创建大数据云。”“这些数据集太大而无法适合笔记本电脑,即使您可以做到,也可以在笔记本电脑上与您分享。但如果我们把它带到我们内部云端,它都是本质上的。
研究人员“需要能够提取他们想要的比特,并且能够运行过滤器,与旋钮进行分析和玩耍,”他继续。“研究人员可以与其他研究人员合作,非常痛苦。”