PS1-足托利亚

研究实验室混合Excelero nvmeesh, ssd性能流行

La Jolla研究所求助于Excelero NVMesh,帮助处理新冠病毒-19研究所需的SSD存储、两台每天产生TBs数据的10英尺显微镜以及远程工作。

La Jolla免疫研究所在2020年初更新了其存储系统,以提高速度并跟上容量的快速增长,时机非常成熟。

由于2019年安装了最先进的泰坦Krios显微镜,加州独立研究所面临着数据激增的局面。它还需要提高服务器的速度GPU和一个定制数据库。然后,在加入一个新系统之后Excelero NVMesh软件与KioxiaNVMe固态硬盘拉霍亚研究所(LJI)投入到COVID-19研究中,提高了其速度和容量要求。

迈克尔·斯卡佩利迈克尔·斯卡佩利

据该研究所信息技术高级主任迈克尔·斯卡佩里(Michael Scarpelli)称,到2020年初,LJI拥有约8.5亿份文件和5.5 pb的原始容量。Scarpelli表示,LJI有“企业级需求”,但没有企业级预算,而且它的需求对其JBOF(只是一堆闪存)的基本系统造成了负担。

“业绩对我们来说很重要,”Scarpelli说。“这么长时间以来,我们只是用一把刷子粉刷了仓库。我们一直专注于大量的文件。但在过去几年里,我们有能力为测序分析和类似的事情腾出空间变得更加重要。”

LJI在2019年开始寻找新的存储系统,Scarpelli在3月从Advanced HPC订购了定制系统,就在美国第一次大的COVID-19浪潮之后。该系统结合了Excelero nvmeesh和60 TB的Kioxia ssd。

Scarpelli说:“从历史上看,我们只是使用了一堆哑磁盘,没有什么特别之处。对于我们来说,专门构建的高性能闪存是一条白鲸。”。“我一直喜欢它的声音,但它是遥不可及的。这要么是因为供应商锁定,要么是因为软件非常昂贵。它是按容量许可的,容量太大了。Excelero让我们绕过了这一点,因为它是不可知论的。”

Scarpelli表示,Excelero nvmeesh软件和Kioxia ssd使得LJI无需依赖主要厂商的高价企业闪存阵列就能获得所需的性能。nvmeesh跨设备共享NVMe ssd,为任何连接的服务器提供快速访问和低延迟。Excelero客户可以将任何服务器插入网络。

拥有专门构建的高性能闪存存储对我们来说是一条白鲸。
迈克尔·斯卡佩利拉霍亚研究所信息技术高级主任

“我喜欢Excellero是硬件不可知论者,因为我们也是,”斯卡佩利说。“我们往往对我们将要做的事情唯利是图,因为我们总是在寻找如何扩展我们的美元,因为我们有我认为企业级需要的东西,但是我们没有企业级预算。所以事实上,ExcEclio可以和我们放在它前面的任何存储设备一起工作,而不是只使用一个VE。多尔,对我们来说太棒了。”

LJI的基准测试表明,快速层通过BeeGFS POSIX集群文件系统向计算节点发送约2000万IOPs,比LJI的旧系统提高了约10倍。使用NVMesh和LJI的新系统,它的异步日志数据库写入速度从旧系统的每秒131000次左右跃升到110万次Arcitecta MediaFlux数据管理软件。

斯卡佩利说,减速带对于更多的LJI员工在家工作非常重要。远程工作者往往对缓慢的文件系统性能感到不耐烦,这促使他们寻找自己的云存储,而这些云存储可能没有得到充分的保护。

“人们喜欢讨厌文件服务器连接,”斯卡佩利说。“因此,我们一直在进行这场斗争——‘请不要只使用Dropbox或iDrive之类的东西,请确保您使用我们的文件服务器,因为它具有我们需要为您提供的所有数据保护以及所有元数据功能。它拥有您想要的所有智能。’”

拉霍亚正在使用新的存储来运行新的文件系统软件,这是一个专有数据库的一部分。“这是巨大的元数据集合背后的大脑,以及我们将应用于我们的数据的规则,”Scarpelli说。“我们的数据增长速度快于我们的预期。为了用我们的新系统提供这些数据,我们需要非常快速地连接到数据库。我们需要快速读写。”

斯卡佩里说,LJI 500名员工中约有350人是研究人员。许多人在家工作,尽管COVID-19研究人员继续在实验室现场工作。

新冠病毒-19研究推动了LJI数据的快速增长。实验室的冠状病毒工作组使用两个10英尺长的Titan Krios电子显微镜用于三维解剖分辨率图像的排序,以研究生物样本。LJI使用Krios显微镜分析新冠病毒-19研究中的抗体相互作用。显微镜每天可以产生数TB的数据,这些数据可以永久存储。

斯卡佩里说:“从历史上看,我们每年的数据都会翻一番。”“在十亿字节的时候,这没什么大不了的,但现在它的容量大得多。”

Scarpelli表示,由于数据量的增长,JLI不可能涉足另一个it趋势——公共云存储。

“对我们来说,云从来没有真正意义上的意义,部分原因是太多的工作都是在实验室里进行的实验,”他说。“工作可能会意外破裂,破裂程度是预期的10倍,这样成本就非常高。此外,我们在现场建立的基础设施是坚实的,我们没有看到很多理由离开它。我们一直能够跟上。”

下一步

Excelero增加了Azure云上的NVMe存储池选项

深入研究NVMe存储

搜索灾难复苏
搜索数据备份
搜索汇聚基础设施
Baidu