Sergey Nivens - Fotolia

Qumulo Core数据感知阵列帮助研究人员管理测序器数据

卡耐基科学研究所的胚胎学部门利用先进的分析技术,利用Qumulo Core数据感知NAS存储管理研究数据。

对于科学研究人员来说,存储阵列可以像显微镜或数据测序仪一样成为一种交易工具。

这是Mahmud Siddiqi的看法。西迪奇是卡耐基科学研究所胚胎学系的显微镜设备经理,他大部分时间都在管理显微镜和其他事情处理存储.他看到了这些职责之间的联系。

Siddiqi说:“尽管我训练人们如何使用显微镜,但在这个阶段,如果你不知道如何管理数据,就不可能进行科学研究。”“你必须知道如何处理数据,如何备份,否则你迟早会哭的。”

胚胎学部门设在巴尔的摩,是华盛顿特区的一部分卡内基研究所因为遗传学研究获得了诺贝尔奖。

该部门有3.5名全职IT人员,Siddiqi将他的时间分配在IT基础设施和显微镜支持上。该团队的主要存储系统处理研究人员产生的常规业务记录、文件和显微镜图像数据。

我们在任何时候都有8到12个独立的实验室,我们不断地获取测序数据。Qumulo会告诉我们每个实验室使用了多少存储资源。
马哈茂德Siddiqi他是卡耐基科学研究所胚胎学系的显微镜设备经理

对存储系统来说,图像数据是最累人的。卡内基的研究人员经常从DNA测序仪中获取数据,这些数据也需要长期保存。成像数据的范围从数百万千字节的文件到数百千兆字节的少量文件。

这个部门从EMC IsilonQumulo核心2016年年中混合阵列。它获得了4个Qumulo Core QC208 4u混合阵列,共800 TB原始数据—550 TB可用数据,系统投产时占用约100 TB容量。Siddiqi表示,所有数据都已经从Isilon阵列上复制出来,但他希望将它们重新用于非关键任务数据。

Qumulo Core数据分析有助于有效管理存储

他说高级的数据分析使Qumulo Core在伊西隆和其他竞争者中脱颖而出。

他说:“我们在任何时候都有8到12个独立实验室,而且我们一直在获取测序数据。”“Qumulo会告诉我们每个实验室使用了多少存储资源。它显示了是否存在访问模式,我们如何使工作负载更快,以及是否有一种方法可以通过将资源用于任何一个领域来提高效率。我们不会退款,也不会给每个人发账单,但Qumulo帮助我们提高了成本意识。”

西迪奇说,他的团队保留了很大一部分它的科学数据下去。他说:“有一部分测序数据我们希望永远保留下来,如果需要,我们可以从这些数据中重建所有其他数据。”我们计划尽可能保留这些原始数据。”

成本在选择中起了很大的作用

云是一种选择长期存档但西迪奇表示,财务状况对他的球队来说并不合适。他说:“我们研究过云,但总是得出结论,它不符合我们的需求。”“我们需要上传的数据量相当大,如果我们需要取回数据,代价会非常昂贵,不值得这么做。”

Siddiqi表示,他对Isilon存储系统很满意,但觉得它不再划算。Isilon平台已经成熟,所以他探索了更新的技术,比如对象存储和Qumulo数据感知存储以及旧的NAS支柱,如基于IBM的存储光谱范围通用并行文件系统。

“Isilon足够快,也很容易安装,”他说。“当你有一个15节点的集群时,你就会遇到麻烦,我们不得不到处更换磁盘。但总的来说,伊西隆对我们很好。我们本可以非常高兴地收购另一家伊西隆(Isilon),但预算限制让这变得很困难。

Siddiqi说:“Isilon并没有发布很多新功能。“我们和EMC谈过,它会是我们已有的伊西隆的现代版本。这将是昂贵的。”

软件专用设备与捆绑设备

最后的选择是Scality环对象存储和Qumulo。Scality的纯软件方法将在购买和扩展硬件方面提供更大的灵活性,但Qumulo的设备模型在实现过程中需要的工作更少。

一位顾问向西迪奇推荐了Qumulo,西迪奇了解这家初创公司,因为它的创始人是Isilon的早期工程师。2015年供应商成立时,他与Qumulo的代表进行了交谈。一年后,他发现Qumulo在Core中添加了一些有趣的内容特别是在分析。他喜欢Qumulo提供的专用设备,尽管他对在自己选择的硬件上实现Scality的想法很感兴趣。

他说:“虽然制定我们自己的系统很有趣,但这需要很多工作,我们都有自己的实际工作。”“当时有一股强大的推动力,要求购买一款软件来自同一家供应商的设备,这样我们就不用担心了。尽管我们很喜欢Scality,但最终还是选择了Qumulo。

“如果我们有更多的时间,有人致力于照顾和喂养Scality,这将是一个更困难的决定。在我的内心深处,我想把Scality放在老的Isilon硬件上。但我不应该想这些,因为我还有其他事情要做。”

西迪奇表示,他期待着Qumulo Core的几个新成员。他说,他正在“急切地等待”更大的胜利快照能力。新的Qumulo集群支持快照,但它们在旧的集群上仍然不可用。他也在寻找SMB 3支持和更多的以太网端口上的盒子。他还希望将节点从4个扩展到6个,以利用更高级的擦除编码。

“当你到达6个节点时,(数据保护)指令集就会扩展,”他在谈到Core的擦除编码方案时表示。

下一个步骤

选择水平扩展NAS之间和对象存储

分析非结构化数据的挑战

坚持预算存储容量规划

深入了解应用程序感知存储

搜索灾难复苏
搜索数据备份
搜索聚合基础设施
关闭
Baidu