alex_aldo——Fotolia

新的WekaIO文件系统集成了flash、对象存储

WekaIO推出了它的扩展文件系统,该系统针对基于服务器的闪存进行了优化,并设计为将数据分层到更便宜的本地和公共云中对象存储。

WekaIO通过一个扩展并行文件系统从隐身中脱颖而出,该系统旨在利用基于服务器的flash……

高性能存储和公有云和私有云的高容量对象存储,用于冷数据。

总部位于加州圣何塞的WekaIO's矩阵软件定义存储包括一个Trinity管理平台,以促进对潜在的数千个节点的监督。WekaIO首席技术官Liran Zvibel表示,Matrix捆绑了一个网络堆栈,通过集成到Linux内核中的专有驱动程序来降低延迟、提高吞吐量并更有效地传递文件系统语义。

“通过运行我们自己的实时操作系统,运行我们自己的网络堆栈和I/O堆栈,我们能够让软件定义的存储实际执行,”Zvibel说。“Linux内核从未打算用作存储服务的基础。”

Zvibel说,WekaIO的网络栈类似于NVMe over fabric (NVMe- of)与NVMe-oF不同,它使用标准的以太网,不需要远程直接内存访问(RDMA)、特殊的交换机或网卡。他说,除了NVMe-oF支持的基于nvme的超低延迟PCI Express ssd, WekaIO还支持更便宜的SAS和SATA硬盘。

WekaIO软件将服务器的本地ssd盘进行池化,并将flash存储作为单一的命名空间提供给主机应用。文件系统的分级层扩展了全局命名空间,超出了池中的NAND flash容量。不需要的数据会被转移到更便宜的Amazon S3 api上OpenStack Swift-compliant云对象存储,在办公场所或公共云中。

MatrixFS文件系统内置了N+4数据保护,有4个数据和2个保护块,可以承受4个同时发生的设备故障。Zvibel说N+4使用了类似的算法擦除编码但解决了缓慢的重建时间和糟糕的小文件性能问题。根据Zvibel的说法,N+4可以为flash和网络资源保存复制。

为了适应N+4, WekaIO系统最小配置为6个ssd盘。WekaIO支持2万个SSD代理后端存储节点的理论扩展限制,尽管该公司仅测试了1200个。

并非所有WekaIO节点都需要运行存储服务,因此客户可以独立扩展集群存储和计算。根据Zvibel的说法,WekaIO前端(了解集群和数据位置的客户端)的理论上可伸缩性极限约为10万。客户可以选择在裸金属服务器、虚拟机或码头工人的容器

WekaIO数据服务前端支持传统主机NFS、Windows客户端SMB和Hadoop分布式文件系统(HDFS)用于Hadoop应用程序。

潜在的用例

WekaIO设想用例适用于媒体和娱乐、生命科学、工程、设计和制造等行业中需要大量带宽、高IOPS和低延迟的应用。

Zvibel表示,他认为IBM的Spectrum Scale(前身为通用并行文件系统(GPFS))是WekaIO的主要竞争对手。他声称,与GPFS相比,MatrixFS能够在更小的集群中实现更高的性能和更大的并行性。他说,WekaIO系统同时向许多闪存设备写入数据,并以256个4K块的形式同时读取一个兆字节的数据。他还表示,WekaIO集群上的每个节点都是分布式文件系统的一部分,能够理解数据放置并直接联系正确的SSD代理。

他说:“GPFS的客户端与我们的客户端类似,它们与一小部分NSD(网络共享磁盘)服务器进行通信,这些服务器负责提供元数据服务。”“实际上,只有元数据服务器本身连接到SAN设备,它们运行并行请求。在我们的情况下,任何客户机都可以并行请求。”

据Zvibel介绍,WekaIO系统可以并行执行元数据操作,并拥有多达64000台元数据服务器,分布在20,000台物理服务器上。

Zvibel说:“很多客户目前无法从NetApps和Isilons得到他们需要的东西,他们没有选择GPFS,因为GPFS太可怕了。”他暗示GPFS使用起来很复杂。

其他潜在的WekaIO挑战者包括创业Elastifile,以及具有NFS接口的对象存储供应商,如Caringo、Red Hat Ceph storage和Scality。开源的光泽是另一个潜在的竞争对手,但“这对非博士来说太复杂了。用户,”Zvibel说。

WekaIO最初的目标是需要高性能存储的大规模部署,“因为找到有大问题的人是最有利可图的,”他说。

当部署在专用存储服务器上时,Matrix软件容量许可的年度价格为每TB 1000美元。在超融合模式下,单节点2核不限制SSD容量标价为10,000美元,8核不限制SSD容量标价为12,500美元。

Zvibel说:“我们根据核心来衡量性能”,因为我们能够在核心上并行工作。你运行的核心越多,你的线性性能就越好。”

EC2管理控制台

潜在的差异

瑞士Storage LLC分析师总裁George Crump表示,WekaIO的潜在优势包括flash优化、超融合和裸金属配置支持,以及客户控制下的可变计算性能。

“通常对于大多数闪存系统,你会硬性设置它们将要获得的存储和计算量。你可以在超融合集群的每个节点上锁定两个核,”克伦普说。“对于Weka,你可以说,‘现在,只使用每个节点的一个核心。’当创建了1000个容器时,您还可以旋转100个内核来处理额外的I/O负载。或者,当I/O达到一定水平时,你可以让它自动旋转额外的内核。”

企业战略集团(Enterprise Strategy Group)高级分析师斯科特•辛克莱(Scott Sinclair)表示,他的公司实验室证实,WekaIO的性能可以达到数百万IOPS。他说,另一个潜在的好处是它能够“利用您环境中现有的足迹”,并使用云来获得额外的容量。WekaIO的一个潜在缺点可能是复杂性,因为WekaIO提供了一定的灵活性。

WekaIO在A轮和B轮融资中筹集了3225万美元,并在以色列设有工程办事处。Zvibel、首席产品官Omri Palmon和首席架构师Maor Ben-Dayan于2013年创建了WekaIO,此前IBM于2008年收购了他们的第一家企业XIV。WekaIO总裁兼首席执行官Michael Raam领导SSD控制器制造商SandForce,该公司于2012年被LSI收购。

下一个步骤

如何并行性可以提高存储性能仍然是难以捉摸的

对象存储技术地址的能力需求

NVMe对fabric的投资势头强劲post-flash设备

深入了解NAS设备

搜索灾难复苏
搜索数据备份
搜索聚合基础设施
关闭
Baidu