本内容是《基本指南》的一部分: 有效的数据管理,应对即将到来的数据灾难

现代媒体的存储分层策略

随着企业希望最大限度地利用它们的存储系统,存储分层卷土重来。发现优化系统内和系统间分层的规则。

最新的存储介质驱动器从高性能、低延迟存储类内存和NVMe闪存ssd到性能较低的3D QLC写优化闪存ssd,当然还有更高密度的hdd。利用这些不同的性能和价格点再次提高了人们对存储分层策略的兴趣。

有争议的是,有两种类型的存储分层:系统内和系统间。系统内分层可以实现不同级别的SCM,flash ssd甚至在同一存储系统中有效地使用hdd。系统间的分层更加复杂,特别是当涉及的系统由不同类型的存储、供应商、数据中心、技术和云组成时。但是系统间分层可能有更低的成本和更大的灵活性。

系统内存储分层策略

当闪存ssd被引入存储生态系统时,系统内分层开始流行起来。Flash ssd是高性能和低延迟的存储介质——通常比hdd好几个数量级。它们刚出来的时候也很贵。分层是一种为热数据获得SSD性能并在其冷却时将其移动到hdd的方法。

这些系统被称为混合存储.但是,随着SSD价格的急剧下降,闪存SSD和hdd之间的成本差距缩小到一个点,闪存SSD的性能优势超过了成本的小幅上涨,SSD变得更占优势。

利用不同的性能和价格点再次提高了人们对存储分层的兴趣。

当存储系统只有一种闪存SSD类型时,这是合理的。但是现在有了性能,容量,磨损寿命和延迟能力的SSD,并且有了新的SCM SSD的可能性。分层存储即使系统中没有hdd,这也是有意义的。

优化系统内存储分层策略的最佳实践包括:

  • 确保分层是策略驱动的。
  • 以最快的驱动器(如SCM和NVMe flash ssd)上最热的数据为目标。
  • 将数据移动到更慢、成本更低、容量更大的3D三级单元ssd,因为它的老化和自上次访问或上次修改以来的时间增加了。
  • 如果有两个以上的层,第二次将数据移动到更慢、成本更低、容量更高、读优化的地方3D四层单元ssd基于同样的标准。

系统间存储分级策略

由于将数据从一个系统移动到另一个系统时涉及到劳动密集型的手工过程,系统间存储分层在历史上没有被广泛使用。然而,随着云计算、大数据和数据湖分析的出现,人们的兴趣激增。过去的方法,如分层存储管理(HSM),以及开源手动文件复制工具,如rsync和Robocopy,都不会削减它。

高速切削是基于存根的。当数据从一个系统移动到另一个系统时,它会在原始数据的位置留下一个小存根。当应用程序或用户访问数据时,他们实际上是在访问存根,存根会去检索数据,将其重新保存到原始存储中。

存储分层层次结构
存储层层次结构

然而,HSM也存在一些问题,包括云存储成本的增加。在云中存储数据相对便宜,但复制数据时需要支付出口费用,就像HSM所发生的那样。这种方法也是二进制的。如果数据从辅助存储移动到另一个存储系统或云,HSM存根就会崩溃,因为它找不到数据。

现在有了更好的系统间分层。一些产品,如戴尔EMC的ClarityNow、Hammerspace、Komprise和StrongBox Data SolutionsStrongLink——以admin权限挂载主存储系统。这使得分层软件能够读取所有的数据。然后,它根据策略将其复制到一个或多个二级或三级存储系统,包括云和磁带。策略允许从原始存储中删除原始数据,而全局名称空间允许直接立即访问数据所在的位置,而不是重新添加到原始存储中。

其他产品,如InfiniteIO,坐在存储前,看起来像个开关.数据通过策略从一个存储系统移动到另一个存储系统或云。需要注意的是,这种类型的分层主要用于非结构化数据,这代表了超过80%的存储数据。

如果所有数据存储都是通过该供应商进行的,那么单一供应商间的存储分层是有用的。在这些情况下,分层的操作与系统内部分层有些类似。数据可以在系统之间复制,也可以复制到运行在内部环境或云中的虚拟存储设备(VSA)。复制完成后,将根据策略从原始源删除数据。然后目标系统或VSA使用成本较低的块、文件、对象或云对象存储。

优化系统间存储分级策略的最佳实践包括:

  • 确保分层是策略驱动的。
  • 目标冷数据转向低成本、低性能的存储,如对象、分布式文件、云和磁带库存储。
  • 根据上次访问或修改后的年龄和时间移动数据。
  • 如果超过两层,则再次将数据移动到较慢、成本较低的存储,如冷、归档、冷或归档云和磁带库存储。

下一个步骤

面向数字化转型企业的相关存储新技术

深入挖掘存储分层

搜索灾难复苏
搜索数据备份
搜索聚合基础设施
关闭
Baidu