定义

分层存储

什么是分层存储?

分层存储是将不同类别的数据分配给不同类型的数据的一种方法存储介质降低整体存储成本,提高性能和可用性关键任务应用程序.分层存储体系结构根据数据的业务价值对数据进行层次分类数据根据用户和应用程序访问它的频率进行排名。然后将数据分配到根据性能、可用性和媒体成本定义的特定存储层。

一般来说,最重要的数据是由最快的存储媒体提供的,而这通常是最昂贵的。在基本配置中,关键任务数据可能被分配到高性能层,该层由闪存固态硬盘(ssd),英特尔Optane内存模块,而较次要的数据则写入仅由硬盘驱动器组成的第二层(hdd).然后,可以使用第三层对需要无限期保存的数据进行归档,将数据存储在上面磁带驱动器云存储平台。

分层是由信息生命周期管理(ILM).

分层存储的历史是怎样的?

IBM率先在其上使用多层存储体系结构主机电脑。在最初构想分层存储时,主要生产数据被手动放置在串行连接SCSI的不同配置上(情景应用程序)及系列先进技术附件(萨塔硬盘驱动器。使用诸如跨独立磁盘冗余数组的短笔划和条带等技术将数据写入磁盘上的块(突袭).

这就产生了具有不同容量、成本和性能特征的存储层,这使得在单个大型机中解决不同的存储需求成为可能。为了提供更大的灵活性,在其他媒体后面增加了一层磁带库,以支持热数据或为其提供深层归档冰冷的数据

分层存储管理的兴起(HSM)有助于减少人工分层存储的过程。HSM引入了基于软件的自动化,可以在不同的存储系统、驱动器类型或RAID组之间实时动态地传输数据,对用户基本上是透明的。

什么是多层存储?

分层数据管理方法利用不同类型的存储媒体创建多个层,以容纳不同类型的数据。组织采取分层的确切方法取决于它们特定的存储、数据和应用程序需求。今天的IT团队可能支持两层到五层之间的任何地方,有时甚至更多。

在很大程度上,层级的数量取决于一个组织如何对其数据进行分类。例如,业务数据通常分为以下四类:关键任务、热数据,暖数据和冷数据。基于这些类别,组织可能实现四个存储层——0层、1层、2层、3层——0层支持关键任务的工作负载,而3层存储冷数据。

组织并不局限于这种结构——它们可能部署更多层或更少层——但这种方法代表了多层存储体系结构的基本原则。

数据存储分层结构
一个组织有多少存储层很大程度上取决于它如何对数据进行分类。

公司可以通过多种方式偏离这种结构。例如,为了更好地利用存储资源,他们可能将Tier 1或Tier 2分成两个层,在这种情况下,他们将实现5个层而不是4个层。无论配置如何,该模型中的最高层——tier 0——总是存储对工作要求最高的数据,而最低层——无论是tier 3、tier 4、tier 5还是其他级别——存储的是最不关键的活动数据。

什么是Tier 0存储?

存储层次结构的顶层传统上开始于第一级存储,但固态和闪存由此产生了Tier 0存储的概念。Tier 0的性能优于Tier 1,以前认为是Tier 1的数据现在都存储在Tier 0上。

第0层存储是该层次结构中最快和最昂贵的一层,适用于任务关键型应用程序,几乎没有容忍度停机或延迟.放在“零层”中的数据通常涉及扩展事务数据库用于分析、金融、医疗保健和安全。

存储类内存(SCM)在哪里
存储类内存是Tier 0(最快的层)媒体类型的一个例子。

组成Tier 0的存储设备可能包括flash ssd或存储类内存(供应链管理)设备,如Optane ssd或内存模块。ssd通常使用外围组件互连Express (作为PCIe)或非易失性内存表达式(NVMe)技术以使性能最大化。在某些情况下,组织可能使用单层单元格(SLC)闪存的性能和可靠性。0层存储也可能使用随机访问内存(内存)以优化性能。

虽然0级存储是最昂贵的存储类型,但性能增强带来的实际好处,如更快的上市时间或增加的销售,需要与0级存储设备的成本进行权衡。

什么是一级存储?

第一级数据支持应用程序,这些应用程序对组织开展日常业务的能力至关重要。依赖于此数据的应用程序通常可以容忍更高的延迟和更低的延迟IOPS高于Tier 0应用。与Tier 0存储相比,存储成本也更需要考虑,尽管Tier 1仍然倾向于使用高质量的媒体——例如双奇偶校验RAID,以确保存储提供所需的延迟和吞吐量,即使它不如Tier 0存储快。

一级存储可能使用ssd、hdd或两者的组合混合动力驱动配置。混合存储系统缓存热数据在闪存中快速检索和写入剩余数据到hdd。用于Tier 1存储的hdd往往是最快和最昂贵的,特别是当它们是该层唯一使用的存储类型时。

在某些情况下,基于hdd的存储将利用服务器RAM的一部分作为虚拟磁盘驱动器,特别是如果hdd不是混合系统的一部分。然而,这也意味着可供计算资源使用的内存更少。此外,RAM需要一个恒定的电源来保存它的数据。ssd和hdd为非易失性存储器(NVM),这样它们就可以切断电源,但仍然保留数据。

即使企业在旋转磁盘上运行大多数Tier 1应用程序,它们仍然可能在全闪存存储或混合闪存上运行选定的工作负载。在某些情况下,IT团队会利用空闲的计算能力来运行事务数据库在快速内存存储中。这些设备包括非易失性双内联内存模块(NVDIMMs),滑进一个标准的服务器插槽。

NVDIMM类型
非易失性双内联内存模块——快速内存存储的一个例子——有时可用于Tier 1存储目的。

什么是二级存储?

二级存储涉及热数据,可能包括旧邮件、机密文件、历史财务信息或各种其他类型的信息。这一层还可能支持报告和分析。Tier 2存储通常需要更长时间的更大容量,因此重点从性能转移到成本效益。

第2层存储通常作为组织的二级存储,承载第0层和第1层备份,作为业务连续性和灾难恢复(BC/DR)策略的一部分。二级存储可以在主存储上的数据不可用时快速恢复密钥文件。

Tier 2存储上的备份数据可能包括企业资源规划(ERP)系统、企业电子邮件、后台应用程序或任何其他要求高可靠性和安全性但不需要毫秒级延迟的应用程序数据。

第二层数据保存在较低成本的介质上,可能包括hdd、备份设备、磁带存储或云存储。hdd通常基于SATA,而不是结合昂贵的RAID阵列或SAS设备。恢复需求通常驱动用于二级存储的介质类型。

什么是三级存储?

三级存储是一种存档位于备份层后面的层。这一层中的数据很少被访问或更新。这一层的存储介质可能包括慢速旋转的可记录hdd光盘、磁带驱动器或归档云存储服务——只要能提供比其他层更便宜的存储。Tier 3存储任何被认为具有战略价值的内容或需要保留的内容的固定副本遵守适用的法规

许多组织在一段时间内直接备份到二级存储,然后将数据转移到三级存储磁带库长期保留。数据可能被无限期地保留或设置为在某个日期过期。在某些情况下,归档数据只写入磁盘一次,而且从不删除或更新。

受监管行业的公司使用档案将老化或不活跃的数据迁移到更昂贵的存储空间。Tier 3存储支持遵从性、历史分析或其他可能周期性出现的业务需求,但不需要最先进的存储。

越来越多的组织开始转向对象存储为他们的第3层数据,通常实现的层作为一部分混合云同时利用本地系统和云服务的策略。的公共云可以存储第三级数据作为混合策略的一部分。

一些存储专家预测,未来存储层会更少,可能只有两个,主要数据存储在闪存层,归档和备份数据存储在云中。

存储介质的比较

什么是自动分级存储?

分层存储开始时是一个手动过程,但自动化在放置数据和分析数据位置方面发挥了更大的作用。自分层自动化引入以来,分层自动化一直在不断改进和发展,现在越来越多的存储产品提供分层存储能力,要么内置在存储系统中,要么作为第三方软件或服务。

自动化存储层的出现变得越来越重要混合存储阵列混合闪存ssd和hdd。自动化确保只有最重要的数据保留在昂贵的媒体上,其余的则相应地分布。

存储阵列供应商现在已经嵌入自动存储分层进入软件管理堆栈。自动策略根据公司定义的策略将数据移动到适当的层,通常是实时的。

许多第三方软件供应商也提供了包括分层存储的管理软件。这些产品包括软件定义的云存储网关复制数据管理企业文件sync-and-share套房。

什么是优化分层?

储运专家曾说过一套完善的数据分类分类法是优化分层存储体系结构的关键。分类法对所有数据进行分类,并根据存储性能要求平衡成本。

存储架构师应该清楚地定义每一层的可用性、性能和服务属性。其目标是允许应用程序选择与其执行的业务任务一致的存储。

如果业务依赖于其事务处理应用程序的持续运行时间,那么所产生的收入可能超过高性能存储的成本。分级存储可以通过释放主要存储并将次要数据移动到成本较低的存储层来提高应用程序性能。

人们普遍认为,在任何给定时间,只有10%到20%的数据被认为是“热门”的。这意味着最快、最贵的存储应该专门用于这些频繁访问的数据,其余的80%到90%存储在较便宜的存储层上。

按存储层划分技术和数据

分层和缓存

术语存储分层和数据缓存通常可以互换使用——特别是在处理flash媒体时——但它们是不同的过程。

缓存将数据的临时副本放在高性能介质上,例如动态RAM (动态随机存取记忆体)或固态存储器,以提高性能。缓存位于应用程序和后端存储

同样的数据也位于较低的存储层,通常是硬盘。主机软件或存储控制器将数据复制到缓存中,但数据的原始副本仍保持在初始位置。

SSD缓存vs.存储分级
此图解释了分层和SSD缓存中的数据流差异。

分层数据在任何时候都驻留在一种媒体类型上,但随着数据访问模式的改变在媒体之间移动。分级存储不支持数据复制。它将数据移动到不同的存储介质,选择最佳平衡可用性、性能和存储介质成本的位置。通过这种方式,可以更好地利用存储硬件,同时仍然最大化关键任务应用程序的性能。

这是最近更新的2021年9月

继续阅读关于分级存储

深入挖掘存储分层

搜索灾难复苏
搜索数据备份
搜索聚合基础设施
关闭
Baidu