Sergey Nivens - Fotolia

让基于闪存的ssd能够处理非结构化数据的5个技巧

将闪存有效地用于非结构化数据需要预先对成本、容量和性能进行分析,以及持续跟踪快速变化的闪存市场。

从表面上看,非结构化数据和基于闪存的ssd似乎是完美的匹配。但这需要周密的计划……

并分析实施一个成本效益高的,满足业务需求的大数据闪存系统。

由于大数据分析的应用越来越多,存储管理人员已经开始考虑将flash用于非结构化数据存储。据国际数据公司(IDC)称,大数据和商业分析产品的销售正以11.9%的复合年增长率增长。IDC预计,到2022年,这个市场的价值将达到2600亿美元。

组织正在存储更多的数据来满足这些需求大数据分析系统.其中很多数据是非结构化的文本文档、电子邮件、图像、视频和其他文件,这些文件不适合传统数据库。

因此,企业购买的存储空间比过去显著增加。IDC报告称,2018年第二季度,全球各机构购买了111.8艾字节的存储空间,比2017年第二季度增加了71%。

但仅凭容量还不足以满足大数据需求。性能也是一个关键因素。

大数据和商业分析的全球收入

闪电似乎是显而易见的选择性能方面,因为它比传统hdd快得多。此外,基于闪存的ssd比hdd占用更少的空间,消耗更少的能量,产生更少的热量,所有这些都使扩展更容易。

那么,还有什么不喜欢的呢?

使用flash处理非结构化数据的挑战

使用flash存储大数据的主要缺点是成本。近年来,闪速价格已经下降这引发了人们对混合和全闪光阵列(AFAs)的更大兴趣。IDC最新数据显示,AFA市场同比增长54.7%,混合阵列销量攀升23.8%。

企业客户在闪存上存储非结构化数据面临的最大挑战是成本。
格雷格•舒尔茨分析师,StorageIO

然而,基于闪存的ssd的成本仍然高于hdd,为大型数据存储库获得足够的容量可能会增加预算。“在闪存存储非结构化数据方面,企业客户面临的最大挑战是成本——也就是说,试图用最少的钱获得尽可能多的SSD容量,”咨询公司StorageIO的分析师格雷格·舒尔茨(Greg Schulz)在一封电子邮件中写道。“另一个挑战是在不影响数据和元数据读写性能的情况下,获得最大的单位成本容量。”

Schulz还指出,供应商提供的信息可能令人困惑,通常很难找到一种flash方法来满足企业的非结构化数据存储需求。

非结构化数据类型

以下5个技巧可以帮助基于闪存的ssd处理非结构化数据。

  1. 分析您的需求。在研究可用选项之前,首先必须了解业务用户的需求。“做好功课,”舒尔茨建议道。“了解应用程序的性能、可用性、容量、经济特性,以及它们将如何访问非结构化数据。”
  2. 分析你的选项。根据这些信息,评估现有产品,包括基于闪存的ssd,以及全闪存和混合阵列。几个供应商——特别是戴尔EMC Isilon纯存储的FlashBlade——提供面向大数据的flash。然而,通用的AFAs或混合阵列也可以满足非结构化数据存储的需求。Schulz建议考虑特定的技术是否适合您的环境,或者您是否必须使您的环境适应给定的产品。
  3. 使用容量管理技术。由于非结构化数据量正在快速增长,请寻找具有内置容量管理功能的方法,例如压缩、重复数据删除和自动分级。这些特性将有助于长期控制数据量。
  4. 考虑混合和分层系统。在许多情况下,最经济的方法可能是使用flash存储热数据,使用hdd存储冷数据的硬件。或者,它可能包括更快和更慢的flash和云存储层。最好的闪存SSD类型存储可以是一种混合Schulz说,一个是容量更大、成本更低、读优化的存储,用于存储大量数据,另一个是容量更低、持久时间更长、写优化的存储,用于处理元数据,并充当写缓冲区。
  5. 跟上潮流。限时抢购市场瞬息万变,所以今天看似昂贵的东西,明天可能就能负担得起。一些早期上市的大数据闪存产品因缺乏兴趣而被撤回。但是,随着闪存费用的下降,预计大数据闪存市场将会进一步扩大,而且有可能出现新产品。

“在未来,将会有另一类使用QLC的大容量闪存(四层单元)将更倾向于阅读为主的内容,”Evaluator Group分析师兰迪•科恩斯在一封电子邮件中写道。“它还没有上市,但迟早会上市。这将为控制数据放置创造一些新的机会和问题。”

评估者集团分析师Randy Kerns讨论了如何在非结构化数据的增长中生存下来。

存储管理人员需要了解这些趋势,以便在部署基于闪存的ssd和其他基于闪存的非结构化数据存储选项方面做出最佳决策。

深入挖掘非结构化数据存储

搜索灾难复苏
搜索数据备份
搜索聚合基础设施
关闭
Baidu