存储

管理和保护所有企业数据

kentoh——Fotolia

估计 权衡你正在考虑的技术、产品和项目的利弊。

对象存储厂商将NAS赶出了企业

对象存储市场以初创公司和成熟供应商的产品为特色,这些产品正作为真正的NAS替代品提供。

对象存储是传统基于文件存储的最新替代方案,通过扩展元数据提供更大的可伸缩性和(可能)更好的数据管理。然而,直到最近,对象存储在很大程度上还是企业的利基技术,同时也成为云存储的基本支柱之一。

数据快速增长,大的扩散数据的湖泊在企业中,对私有云存储和混合云存储的需求不断增加,对可编程和可扩展存储基础架构的需求不断增长,正将对象存储从其利基市场推向主流。

不断扩大的名单对象存储产品这是另一个迹象对象存储越来越重要.此外,对象存储正在进入网络连接存储(NAS)用例,一些对象存储供应商将其产品定位为可行的NAS替代方案。

对象存储用例

备份和归档对象存储系统是经济高效、高度可扩展的备份和归档平台,特别是在数据需要连续访问的情况下。

企业协作:采用地理上分布的对象存储系统作为协作平台,在全球范围内进行内容访问和共享。

存储即服务:对象存储支持企业和服务提供商的私有和公共云。

内容存储库:用作图片、视频和其他通过应用程序或文件系统协议访问的内容的内容库。

日志存储:用于捕获设备和应用程序生成的大量日志数据,通过Apache Kafka之类的消息代理进入对象存储。

大数据:一些对象存储产品提供认证的S3 HDFS接口,允许Hadoop直接访问对象存储上的数据。

内容分发网络:用于全局分发电影等内容,使用策略管理访问,并具有基于过期日期自动删除对象等功能。

网络附加存储(NAS):用于替代专用NAS系统,特别是当有其他需要对象存储系统的用例时。–J.G。

为了实现克服传统文件级和块级存储系统的局限性以可靠且经济高效地支持海量数据这一崇高目标,对象存储系统在可扩展性、弹性、可访问性、安全性和可管理性方面致力于并开创新局面。让我们看看对象存储系统是如何做到这一点的。

可伸缩性是对象存储的关键

复杂性是极端可伸缩性的诅咒。对象存储系统采用了几种本质上简单的技术,但对于实现前所未有的规模至关重要。

首先,对象存储系统是横向扩展系统,通过添加节点横向扩展容量、处理和网络资源。虽然一些对象存储产品实现了在单个节点中执行访问、存储和控制任务的自包含多功能节点,但其他产品由专门的节点类型组成。例如,IBM Cleversafe、OpenStack Swift和Red Hat Ceph存储区分了访问节点和存储节点;相反,Caringo Swarm 8和EMC弹性云存储(ECS)中的每个节点执行所有对象存储功能。

与文件级存储的层次结构不同,对象存储系统是扁平的,只有一个名称空间,其中对象通过唯一的对象标识符进行寻址,从而实现了前所未有的规模。“10分38每个vault都有可用的对象ID,我们支持yottabyte-scale名称空间,并将每个对象划分为4 MB的段,我们目前最大的部署容量为100 PB,我们准备将其扩展到或超过EB级别的容量,”根据拉斯•肯尼迪,IBM产品战略高级副总裁,Cleversafe。

此外,对象存储供应商很快注意到,他们的系统代替文件级存储的锁定要求,以防止多个并发更新(通过在更新时对对象进行版本控制),从而使像回滚功能最后,对象存储系统用丰富的可定制元数据取代了文件级存储有限而僵硬的文件系统属性,这些元数据不仅可以捕获常见的对象特征,还可以保存特定于应用程序的信息。

对象提供了更大的弹性

传统的块级和文件级存储系统受到支持大容量的基本限制的阻碍。数据保护就是一个很好的例子。备份数百PB的数据是不现实的。对象系统设计为不需要备份;相反,它们以足够的冗余存储数据,这样即使对象存储基础结构的多个组件出现故障,数据也不会丢失。

保持对象的多个副本是实现这一点的一种方法。缺点是,复制是容量密集型的。例如,维护6个副本需要6倍于受保护数据的容量。因此,对象存储系统的支持效率更高擦除编码数据保护方法除了复制之外。简单地说,擦除编码使用高级数学创建附加信息,允许从原始数据的子集重新创建数据,类似于RAID 5在一个驱动器出现故障的情况下从其余驱动器检索原始数据的能力。在当代对象存储系统中,弹性程度通常是可配置的。弹性级别越高,需要的存储空间就越多。

擦除编码可以节省容量,但会影响性能,尤其是在地理位置分散的节点上执行擦除编码时。“虽然我们支持地理擦除编码,但在数据中心内执行擦除编码,但在数据中心之间使用复制通常是最佳的容量/性能权衡,”他说保罗特纳他是Cloudian的首席营销官。由于大对象产生最大的擦除编码回报,一些对象存储供应商推荐基于对象大小的数据保护策略。EMC ECS使用本地擦除编码和数据中心之间的复制,但将复制与数据缩减相结合,在不降低性能的前提下,实现了与地理分散擦除编码相似的总体数据缩减比。

检测并在可能的情况下纠正对象存储问题的能力与地理位置分散的大型存储系统相关。持续监测存储节点在不需要人工干预的情况下,数据的自修复和自纠正能力是防止数据丢失和确保持续可用的关键能力。

基于标准的可访问性

对象存储被访问通过HTTP RESTful API执行各种存储功能,每个产品都实现自己的专有API。所有对象存储产品还支持Amazon Simple storage Service(S3)API,该API已成为事实上的对象存储API标准——目前使用它的应用程序数量最多。它还具有广泛的、超越简单的PUT、GET和DELETE操作的功能,并支持复杂的存储操作。

不过,需要注意的一点是,大多数对象存储供应商只支持S3API子集,了解S3API实现限制对于确保广泛的应用程序支持至关重要。除了AmazonS3,大多数对象存储供应商还支持OpenStack Swift API。

文件系统协议支持在对象存储系统中很常见,但实现因产品而异。例如,EMC ECS具有地理分布的主动/主动NFS支持,通过ECS的一致性支持,它是一款非常强大的地理分布NAS产品。Scality声称具有EMC Isilon级别的NAS性能,而NetApp StorageGRID Webscale现在通过在对象和文件之间建立一对一的关系提供了协议的双重性。

其他对象存储产品通过自己或第三方云存储网关提供文件系统支持,如Avere、CTERA Networks、Nasuni和Panzura提供的云存储网关。Caringo Swarm和EMC ECS都提供Hadoop HDFS接口,允许Hadoop直接访问其对象存储中的数据。HGST Active Archive System和Cloudian提供了兼容s3的连接器,使Apache Spark和Hadoop能够使用对象存储作为HDFS的替代存储。

加密提供所需的安全性

服务提供商对对象存储产品的常见用例是公有云存储。尽管静止和传输中的加密对于所有用例都是很好的实践,但加密对于公共云存储是必须的。大多数对象存储产品都支持静态加密和传输中加密,使用一种低接触静态加密方法,其中加密密钥是动态生成的,并存储在加密对象附近,而不需要单独的密钥管理系统。

Cloudian HyperStore和HGST Active Archive System除了支持服务器端管理的加密密钥外,还支持客户端管理的加密密钥,这为云服务提供商提供了一个选项,允许其客户管理自己的密钥。Caringo Swarm、DDN WOS对象存储平台和Scality RING目前不支持静态加密,依赖于在数据写入对象存储之前对其进行基于应用程序的加密。

LDAP和AD身份验证支持在当代对象存储系统中,访问对象存储的用户数量是常见的。支持AWS v2或v4身份验证以提供对Vault(以及Vault中的对象)的访问不太常见,在选择对象存储系统时应将其作为评估标准。

领先的对象存储产品

对象存储使管理最小化

对象存储系统通过自动化、策略引擎和自校正功能,最大限度地减少人工管理。“Cleversafe系统使存储管理员能够处理传统存储系统15倍的存储容量,”Kennedy声称。

对象存储系统设计为零停机,所有管理任务都可以在不中断服务的情况下执行——从升级、硬件维护和更新到增加容量和更改数据中心。策略引擎支持对象存储行为的自动化,例如何时使用复制编码与擦除编码,在什么情况下更改副本数量以支持使用高峰,以及根据相关的元数据在哪些数据中心存储对象。

商业对象存储产品通常提供管理工具、技术支持和专业服务,用于部署和保持对象存储系统的正常运行,而开源OpenStack Swift产品则要求更高的自立度。对于那些没有内部资源部署和管理OpenStack Swift的公司,SwiftStack出售Swift的企业产品,包括集群和管理工具、企业集成和全天候支持。

带走

毫无疑问,对象存储系统正在崛起。它们通过api扩展和访问的能力使它们适合传统存储系统无法匹敌的用例。它们也越来越多地成为NAS的替代选择,一些对象存储供应商声称与NAS系统不相上下。

然而,随着对象存储产品的不断增加,选择对象存储系统变得越来越具有挑战性。总体特征,确保你的支持用例在研究对象存储系统时,成本和供应商生存能力是主要的决策标准。这仍然是一项相对较新的技术,其功能不断变化,参考检查和(如果可能)执行概念验证测试建议在最终选择对象存储产品之前使用。

第八条第1条

下一步

如何对象存储技术与软件定义存储不同

为什么?对象存储流行度使文件存储黯然失色

基于对象的系统与横向扩展系统的比较

深入挖掘对象存储

获得更多存储空间

查阅我们所有的过期杂志 查看所有
搜索灾难恢复
搜索数据备份
搜索聚合基础设施
关闭
Baidu