StorReduce为云对象存储提供内联重复数据删除功能

初创公司StorReduce利用内联重复数据删除工具进入了一个未知领域,该工具可以减少Amazon S3中的云对象存储。

存储初创公司StorReduce已经悄然崛起,其软件提供了内联重复数据删除pb级云对象存储Amazon Web Services的简单存储服务。

StorReduce在与第一个客户数据管理公司SpectrumData完成概念验证后,于去年11月正式在美国成立。该软件也被称为StorReduce,安装在分层存储管理层之上使用S3 (Simple Storage Service)连接。

StorReduce实例可以在Amazon Marketplace上获得。虚拟设备使用持久数据的云存储,可以作为Amazon Elastic Compute Cloud实例运行,也可以在将本地对象存储迁移到私有云的物理服务器上运行。

块级内联重复数据删除到S3实例

StorReduce位于客户端应用程序和公共云存储之间,用于在块级别将非结构化数据内联在一个恒定流中进行去重,并只将唯一的块传递给S3实例。然后,该软件将更改散列,并在云中存储一个索引层,用于数据水合。

由于该软件不缓存数据,StorReduce声称可以在高达600mbps的持续速度下实现对象的内嵌重复数据删除。要获得这样的吞吐率,客户需要有一个固态硬盘(ssd)的本地缓存来维护索引数据。

该公司表示,一个带有SSD本地存储的StorReduce服务器最多可以处理10pb的原始数据。StorReduce建议每petabyte的对象存储容量对应5tb的本地ssd硬盘。

云的重复数据删除比SMB备份“更有趣”

StorReduce技术起源于澳大利亚的一家为中小型企业(smb)提供服务的备份供应商Triple Backup。三重备份创建虚拟映像并通过低带宽连接将图像发送到云存储。

“为了将映像移动到云中,三重备份必须开发重复数据删除引擎。我们最终将引擎移植到云上,那时我们意识到似乎没有其他人为云存储做后端内联重复数据删除。首席执行长凡妮莎·威尔逊他与Triple Backup的同事、首席技术官休·艾伯森(Hugh Emberson)和首席产品官马克·考克斯(Mark Cox)共同创立了StorReduce。

这三家公司将重心从SMB备份转向了StorReduce,并将总部迁至加州森尼维尔,以完善基于云的对象存储软件。Wilson说:“对我们来说,云内重复数据删除似乎是一个比SMB备份更有趣的市场。”

作为StorReduce概念验证的一部分,SpectrumData迁移了数万个遗留数据将磁带备份到虚拟磁带在Amazon Web Services中。

测试稍微重新配置了StorReduce软件,使其作为本地实例运行,而不是在Amazon云中运行。

SpectrumData主管Guy Holmes表示,StorReduce软件提供了两个主要好处。

“首先,我们输出的数据只有以前的十分之一。第二,我们得到了10倍的数据吞吐量。亚马逊打算对我的存储空间收取1美元的费用,而我现在通过使用StorReduce支付10美分。”

StorReduce的首席技术官Emberson说,他的公司计划发布一个对象接口OpenStack迅速今年6月,微软将推出云存储服务,并预计在2016年推出类似的Azure服务。

下一个步骤

使用内嵌重复数据删除总体上减少了数据占用

之间的决定对象和块存储你的云

公共云存储:哪些数据是可以安全移动的?

深入挖掘云对象存储

搜索灾难复苏
搜索数据备份
搜索聚合基础设施
关闭
Baidu