Maxim_Kazmin——Fotolia

评估 权衡你正在考虑的技术、产品和项目的利弊。

现在是重新考虑传统文件系统的时候了吗?

大量的非结构化数据和像云这样的技术让一些人质疑传统的文件系统是否能够胜任这项任务。

让我们从头说起;有许多不同类型的文件系统。有些专门用于不同的存储介质——如用于光盘的ISO 9660文件系统——其他用于提供对连接在网络中的特定类型的存储设备的访问——如NFS、CIFS、SMB(服务器消息块)等等。其他人将一个文件数据和元数据模式转换或映射到一个完全不同的文件和元数据模式,或参与通过物理媒体解析文件。

底线:传统文件系统比人们想象的要复杂得多,特别是考虑到有些贬低性的引用“非结构化数据通常应用于用户文件。说实话,有很多结构在传统文件系统中,而且非常复杂。

IT行业最近的发展使一些存储经理和数据中心决策者质疑文件系统的当前形式仍然是存储数据的最佳机制.事实上,云计算、虚拟化和“长块”文件(如视频、医学成像、人类基因组数据等)的出现,已经开始提出关于数据的问题文件系统的效能在不远的将来。

为什么?对于初学者来说,云计算倾向于使目录结构扁平化,将大量微小的文件驱动到单个名称空间中,以更快地加载图形界面等。在某些情况下,单个页面可能包含数百万个文件组件,因此需要提高文件系统操作的速度,以便将数据提供给cpu和gpu。

当然,存在潜在的数百万或数十亿文件部署到存储——现在通常以tb或拍字节——寻找一个文件在一个嵌套的目录和子目录,和扩展位置对媒体表示为节点和inode区段,可能是慢得多的任务。

另一个大问题是自我毁灭的本性传统文件系统的。大多数文件系统仍然会在每次保存文件的新版本时覆盖文件的最后一个有效副本,而不是创建修订日志。这是一个深思熟虑的设计选择,反映了一个时代,大约30年前,每GB磁盘空间的价格是令人望而却步的。虽然一些文件系统提供了更多的文件保存选项,包括日志,但它们还没有被主流使用。

例如,日志记录本来是为了防止存储空间的浪费,但事实证明情况完全不同。由于无法理解终端用户创建的文件的内容或业务背景,导致存储介质上的空间极度浪费。根据数据管理研究所(Data Management Institute)最近的一项研究,每一个正在使用的硬盘中,高达70%的容量包含惰性文件,这些文件从未被引用、孤立、复制或违禁。

事实证明,重复数据删除等技术有助于提高存储容量的使用效率,特别是无意的文件复制和“空白”所产生的浪费。现在,许多文件系统正在进行增强,将重复数据删除作为文件系统级存储过程的一部分,但最初的努力是以文件系统性能为代价的。

简而言之,有许多理由重新考虑当前形式的文件系统。另一种方法是使用不同的参考框架来存储数据。目前颇受欢迎的一种方法是由公司开创的如Tintri公司。Tintri用虚拟机代替传统的目录、子目录、卷或LUN文件系统框架,以适应当前流行的基于管理程序的计算。

Caringo Inc.和许多其他对象存储公司支持的另一种方法是用面向对象存储传统文件系统的框架。这种方法特别适合于云计算,在云计算中,它可以帮助提高具有无数文件对象的平面目录系统的速度、提要和空间利用率。这也非常适合长块文件,如视频和医学图像,这些文件不会经常更改,并且可以使用额外的描述性元数据进行增强,以帮助搜索——以及在——对象内容中搜索。

下一个步骤

SwiftStack为软件添加文件系统网关

使用NAS的好处使用对象文件系统

之间的差异对象、文件和块存储

深入了解并行文件系统

搜索灾难复苏
搜索数据备份
搜索聚合基础设施
关闭
Baidu