本内容是《基本指南》的一部分: 为大数据集中的大文件流选择存储

目标受众确定机电区域大数据存储解决方案

Wikibon首席技术官预测,基于对象的系统将成为大数据存储解决方案;建议长视频文件用磁带,短视频文件用磁盘。

在媒体和娱乐(M&E)行业,基于磁盘或磁带的大数据存储解决方案的选择将在很大程度上取决于目标受众。根据维基邦首席技术官的说法,短片段有利于基于磁盘的网络连接存储(NAS),而长视频或电影可能适合较便宜的磁带。

但马萨诸塞州马尔伯勒市的戴维?总部位于美国的研究和分析公司Wikibon预测到基于对象存储将成为媒体丰富的大数据越来越受欢迎的选择,因为它提供了更大的灵活性。

在对Carol Sliwa (TechTarget存储媒体集团的资深作家)的采访中,Floyer还讨论了元数据在向终端用户提供更细粒度选项方面的重要性,以及相关的挑战大数据存储在机电行业中,设计时应考虑的重点媒体丰富的大数据存储环境文件。

媒体和娱乐行业的IT组织如何决定对大数据使用何种类型的存储?

David Floyer:它将从根本上取决于您支付此特定服务的受众。如果它是您之后的短剪辑,那么明显磁盘 - 和NAS-type系统因为人们不愿意等很长一段时间才能得到数据。如果是长片段和整个电影,然后它会更向胶带因为你可以填写短差距开始与另一个的信息、介绍或广告之类的,30秒和60秒前的电影不会产生多大影响。而且拿着要便宜得多。

您正在查看最终用户的便利性。您想要允许用户能够获得的更多元数据,以及他们可以获得和查看和研究的更多的选择,然后当然会推动它基于文件系统——尽管有一个分层的系统,最受欢迎的片段存储在磁盘上,而不太受欢迎的片段存储在磁带上,如果这样做的成本低得多的话,对大多数观众来说会非常满意。

所以,这是一个了解受众,为受众设计系统,然后选择最佳技术来满足最终用户需求的问题。你应该这么想。这里没有正确或错误的答案。对于越来越多的[用例]来说,磁带将是极好的,显然磁盘允许更大的灵活性和更快的时间到达第一帧。

哪种技术对富媒体文件更有意义:扩展NAS还是基于对象的存储?

Floyer:缩放NAS可以支持对象系统,因此两者不兼容。如果您从对象系统开始,然后将文件系统放在上面,那将为您提供最大的灵活性。和扩展NAS系统无论如何都要往那个方向走。所以,如何把它的基础部分放在一起是很重要的,同样重要的是,你可以用不同的方式访问它。

对于某些人来说,使用NFS访问它会是绝对的,而且正确的方式。对于其他人来说,他们希望看到底层组件,并使用该额外的数据以提高观看体验的许多有益的方式。所以,两者都是对的。两者都是这样做的好方法。但是,越来越多地,底层层将是基于对象的系统。

成本在这里非常非常重要。如果您正在寻找未来的灵活性,那么我认为基于对象的扩展系统将是提供最大灵活性和最大终端用户价值的系统。这对媒体行业和其他对丰富数据的使用都是正确的。

它不再令人满意,只是为了将其作为单个文件甚至是文件的一系列剪辑。您希望添加大量信息。如果您在基于对象的系统上建立该系统并将文件放在顶部,则将其设计更容易,如果要将其视为连续流,则更容易。对我来说是它的目标,人们将以不同的方式支付额外的额外的美元,以便我们甚至不认为可以成为可能的方式。

为什么富媒体数据非常适合对象存储?

弗洛耶:传统上,它们都是大文件,也许它们被切碎了一些,以便取出一些文件。但从根本上说,它是非常大的顺序文件。越来越重要的是,人们可以更深入地访问和理解这个大文件中发生的事情。

例如,人们总是想知道汤姆·汉克斯在电影中的孤身一人。打破成更小的组件,对象有自己的数据是谁说什么或什么词使用,和有一个单独的元数据,大型媒体文件,这些都变得越来越重要,使新方法,人们可以享受的东西,喜欢寻找特定的场景,喜欢比较不同的场景,例如,不同的电影。因此,基于对象的方法开始产生非常重要的影响,它是将长文件分解为更小组件的唯一有效方法。还有一些技术上的原因,为什么这也是一个帮助。

从历史上看,对象存储遇到的一个问题是性能。对象存储能否从性能的角度处理媒体娱乐行业的大数据?

弗洛伊:当你使用它作为一个文件系统在连续的模式中,文件系统将反映,然后组织,这样它会自动链接到下一个,下一个,你会有一个序列号,内会告诉你你在哪里,向前看,你需要得到什么。因此,基于对象的系统的传统问题将会消失。你不会经常更新媒体文件。您倾向于将它作为一个顺序的、就地的对象集。因此,对于媒体,对象系统会很好在大多数情况下。它只是在一个比基于文件的系统更精细的层次上提供了附加信息和附加访问功能的灵活性。

基于文件和基于对象的存储系统的哪些特性或功能是特别有用的存储和管理媒体的文件

Floyer:有几种在不同区域有用的功能。例如,如果要缓存富含媒体的数据,那么显然您希望能够在其中可以分发该系统的系统,并知道该国不同地区的内容,您可以将用户指向缓存副本减少延迟。所以,缓存是一个非常重要的特征。

等特性擦除编码这是一项非常有用的技术,特别是对于这些非常非常大的文件。使用擦除编码并将文件分散到几个不同的物理位置,这是一种非常划算的方法,可以减少副本的数量和这些副本的管理成本。

当你看磁带的时候,最重要的是你能知道磁带上有什么,东西在哪里。那么,介绍一下LTO-5、LTO-6技术及[线性磁带文件系统]的引入LTFS在磁带上的文件系统目录允许您更快地找到所需的确切信息。这些系统已经导致了磁带作为一种保存大量相关数据并能够在合理的时间内访问它们的方式的复兴。的这些磁带系统的成本比同等的基于磁盘的系统低5倍,10倍。例如,对于想听整部电影的人来说,在磁带的开头多等30秒并不是问题。

深入挖掘大数据存储

搜索灾难复苏
搜索数据备份
搜索聚合基础设施
关闭
Baidu