此内容是基本指南的一部分: 为大数据集中的大文件流选择存储
开始 让自己跟上我们介绍内容的速度。

元数据、缓存和压缩缓解了大数据存储的挑战

维基邦首席技术官表示,提供快速访问元数据、缓存和高压缩的系统有助于缓解媒体丰富的大数据存储挑战。

Wikibon首席技术官表示,在克服媒体和娱乐行业的大数据存储挑战方面,能够提供快速访问元数据、提供缓存和高强度压缩选项的系统将变得越来越重要。

大卫·弗洛耶(David Floyer)是马萨诸塞州马尔伯勒(Marlborough)的首席技术官和联合创始人。他说,一个能够快速查找元数据的整体系统,有助于实现消费者在各种设备上所期望的细粒度搜索功能。缓存和重压缩有助于提供媒体丰富的大数据,他补充说。

在对Carol Sliwa (TechTarget存储媒体集团的资深作家)的采访中,Floyer还讨论了最佳实践存储和管理大数据以及那种方式存储大音频和视频文件将来会对媒体和娱乐业产生影响。

主要是什么存储大数据带来的挑战音频和视频文件?

David Floyer:主要的挑战本质上是成本,在某种程度上是性能,当你想把它从服务器上弄下来时。这是成本,因为它的数量如此之大,而且一直在增长。在这些巨大的文件中,每年都有额外的2倍或4倍的数据量。因此,主要的挑战是大小问题,并且越来越多地是如何保存元数据。

元数据通常保存在数据对象本身中。对于音频和这些电影的富媒体文件等,您确实想从外部了解元数据里有什么.所以,你想要一个元数据的副本要么保存在非常接近数据本身的地方,要么保存在一个中心位置,这样人们就可以更容易地搜索数据,这样他们就可以找到自己喜欢的片段,或者比较场景的两种不同方式。元数据可以为它添加很多潜在的附加价值。这是一个拥有一个完整系统的主要挑战可以快速找到元数据,找到不同媒体的不同副本,等等。这些系统已经开始投入使用并开始设计,它们将成为新功能令人兴奋的扩展。

什么时候IT组织需要记住什么为富媒体文件设计存储环境

Floyer:数据很重。数据有很大的引力,它不喜欢被扔来扔去。所以,最小化传输的数据量是非常重要的。如果你想通过互联网向每个人单独传输大量的数据,你的网络成本将急剧增加。这就是为什么一些技术,比如缓存非常,非常重质压缩是非常重要的,特别是当你使用的设备,如移动电话或其他技术,不能显示相同的能力。保存数据的方式允许你以多种方式提取数据,适合于显示数据的终端平台,需要将其内置到以不同方式使用它的系统设计中。

您推荐的存储和管理富媒体文件的三个最佳实践是什么?

弗洛伊:了解你的听众。知道你在为谁提供这些信息。是在CBS、ABC还是NBC的媒体室?是终端用户,你和我,想在周五晚上看电影吗?是研究人员想看看电影的翻拍版,看看它们之间的比较吗?终端用户需要什么样的体验?这是第一个最佳实践……你必须为终端用户设计产品,并密切了解它们之间的关系。

第二种最好的做法是,你必须以一种原生格式保存东西,它可以以许多不同的格式查看,并将它们分离出来。用于不同密度媒体的文件类型。人们看待科技的方式将会发生持续的变化,不同技术的丰富性。几年前,谁能想到平板电脑和手机会成为未来观看电影的主要来源?所以,有很多很多不同的消费方式;最重要的是,这些电影的数据量和内容的丰富性将在未来几年继续增长。

第三个是你必须保持一致的成本,而且,您可以在哪里,基于磁带的系统几乎肯定会降低得多。现代[线性磁带文件系统] LTFS的磁带系统将提供比基于磁盘的系统更低的5至10倍。所以,如果这样做是这样做的,你应该尝试这样做,因为这将使它比基于磁盘的系统更具竞争力。

将如何存储富媒体文件对未来的媒体和娱乐业有什么影响?

弗洛耶:这是一个深刻的问题,它将带来非常、非常大的不同。当你观察不同行业发生的颠覆性变化时,你会发现这很有趣。例如,简单的基于文本的系统——非常小,非常快,非常容易通过互联网发送——对印刷业产生了深远的影响。报纸和所有其他印刷行业都必须非常、非常彻底地适应第一次变革。这就是第一次颠覆。

第二个是音乐产业,这又一次被快速传播大量歌曲的能力所改变。这又一次从根本上改变了,从基于光盘的媒体,比如cd,到“买一首歌,买你想要的东西”,用一种完全不同的方式消费和支付它,用一种完全不同的方式。

第三个将是媒体产业,它正在发生。阻碍它的是移动这些非常大的文件所需的时间和资源。随着互联网在它所提供的渠道中变得越来越快,越来越广,这种情况也变得越来越好,越来越快。这将再次产生深远的影响,就像寻找关于电影和所有其他类型的媒体,监控录像或任何其他类型的移动图像的信息的能力一样。所以,人们会希望他们的视频和媒体出现在他们想要的地方,出现在他们想要的设备上。他们会像今天的印刷业和音乐业一样期待这一点。

这是一个提供更多价值和更多额外数据的机会。因此,这两种驱动人们消费富媒体的高功能类型的方式,以及终端用户的驱动,通过满足终端用户决定何时以及如何消费它,这将从根本上改变当前媒体的分布方式。dvd将会成为过去,如果它们还没有成为过去,有线电视频道也将不得不非常、非常彻底地适应这种媒体传播的新方式。

深入挖掘大数据存储

搜索灾难复苏
搜索数据备份
搜索聚合基础设施
关闭
Baidu