本内容是《基本指南》的一部分: 为大数据集中的大文件流选择存储

在当今的大数据环境中流媒体大视频文件

固态硬盘是流媒体大视频文件的好选择。其他需要考虑的因素包括费用和观看视频的频率。

长期以来,数字视频对使用它的组织构成了挑战。这很难存储大量的数字视频收藏,但是当业务要求也需要流媒体大视频文件时,组织该怎么做呢大数据环境

影响…的主要因素大数据流的能力是存储子系统。存储数据的机制必须能够足够快地读取数据促进流.因此,高性能存储必须被认为是必不可少的。

在规划视频存储时需要考虑的一个重要因素是,大数据正在变得越来越大。就在几年前,1080p视频还被认为是一项尖端功能。今天,有一些手机可以录制1080p的视频。

在2013年1月的消费电子展上首次亮相了4K视频,它的分辨率大约是1080p视频的四倍,色彩深度也更高。结果是大量增加视频文件存储要求在容量和I/O速度方面。

组织希望播放大型视频文件,特别是高清视频,在设计存储架构时需要考虑许多因素。其中包括费用,以及所有视频数据是否会以相同的速度访问,或者新视频是否会比旧视频更频繁地观看。

对于需要流媒体视频数据的组织来说,固态硬盘(ssd)是一个很好的选择,因为它们提供了远优于机械硬盘的随机读写性能。但是固态存储是昂贵的。对于存储专业人士来说,ssd每千兆字节的成本远远高于机械硬盘驱动器。相反,ssd的每次I/O操作成本通常比机械驱动器低。

考虑到每千兆字节的高成本和ssd相对较低的容量,需要流视频数据的组织可能会受益于多层存储架构。这种架构允许您最新的视频驻留在固态存储上,在那里它可以轻松地流媒体,而旧的视频可以移动到传统存储上。

为大数据流钻探固态

传统存储能够流媒体视频数据,但由于机械设备比ssd慢,对于那些大量观看者将流媒体视频的环境,它可能不是最佳选择。传统存储对于将老视频流媒体给有限数量的人来说是完全足够的。

如果您决定使用固态存储来传输大型视频文件,则需要考虑最适合手头任务的固态硬盘类型。ssd主要分为两类:使用的企业级ssd单层细胞记忆,以及使用多级单元的消费者级ssd (多层陶瓷)内存。

对于需要流媒体视频数据的组织来说,固态硬盘(ssd)是一个很好的选择,因为它们提供了远优于机械硬盘的随机读写性能。

企业级ssd的价格要高得多,而且提供的总体容量要比消费级ssd低得多。的理由使用企业级ssd他们提供了更好的性能和耐久性。然而,在视频流的情况下,消费级ssd有时可能被证明是一个可行的选择。

企业级ssd的设计寿命至少是消费级ssd的10倍。然而,NAND闪光电池磨损作为写操作的结果。读操作对寿命几乎没有影响。

企业级ssd还提供了更好的整体性能。写性能通常至少是消费级SSD的两倍,但读性能往往只是稍微好一点(尽管一些制造商和型号的SSD比其他的性能更好)。对于线性的、非碎片化的数据尤其如此。

消费类ssd可以容纳比企业级ssd多得多的数据,而且成本更低。当您考虑到需要存储的数据量,以及视频数据只写入一次而不更改的可能性时,您就会明白为什么消费类SSD在某些情况下可能是可行的选择。

对于那些需要SSD性能,但又不能选择MLC驱动器的组织来说,最好的方法可能是使用混合存储阵列,SSD层.这样的设备监控数据访问,并将热数据放在SSD层,而冷数据(或访问频率较低的数据)放在更高容量但较慢的机械存储上。

需要流传输高清视频数据的组织必须仔细考虑他们的存储架构。固态存储是确保良好I/O性能的一个特别好的选择,但它是有代价的。幸运的是,有一些方法可以抑制这些成本,比如使用混合存储阵列或较低级别的ssd。

关于作者
布莱恩·波西(Brien Posey)是微软的一名MVP,拥有20年的IT经验。在成为自由职业技术作家之前,布里恩曾在一家全国性连锁医院和医疗机构担任首席信息官。他还曾担任美国一些最大的保险公司的网络管理员,以及国防部在诺克斯堡的网络管理员。

深入挖掘大数据存储

搜索灾难复苏
搜索数据备份
搜索聚合基础设施
关闭
Baidu