为大数据集中的大文件流选择存储

最后更新:2014年2月

编者按

对于各行各业的组织来说,存储数百兆兆甚至拍字节的数据已不再罕见,但由停滞不前的归档文件组成的大数据集与包含关键业务的大数据之间存在巨大差异流媒体文件.这些通常被称为大数据处于静止状态,大数据在运动。

在决定应该使用哪种类型的存储空间来存放大数据集时,重要的是要考虑文件将如何使用。虽然对象存储和扩展网络连接存储(NAS)是大数据环境中最流行的两种存储选择,但依赖动态数据的媒体和娱乐公司不应忽视包括更高性能的存储,如固态硬盘(ssd)。

SearchStorage构建了这个指南,以帮助存储专业人员工艺容纳大数据集的架构包含大型流文件。通过本指南提供的链接,了解您在使用大数据时可能遇到的存储挑战,以及如何解决这些挑战,以及最好的解决方法执行分析.您将顺利地为移动中的大数据构建最佳架构。

1探索大数据存储选项

对于许多大数据平台来说,显而易见的存储选择包括扩展NAS(因为它拥有的容量)和对象存储(可以帮助解决大数据集的非结构化特性)。但在流媒体文件时,考虑高性能存储也是一个好主意,比如ssd。下面的故事和播客包括存储系统应该为大数据提供什么,以及特定类型的存储在大数据环境中何时最有效的例子。

2选择存储来适应大数据分析

分析是大数据最重要的部分之一,但它可能会导致性能滞后。此外,所使用的存储类型也会影响分析效率。为了使大数据分析更有效,存储技术(如内存数据网格)和Hadoop的进步也在不断发展。查看下面的链接,了解更多关于存储类型如何影响分析,以及哪些工具可以帮助您从大数据集的内容中获得最深刻的见解。

搜索灾难复苏
搜索数据备份
搜索聚合基础设施
关闭
Baidu