回答6个关键的人工智能数据存储问题

1.规划AI数据存储工作负载时应考虑什么？

为人工智能应用整合存储并非易事。有几个需要考虑的问题细节要做好。咨询师兼科技作家罗伯特·谢尔登列出了8个这样的因素:

• 了解各种工作负载的存储需求。
• 了解您的容量和可扩展性需求。
• 找出您需要保存数据多久以及如何访问它。
• 考虑到您需要的吞吐量和I/O速率。
• 考虑位置-接近计算的数据将最小化等待时间。
• 评估要使用的最佳存储类型—块、文件或对象。
• 使用智能和软件定义的存储来提高性能。
• 确保所有涉及的系统紧密集成。

2.AI数据存储带来了什么挑战？

IT行业资深人士克里斯•埃文斯(Chris Evans)表示，为人工智能应用构建存储存在两个明显的挑战。一方面，在人工智能或机器学习项目开始时，并不总是清楚哪些数据是有用的。因此，需要长期的存档存储，以便在需要支持学习的时候保存和访问数据。

另一个主要的存储挑战在于确保为需要处理的活动数据提供足够的高性能存储。供应商正在将快速存储与人工智能和机器学习功能相结合，以满足这一需求。Evans概述了构建一个平衡人工智能的存储需求工作量。针对AI产品进行了优化的打包存储是该讨论的一部分，因为它们提供了特定级别的性能，所以具有吸引力。

3.对象存储带来了什么挑战？

在纸上，对象存储系统的高节点数存储集群应该是理想的针对人工智能和机器学习应用程序产生的大型非结构化数据工作负载的需求。此外，与大多数对象存储系统一样，大多数AI和机器学习框架通过AmazonS3协议与存储进行通信。然而，在现实中，当涉及到AI数据存储时，其他因素会影响对象存储的有效性。

特别是元数据，它可能会成为一个问题，使专用控制器不堪重负，并对ssd和hdd的性能产生负面影响。作者George Crump进行了调查元数据和其他问题与群集通信、节点间网络和非本机S3且使用NFS的IoT设备所需的协议仿真相关。

4.flash将在人工智能数据存储工作负载中扮演什么角色?

人工智能应用程序对存储容量的要求很高，很容易在TB范围内启动并扩展到数百PB。

为了获得所需的信息，人工智能和机器学习应用程序处理大量数据。这些应用程序通常依赖于计算节点集群，其中至少一些节点使用更昂贵的GPU来提供多达100个CPU的性能。存储基础架构必须确保数据持续提供给这些GPU，以便它们始终处于使用状态。这些系统必须能够存储和处理通常由传感器或物联网设备生成的数百万甚至数十亿数据文件。

因此，AI应用程序具有很高的存储容量需求，可以很容易地在TB范围内启动并扩展到数百PB。Crump研究了AI工作负载对存储介质的要求。由于这些高需求和相对较高的闪存成本，他预计AI存储将减少对闪光的依赖以及更多的内存、硬盘和磁带的组合。

5.NVMe如何帮助满足AI数据存储的需求?

NVMe提供了AI和机器学习应用程序最大化性能所需的大带宽和较低延迟。它自然适合AI平台使用的高性能、可扩展存储和基于GPU的计算，有助于消除I/O瓶颈并提供可扩展性。

它的记者约翰·爱德华兹追踪了NVMe正在取代传统存储在人工智能环境中，以及为什么这在这个性能驱动的世界中是有意义的。

6.存储类内存放在哪里？

作为内存/存储层次结构中的一个新层，存储类内存(SCM)位于ssd和动态RAM (DRAM)之间。这些设备直接连接到服务器内存，并且，像DRAM一样，是字节寻址的。但是，与基于nand的设备一样，SCM设备是持久的，并且支持块级访问。单片机设备通常位于内存和存储之间，可以让应用程序通过系统内存访问大数据集，而不必迫使企业支付高昂的DRAM价格。

人工智能应用是其中之一用例谢尔顿说，新兴的供应链管理技术有意义的地方。SCM设备提供AI工作负载所需的低延迟、高耐久性和最佳性能。