Fotolia

解释计算存储基础

计算存储是一种新兴技术,但了解如何使用计算存储来解决存储延迟和性能问题并不过早。

计算存储都是关于将计算移向存储,减少存储和计算之间必须传输的数据量。如果成功的话,这种新兴的技术将彻底改变传统的存储和处理分离且相距遥远的架构。

这种转变不是在真空中发生的,而是对企业必须管理的海量数据的响应物联网和其他边缘设备,以及AI应用程序。在当今的实时业务环境中,移动这些数据会增加延迟和性能问题,这是很少有人能够承受的。

供应商通过各种方法应对这一数据挑战使计算功能更接近存储系统或并入存储系统.存储网络行业协会最近概述一些方法供应商在早期产品中也在这样做,包括将现场可编程门阵列连接到ssd,将fpga放在RAM中,并在芯片上使用系统。

现在说计算存储技术是否会起飞以及它将采用何种配置还为时过早。尽管如此,Gartner认为潜在的实质性的增长。据该研究公司称,到2024年,超过一半的企业生成数据将在数据中心和云之外创建和处理。相比之下,2020年这一比例为10%。

现在是了解计算存储基础知识的时候了。下面是它可以解决的问题,一些早期用例和早期采用者。

Gartner看到了大幅增长的潜力。到2024年,一半以上的企业生成的数据将在数据中心和云之外创建和处理。

计算存储地址的3个问题

理解计算存储的基本原理的一部分是知道它在哪里可以使用。这项技术有可能解决三个问题当今存储系统面临的问题Dragon Slayer Consulting的总裁马克•斯塔默(Marc Staimer)表示。

  1. 光速延迟。当您缩短计算和正在处理的数据之间的距离时,您可以减少延迟。物联网、远程监控和远程管理设备都将数据与传统基础设施的计算过程相距甚远。Staimer说:“距离问题是一个计算存储可能解决的问题。”。他说:“它使计算、内存和数据密集型流程能够更接近存储的数据。结果是,只有“名义上”数量的已处理数据必须发送到数据中心或云进行进一步处理。”。
  2. CPU性能瓶颈。cpu密集型存储进程的激增——擦除编码、重复数据删除、压缩、快照和加密——已经使处理器成为存储系统的性能瓶颈。计算存储可以卸载这些CPU密集型进程,释放主CPU以获得更好的I/O和吞吐量性能。
  3. 应用程序性能问题。数据库和各种AI应用程序也可能占用大量CPU资源。在这里,计算存储也可以卸载进程,以提高这些应用程序的性能。

计算存储的2个关键用例

许多位于网络边缘的物联网设备必须实时捕获、存储和分析数据。物联网是计算存储的“最大使用案例”斯泰默在另一篇文章中说。他指出,自动驾驶汽车、石油和天然气装置中的钻头振动监测以及闭路电视摄像机等设备可以受益于计算存储近实时和现场分析数据的能力。

另一个重要的查看计算存储基础知识时的用例是将服务器转变为内部向外扩展集群的可能性。在这里,您将计算存储核心用于快照、复制、重复数据消除、压缩和其他CPU密集型工作负载,并将主CPU核心用于应用程序处理。

边缘的箱子

边缘计算通常发生在有限的物理空间中,如自动车辆、监控摄像机和其他物联网设备,这些设备几乎没有存储和计算设备的空间。这些限制限制限制了如何最大限度地提高数据密集型工作负载的性能。

顾问兼作家罗伯特·谢尔顿(Robert Shelton)说,空间并不是边缘地带唯一的问题。预算和I/O端口带宽也削弱了传统的存储和计算基础设施。

计算存储可以解决这些问题计算边缘约束.有了它,存储系统可以对数据进行预处理,因此只有最有用的数据才被发送到内存,从而最小化数据移动,减少计算资源的负载。Shelton说,由于数据移动的减少和并行处理的广泛使用,数据处理速度更快、效率更高。

人工智能和计算存储

迄今为止,人工智能应用程序依赖内存数据库和大量准备工作来使用生成的所有数据。运行实时分析在大型数据集上,需要低延迟的扩展存储。在这里,计算存储也是一个可能的参与者。

IBM研究员、首席技术官、IBM Flash storage首席架构师安迪·沃尔斯(Andy Walls)表示,对于人工智能来说,计算存储可以做前期分析,帮助确定需要哪些数据,或者至少做初步排序,减少需要移动的数据量。他说:“至少可以改进标记数据的软件,帮助缩短准备时间。”

谁是早期采用者?

IT专业人员还处于计算存储基础知识的早期阶段如何使用这项技术在他们的基础架构中,以及哪些用例可能受益。Gartner的研究副总裁Julia Palmer表示,这将需要一个广泛的生态系统,包括“杀手级应用”和来自多家计算存储供应商的软件定义存储,才能“与主流应用相关”。

NGD Newport U.2 SSD
NGD系统的Newport计算存储SSD

451 Research的高级分析师Tim Stammers表示,他预计只有那些存在重大问题的技术性组织,如Hyperscaler或Hyperscaler的下一层,才会转向计算存储。

在该市场的供应商中,NGD Systems Inc.最近推出了一款基于16 TB NVMe的SSD,配备了可用于计算存储的多核处理技术。NGD合作伙伴微软研究院(Microsoft Research)正在进行概念验证,以证明计算存储SSD在搜索大型图像文件和其他应用程序时的潜在好处。

下一个步骤

计算存储的年度更新

会话A-10:使计算存储在应用程序中工作的关键

深入挖掘物联网数据存储

搜索灾难恢复
搜索数据备份
搜索聚合基础设施
关闭
Baidu