NVMe over fabric将如何改变存储环境

我们是如何走到这一步的

存储网络技术是基于存储硬件的发展和对统一集中存储的需求。我们可以追溯光纤通道的起源到主机上的ESCON，一种基于光纤的连接协议。另一方面，SCSI来自服务器内部硬盘的物理连接。

SCSI最初是一种并行通信协议——任何熟悉将磁盘安装到服务器上的人都会记得带状电缆。它过渡到串行接口的发展情景应用程序．PC对应的是高级主机控制器接口(AHCI)，后来发展成为SATA。您可以在当前的硬盘驱动器和固态硬盘上找到这两种协议。

光纤通道或以太网提供服务器和存储之间的物理连接，SCSI仍然充当高级存储通信协议。然而，业界开发了用于hdd的SCSI，响应时间比系统内存和处理器慢几个数量级。因此，尽管我们可能认为ssd速度很快，但我们看到内部ssd存在严重的性能问题。大多数SATA驱动器仍然基于SATA 3.0规范，接口限制为6gbps和600mbps的吞吐量。SAS硬盘已经启动迁移到SAS 3.0它提供了12gbps的吞吐量，但许多人仍然使用6gbps的连接。

NVMe最大的变化是优化了存储协议。

然而，SAS和SATA的问题都是对单个设备处理并发I/O的能力。看看硬盘驱动器的几何结构，很容易看出处理多个并发I/O请求从困难到不可能。在一些意外情况下，读/写头可能会对多个请求对齐。你可以使用一些缓冲，但这不是一个可伸缩的选项。SAS和SATA都不是设计来处理多个I/O队列的。AHCI有一个深度仅为32个命令的队列。SCSI更好，它提供一个包含128到256条命令的队列，具体取决于实现。

单队列负面影响延迟．随着队列大小的增加，新请求会看到更大的延迟，因为它们必须在其他请求完成之后等待。对于硬盘驱动器来说，这不是什么大问题，但是对于没有移动部件和单个I/O延迟较低的固态媒体，单个队列是一个很大的瓶颈。

进入NVMe

业界对界面问题的回答是NVMe作为SCSI的替代，在设备和网络级别。非易失性内存表达式使用作为PCIe总线，而不是专用的存储总线，以提供更大的带宽和更低的延迟连接到内部连接的磁盘设备。一个作为PCIe 3.0例如，四通道设备每个设备大约有4gbps的带宽。

的NVMe最大的变化已经优化了存储协议。串行I/O访问所需的内部锁数量减少了，而中断处理的效率提高了。此外，NVMe最多支持65,535个队列，每个队列深度为65,535个条目。因此，NVMe没有提供单个队列，而是提供了I/O的大规模并行性连接到已连接的设备。在现代IT环境中，许多工作都是并行完成的——只要想想现代处理器中的内核数量就知道了——我们可以看到存储设备能够处理多个I/O队列的好处，以及这将如何提高外部I/O吞吐量。

由大约90家公司组成的NVM Express工作组于2012年开发了NVMe规范。三星在第二年率先推出了NVMe驱动器。工作小组公布NVMe规范的1.3版本在7月，增加了安全、资源共享和SSD耐久性管理问题的特性。

NVMe /面料

如果NVMe在设备连接方面替代了存储协议，那么不难看出这一点NVMe也可以替代SCSI在iSCSI和fc协议中。这正是发展中所发生的fabrics-based NVMe标准这本书始于2014年，去年出版。

正在开发的传输有两种类型，使用远程直接内存访问(RDMA)的fabric上的NVMe和使用光纤通道(FC-NVMe)的fabric上的NVMe。

RDMA允许在不涉及处理器的情况下在两台计算机的应用程序内存中来回传输数据，从而提供低延迟和快速的数据传输。RDMA实现包括Infiniband、iWARP和基于融合以太网的RDMA，或RoCE(发音为“rocky”)。Mellanox等厂商提供的适配器卡在Infiniband和以太网上的速度可达100gbps，包括NVMe over fabric。

NVMe over Fibre Channel使用当前的光纤通道技术，可以升级为支持SCSI和NVMe存储传输。这意味着客户可以通过简单地使用适当的固件升级交换机来使用他们已有的技术。在主机级别，主机总线适配器(hba)必须支持NVMe——通常是16gbps或32gbps——显然，存储设备也必须支持fabric上的NVMe。

实现NVMe

随着NVMe在数据中心占据主导地位，最明显的选择是在服务器中使用NVMe设备。厂商已经开始将支持nvme的服务器推向市场，提供物理连接器和BIOS支持。

大多数现代操作系统已经支持NVMe，像VMware vSphere这样的hypervisor平台也支持NVMe。VMware的vSAN平台已经支持NVMe设备超过18个月了。

另一种选择是支持NVMe作为存储设备中的后端存储连接。存储供应商已经将SAS作为后端接口，随着时间的推移取代了光纤通道仲裁环和并行SCSI。

实现NVMe将为闪存设备提供快速、低延迟的连接，并根据有效的存储操作系统代码显著改善阵列性能。到目前为止，我们已经看到惠普企业宣布支持3PAR的NVMe，NetApp介绍NVMe在FlashCache和纯粹的存储为flashharray //X平台提供它。

Pure的带有NVMe的flashharray //X声称提供了上一代的一半延迟，但写带宽是上一代的两倍。然而，这些规范不包括基于主机的NVMe over fabric支持，因此仍有潜在的性能提升。

NVMe选项

完全采用NVMe技术意味着实现一个完整的使用NVMe圣， NVMe over Fabrics将提供什么。潜在客户可以使用上述两种实现选项，并有可能将FC-NVMe转换为具有适当基础设施的数据中心可用。今年早些时候，思科宣布其高端MDS 9710光纤通道主管支持FC-NVMe。Brocade已经在其Gen6 32gbps交换机中支持NVMe，包括最近发布的G610。

光纤通道制造商声称，如果客户有合适的光纤通道设备，转到NVMe可以避免更换设备。这对于已经支持32gbps连接的数据中心来说是正确的;然而，大多数服务器可能并不使用32gbps HBA卡。

当支持NVMe的存储阵列出现时，客户可能不必一次性升级到NVMe，因为SCSI和NVMe可以在相同的基础设施上共存。任何硬件的节省都取决于环境。从管理和操作的角度熟悉光纤通道的数据中心和IT部门可能会发现，这种转换比融合以太网更容易，因为更换硬件的费用从未真正开始。

光纤通道的替代方案是在RDMA上使用NVMe，并实现一个新的存储网络，以牺牲可伸缩性来获得更高的性能。一些供应商提供了使用这种方法的产品。启动E8存储已开发NVMe-based存储阵列使用100gb以太网(GbE)融合交换机和RDMA网络接口卡实现高性能SAN。读写IOPS高达1000万IOPS和200万IOPS，读写时延为100 μs(微秒)，写时延为40 μs。

另一家创业公司Excelero也做到了开发了所谓的NVMesh，这是一种基于软件的产品，使用支持nvme的服务器网格来创建分布式计算和存储结构，以实现一系列系统，例如超融合计算环境。该公司与美光公司合作，生产了一个名为SolidScale的平台，基于美光3.2 TB ssd和Mellanox以太网RoCE交换机。

在今年6月的Pure Storage加速大会上，该公司宣布支持NVMe over fabric与思科作为FlashStack参考架构的一部分。这将包括flashharray //X，思科MDS 9700董事和思科UCS，或统一计算系统，32 Gbps hba c系列交换机。Pure还宣布，可以在单个控制器上使用NVMe over fabric进行后端货架连接，从而支持额外的货架。

另一个创业公司,Apeiron数据系统该公司正在开发一种基于40gbe的NVMe阵列架构和外部化超融合设计，使存储和计算能够独立扩展。

前进

我们看到NVMe取代SCSI和SAS成为SSD设备的默认连接。高端部署将在fabric之上使用NVMe，在这种情况下，为了提高应用程序的性能，成本是合理的。

NVMe将在现有的阵列平台上使用，保留快照、复制、压缩和重复数据删除等特性，并采用Excelero和Apeiron等功能不丰富的新平台架构，这将是一件有趣的事情。在过去，这种特性的缺乏阻碍了基于nvme的产品的发展。然而，随着时间的推移，NVMe肯定会取代那些在全闪存时代幸存下来、但不允许固态硬盘发挥其全部潜力的传统架构。