英特尔Optane持久存储器:从视觉到现实

下载演示:看看英特尔的新内存技术

00:02高山Ilkbahar:大家下午好。实际上，我很高兴今天能和你们在一起，非常感谢你们抽出时间来参加这次演讲。在我们开始之前，最重要的是，我希望你们，你们的家人和你们的队友都很好，都很安全。再一次，感谢你来到这里。

大约一年前，我有幸在本次会议上作了一次演讲，那是在我们推出第一代Intel Optane持久性内存产品之后。所以，我想今年我会回来给大家介绍一下我们在过去一年中取得的进展，以及我们在这项新技术方面的进展。好了，我们开始吧。

00:50 AI:我们在数据中心看到的一个主要趋势是对处理能力的需求永不满足的指数级增长。我们生活在一个数据驱动、以数据为中心的世界，大量的数据创造，以及从这些数据中处理和提取见解和价值的愿望，确实推动了对越来越多的处理能力的需求。

我用来衡量处理能力的单位是CPU核心。通过这些，我将试着向你们展示在不同的产品中，随着时间的推移，CPU核心计数是如何在我们的Xeon处理器上，英特尔CPU核数增加了．

现在，这种指数级的增长正在发生，尽管摩尔定律正在变慢，晶体管的比例也在变慢，但通过建筑创新，比如封装上的小芯片的分解集成并通过集成来制造越来越大的cpu，这延续了Moore多年前开始的扩展路径。

02:05 AI:然而，DRAM就不是这样了。直到90年代中期，DRAM技术的扩展一直遵循最初的摩尔定律。它们的密度每三年增加4倍。在21世纪的头十年里，这个比例下降到每两年2倍的密度，在过去的十年里，它一直在以每四年2倍密度的速度增长。

这只是密度缩放，每比特成本缩放实际上运行得比这还要慢。我们看到，每年每比特成本的增长率可能为10%-12%。因此，当你观察一台平衡的计算机时，内存带宽和内存容量需要与计算能力成比例地扩展。这是阿姆达尔定律。

03:02 AI:所以我所做的是我带的核心增长显示左边的幻灯片,幻灯片的左侧,并将之运用于一条曲线,这就是这个黄色曲线显示核心的内存需要相应的规模增长,我们看到。针对这种需求，这种内存需求，我在这里用蓝色曲线画出了DRAM技术的扩展能力。

因此，正如你所看到的，我们看到对内存的需求和技术的能力之间的差距呈指数级增长。当您的差距越来越大时，它确实为我们的服务器平台造成了严重的瓶颈。事实上，我们将这一差距视为数据中心未来的主要瓶颈和问题之一。我们的许多客户都持有相同的观点。那么，让我们来看看我们正在做什么。

04:18 AI:我们刚刚谈到的内存瓶颈的内存容量和成本,以及存储系统中的瓶颈,许多观众是你的工作,都将是主要瓶颈在我们的系统中,我们在英特尔,有远见的解决这些瓶颈通过重新建构存储器层次结构。我们设想内存和存储都采用两层架构。在内存方面，我们看到了一个性能层的实现，一个使用DRAM的薄性能层和一个使用Optane持久的记忆连接到DDR总线，通过硬件上的加载和存储指令来访问，其速度接近DRAM，但明显比DRAM便宜。

在存储方面，我们还设想了一个两层体系结构，但在本例中，Optane持久内存被用作性能层。它是非易失性的，而且速度超级快，它允许我们实现性能指标，而我们的传统存储元素，如ssd，将会非常慢，但更经济有效地实现容量层。

因此，这个整体架构就是我们设想的解决数据中心中这些主要瓶颈的方式。这些信息，我们到目前为止所讨论的，或多或少是对持久记忆和我们对此的看法的回顾。希望你们中的很多人已经知道这个了，但是我想我还是复习一下好让你们知道我们讨论这个的背景。

06:09 AI:接下来，我想谈谈我们去年是如何度过的，自从产品发布以来，我们在持久内存方面做了些什么。当你向市场推出一个全新的产品类别时，你必须做的最重要的事情之一是，确保你已经围绕该产品建立了一个强大的生态系统。我们英特尔真的为围绕英特尔Optane持久内存不断增长和充满活力的生态系统感到自豪。

在这个生态系统的基础上，我们拥有我们的硬件合作伙伴、oem和系统集成商。在这里你将看到几乎所有主要的oem和系统集成商的标志，他们已经设计、合格并可用于销售平台，服务器平台与英特尔Optane持久内存。现在你可以从他们那里购买一个支持Intel Optane持久内存的系统。

07:09 AI:生态系统的下一层是云服务提供商和通信服务提供商。我们的这些合作伙伴，要么使用持久内存作为他们提供给客户的某些服务的一部分，要么直接使用英特尔持久内存，你现在就可以去买。你可以想象，这是一个竞争非常激烈的领域，这个领域的许多公司都将他们围绕持久内存的创新视为一种竞争优势，并选择对此保持沉默。因此，在本例中，我们只使用我们有权限的名称。

在生态系统的顶层，你看到的是软件供应商，这些是ISV以及我们在某些情况下已经合作多年的软件供应商。他们要么对他们现有的关于持久内存的软件进行了限定，要么在很多情况下，完全创建了新的软件，完全创新的关于持久内存的软件，优化他们现有的关于持久内存的软件支持我们正在进行的革命。我真的需要快速分钟,感谢我们所有的合作伙伴,我们的客户,和你今天的观众中那些造成了这个生态系统通过你的努力,通过你的美妙的想法和创新,为这一领域的成熟与神奇的增长和创新。非常感谢你们所有人的贡献。

08:52 AI:接下来，我想谈谈我们的客户。我们在市场上已经有一年了。我们在市场上做得怎么样?我很高兴地告诉大家，在过去的一年里，目前大约有200家《财富》500强企业，直接部署了Optane持久内存，或者处于POCs阶段。我们非常幸运地看到POC，或概念测试的证明，销售转换或部署转换超过85%。这是一个非常惊人的数字。一般的新产品不会有这样的数据。到目前为止，这些POC转换，实际上导致了270多个生产会议。我们对在市场上看到的这种势头感到非常高兴。

09:57 AI:当您观察我们的客户并谈论“我们的客户如何使用？我们的客户从持久性内存中看到了哪些好处？”时，我们通常会看到三类部署。

在一个类别中，我们称之为TCO节约，我们看到客户通常使用需要大量内存的应用程序和工作负载。通过使用持久性内存替换系统中的DRAM而不损失性能，这些客户能够降低总体系统成本，并在此过程中节省大量TCO。因此，当您看到30%到40%的总体系统总体拥有成本节约时，这无疑是我们在这一领域所看到的令人印象深刻的数字。

第二个领域，客户用例的第二类，是关于增加吞吐量的。在这种情况下，我们通常看到的是工作负载，否则会出现内存瓶颈，内存受限。通过使用持久内存和显著增加系统中的内存容量，我们消除了这些内存瓶颈，释放了服务器的处理能力。当你看到这些数字时，比如完成的工作量的提高，他们正在运行的工作数量——2、3、4,X——这类数字在这种环境中并不罕见。

11:20人工智能：最后，第三类，更快的洞察时间。我们的客户通常是那些使用我们内存持久特性的人。通过消除某些存储瓶颈或使用独特的特性，如瞬时恢复或快速启动类型的特性，为我们提供更好的正常运行时间、更好的可用性和更高的生产率。考虑到持久内存作为存储设备的不可思议的特性，在这一领域看到诸如或删除管理器或更高级别的改进确实并不罕见。

对我们来说，今年最大的新闻之一是推出了我们的第二代持久内存，持久内存200系列。对于这个新产品，我们设计了一个全新的媒体控制。这个媒体控制器不仅让我们的性能比第一代提高了约25%，而且还允许我们将Optane附加到下一代DDR4总线，更高速度的总线。今年早些时候，我们将该产品与第三代Xeon可扩展处理器一起推出，但在今年晚些时候推出时，它还将支持即将到来的ASIC处理器。

46 AI:因此，为了向您展示200系列的性能，我将依赖于此图。我将把它与其他一些设备进行比较。第一个绿色的是使用Intel 3D NAND的NVMe SSD，黄色曲线是我们的Optane SSD和其他NVMe设备。这里有两个Optane持久记忆，我们的第一代，蓝线和第二代，橙色线中的200系列。我喜欢这种图形，它实际上显示了y轴上的读取延迟是运行带宽的函数，设备上运行的流量。因此，这很好地体现了现实生活中压力测试的运行方式，以及设备在现实工作流程下的性能。您确实希望看到一些流量，然后是设备运行流量时的性能。

42 AI:那么，让我们先看看与SSD相比的延迟。大约每秒1g的流量，一个适度的流量，你会看到Optane持久内存实际上提供了比NAND SSD低1000倍的延迟。这两种设备之间有显著的不同。当你看带宽，我们高达3.8倍的带宽比NAND SSD。一代又一代，在这条蓝色曲线和这条橙色曲线之间，你会看到我们的性能有大约25%的提高，这就是新的第二代产品提供给我们的。这些都是非常棒的结果，我们将讨论如何将这些性能数据转化为我们已经讨论过的架构来解决数据中心的一些内存和存储瓶颈。

48 AI:每当我谈到Optane持久内存时，首先要描述的工作负载之一就是SAP HANA。SAP HANA是一个内存数据库它使用了大量的内存，SAP对Optane持久内存进行了完美的优化。因此，我们采取了200系列产品，并在我们的IT部门测试其性能运行SAP，两种不同的配置。在第一个版本中，我们实际上能够将系统中的内存大小增加2倍，但与DRM系统相比，仍然实现了类似的成本，同时将数据库重启时间提高了6倍，这是非常显著的改进。

同时，我们还有第二个设置，其中一个非常大的数据库实际上是在多个服务器上实现的。因此，通过增加每台服务器中的内存内容，我们能够将服务器总数减少50%，同时仍然提供相同的数据容量，并且不会造成任何性能损失，从而使硬件成本降低52%。

因此，对于SAP HANA用户来说，这些数字是非常引人注目的，非常简单的改进以及重启时间的改进，减少了停机时间，增加了系统的可用性和可靠性，因此，对于这个产品来说，这是非常引人注目的用例、改进和有效的建议。

十六23 AI:接下来，我想谈谈英特尔的一项全新创新，将英特尔持久内存与我们称之为DAOS的软件创新相结合，DAOS代表分布式异步对象存储。这是一个软件栈，是我们与高性能计算客户一起开发的。我们的HPC客户在他们的存储解决方案中发现了瓶颈，想要重新构建他们的存储子系统来解决这个问题。他们看到的是什么样的实时、真实的问题?

AI 16:57：这里有几个来自高性能计算领域的例子。第一个是HPC模拟。我们在这些环境中遇到的一个问题是最终当你使用存储时，你使用的是基于块的设备或者访问是块设备，你需要把你创建的数据序列化成块，然后把它们写进你的设备，当你读回它们时，做同样的事情。

所以，当你这样做的时候，你会在你的软件中创建开销在做序列化和反序列化。更糟糕的是，这在人工智能和分析的案例中被放大得更厉害，在这种情况下，我们看到的是新型的数据结构，它们的规模小得多，更非结构化的小数据块分布在不同的块上。

17:54人工智能：这种架构的问题是，当您有一个HPC环境，有大量的用户，大量的IOPS运行在多个进程上。很有可能其中一个进程访问该块以获取数据，当该块被访问时，整个块被锁定，不能被其他进程访问。所以，如果另一个进程想从同一个块中获取数据，他们只能坐着等待。就像我说的，当你的设备上运行着无数的IOPS时，这些冲突会频繁地发生，并开始真正地降低你的整体性能。那么我们是如何解决这个问题的呢?

18:44人工智能：DAOS将Intel Optane持久化内存与传统持久化内存相结合块存储设备．并且，通过将正确的数据类型放置在正确的存储设备上，它解决了我们前面讨论的一些问题。字节寻址、超快的Intel Optane持久内存接收需要低延迟和频繁轴(如元数据、索引、低延迟I/ o)的小数据结构——它们都进入持久内存。你购买的数据已经正确地对齐到块上，自然地对齐到块上，最终会进入你的存储设备，比如基于nand的ssd，甚至是基于optane的ssd。

因此，通过在正确的设备上放置正确的数据类型，我们已经讨论过了，一些添加软件的序列化就被消除了。我们讨论的锁，因为在同一个块上的多个进程冲突被消除了。因此，由于这些改进，我们看到DAOS的存储性能得到了显著提升。

对我们来说，另一个重要的考虑是确保开发人员可以轻松地使用DAOS，这样他们就不必重写代码。因此，为了确保这一点，我们确保DAOS实现了流行的API，开发人员可以简单地选择他们在软件中使用的API，并通过现有的软件接口插入到DAOS中。因此，我们在DAOS上看到了一些令人难以置信的结果，在下一张幻灯片上，我将与你们分享其中的一些结果。

20:26人工智能：所以，这是我一直在谈论的伟大的结果。我们用DAOS打破了世界纪录。IO500列表是人们在全球收集和报告的高性能计算存储基准结果列表。而我们，用英特尔DAOS，排在最前面的．我们只使用了15%的节点，却获得了大约2倍的分数。

在一个更平等的竞争环境中，节点的数量在所有不同的解决方案中保持不变，这被称为10节点挑战，第1、2和3个得分都是基于Intel dao和基于持久内存的。英特尔在我们合作伙伴的德州高级计算中心排名第一，而阿尔贡国家实验室排名第二和第三，远远超过了今天的任何其他公司。因此，我们对DAOS的这种性能感到非常兴奋。它是您可以使用的一个开源软件堆栈。我希望您有机会去看看，看看其中的概念，以及我们是如何用DAOS和持久内存实现这些惊人的结果的。

21:50 AI:每当我谈论持久内存和存储，我必须谈论Exadata, Oracle Exadata。这是多年合作的结晶，是我们与甲骨文公司非常密切的合作，我为这种关系、合作伙伴关系以及我们从中获得的成果感到非常自豪。通过拥抱持久内存架构概念，并将其真正体现在一个完美的结果中，Exadata的工程师能够结合RDMA技术，这是在融合以太网之上的，并将持久内存作为热层放在他们的存储服务中，正是我们所讨论的两层。与上一代Exadata设备相比，他们的IOPS提高了2.5 g，达到了1600万IOPS。它们的延迟是上一代的10倍，每次数据库读取不到19微秒，这是非常显著的。有了巨大的市场反响和成功，Oracle最近宣布他们现在要做Exadata X8M在其云产品上可用．而且，从我所看到的数据来看，这是甲骨文的一个主要竞争优势或者说他们现在的竞争对手。所以，真的要感谢甲骨文所做的惊人的增长。

23:26 AI:我们谈到了Oracle在其解决方案中使用RDMA作为关键成分，当RDMA与持久内存和存储应用程序结合在一起时，它确实非常了不起。具体来说，复制实际上是存储子系统的一个关键特性，而且在许多情况下，特别是在事务性进程中，它是存储系统性能的瓶颈。在左边的图中，我展示了通过TCP IP协议或RDMA复制NVMe SSD与通过RDMA复制到Intel持久内存的性能数字和延迟数字。您可以看到，延迟方面的改进在数量级上更大，超过了10倍，在持久化内存方面更好。你可以在右边看到，改进的分解。

24:24 AI:不仅媒体速度显著加快，而且我们完全消除了在没有RDMA协议和内存基础设施的情况下移动数据所带来的软件开销，这实际上节省了很多。我们已经讨论过这个问题，直到最近，实现更专有的RDMA实现一直是专门从事这方面工作的专家的领域。所以，我们认为我们需要让这个奇妙的技术大众化。我们最近在我们的开发工具包PMDK (Persistent Memory developer kit)中提供了一套名为librpma的新库，我们相信，它将大大简化RDMA在解决方案中的集成和使用。因此，我们对此感到非常兴奋，也非常期待听到你们的反馈，你们的问题，关于你们将如何在解决方案中使用RDMA和持久内存的建议。

25:37 AI:在结束我的演讲之前，我想提醒您一些关于持久内存的可用资源。对于大多数人来说，我们的书关于编程持久内存的书. 如果我们能亲自做这件事，我会很高兴给你们每人一本这本书的硬拷贝，但不用担心。我们仍然可以在我们的网站上免费下载。以及有关持久性内存产品和解决方案的数据和更详细的实施细节，以及我们的客户如何围绕持久性内存进行创新，如何使用、部署和利用这一非凡的技术。因此，如果您能访问我们的网站和这些网站了解更多信息，我将不胜感激。

26:29 AI:最后，我要非常感谢你们每一个人，感谢你们在过去的30分钟里关注我。一如既往，我们英特尔全体员工都期待着与你们每一个人合作，共同推进持久的内存革命。非常感谢大家，保重。