新型忆阻器芯片：更适合机器学习和大数据！

导读

最近，美国密西根大学的研究人员开发出一种新型忆阻器芯片，它能够突破传统计算机体系结构所遭遇的瓶颈，更加适用于人工智能的机器学习系统，更好应对复杂的大数据问题，且功耗更低、速度更快。

关键字

冯·诺依曼体系结构、忆阻器、机器学习、大数据、人工智能、芯片

背景

今天的创新技术介绍，还是从著名的“冯·诺依曼体系结构”开始。冯.诺依曼体系结构在计算机技术中有着十分重要的地位，现代大多数的计算机都是按照这个体系结构进行设计的。

那么，什么是冯·诺依曼体系结构呢？

顾名思义，这种计算机体系结构是由美籍匈牙利科学家冯·诺依曼（John von Neumann）于1946年提出。一句话来说：

它是一种将“程序”和“数据”放在同一存储器中的体系架构。

冯·诺依曼提出了“存储程序”的原理，将程序指令也看作成一种“数据”，和普通数据一样，存放于同一存储器中。

接下来，我们通过一张示意图，更好地了解一下冯·诺依曼体系结构的架构：

（图片来源于：维基百科）

传统的计算机教科书都会说明，冯·诺伊曼结构的计算机分五部分：输入设备、输出设备、存储器、运算器和控制器，其中控制器和运算器统称为中央处理器即CPU。

存储器（内存）用于存储程序指令和数据，CPU则用于执行指令和处理相关数据。几乎所有的冯·诺依曼型计算机CPU，工作都可分为五个阶段：取指令、指令译码、执行指令、访存取数和结果写回。然而，其中不少的工作需要和内存进行交互，所以对于这个架构，我们需要特别注意：

CPU和内存是分离的。

然而正是由于这样，才导致了所谓的“冯·诺依曼瓶颈”：

CPU与内存之间的吞吐量（即数据传输率），相比于内存的数据容量，显得相当小。数据吞吐量也远远低于CPU处理数据的工作效率。

例如，当CPU对于大量的数据，只需要进行简单的指令处理时，这种数据传输率就会严重影响处理速度，照成数据的传输和处理之间，在速度上的不匹配，也就是说CPU必须停下来，等待内存中的数据传输过来。

随着计算机技术的进步，CPU的处理速度在不断提高，内存的容量也在不断扩大，但是内存访问速度的增长却缓慢，这样导致瓶颈日趋严重。

如今，我们已经进入“大数据”的时代，人工智能的机器学习技术正迅速发展。但是，由于传统的计算机硬件体系结构所存在的瓶颈，CPU和存储器之间进行数据通信时，会出现低速度和高能耗的情况。同时，这样也会带来传统计算机成本和体积进一步增加。

针对这一瓶颈，业界也有一些解决方案，例如：存储器时钟频率、增加总线宽度和缓存Cache等技术。笔者曾在《新型缓存技术：将计算机应用程序运行速度提高9%》一文中介绍过缓存相关的创新技术。

但是，它们都是在缓解问题，并不能从根本上解决问题。

创新

最近，美国密西根大学的研究人员进行相关的创新探索，他们受到了哺乳动物视觉系统的启发，开发出了一种新型的计算机电路，即忆阻器。它可以更好应对复杂的大数据问题，例如：大量的图片和视频，并且功耗更低、速度更快。

忆阻器，不仅可以用于存储数据，还可以实现逻辑计算。所以，它可以有效解决CPU和内存之间速度不匹配的问题，也就是所谓的“冯·诺依曼瓶颈”和“内存墙”的问题，进一步突破带宽和功耗所带来的限制。

密西根大学电气工程和计算机科学专业的教授卢伟（音译），是这项研究的领导作者，相关研究论文最近发表于《自然纳米技术》杂志上。

（图片来源于：密西根大学）

技术

接下来，我将从技术角度，带大家深入观察一下这项创新技术。简单说，科研人员要打造的是一种用于下一代计算机的组件，他们想要利用模式识别的方法，进一步解决传统计算机在处理大量图片时所面临的速度和能耗问题。

他们提出了一种能够快速有效地分析和重建图像的新方案，核心技术可以从两方面讲：硬件方面，采用的是“32×32忆阻器阵列”；软件方面，采用的是“稀疏编码”算法。下面，我们分别介绍一下这两项核心技术。

忆阻器

忆阻器，相信大家并不会陌生，笔者曾在《苏州大学科学家利用二维材料制成阻变式存储器！》、《新型纳米级忆阻器诞生：可实时处理神经活动数据》、《新型纳米级忆阻器诞生：可实时处理神经活动数据》这几篇文章中为大家介绍过。让我们再回顾一下：

忆阻器，英文名 “Memristor” ，这个概念最早由任教于美国柏克莱大学的华裔科学家蔡少棠于1971年提出。他推断在电阻、电容和电感器之外，应该还有一种电气组件，可以代表着电荷与磁通量之间的关系。

忆阻器，是一种有记忆功能的非线性电阻，它的电阻会随着流过的电流而改变。在断电之后，即使电流停止了，电阻值仍然会保持下去，直到反向电流通过，它才会返回原状。所以，通过控制电流变化可以改变它的阻值，然后例如将高阻值定义为“1”，低阻值定义为“0”，就可以实现数据存储功能。人们通常将它用于构建高密度非易失性的阻变存储器(RRAM)。

2010年，惠普实验室再次宣布，忆阻器具有布尔逻辑运算功能，这对于计算机学界来说，是一个大新闻。它意味着：计算和存储两大功能可在忆阻器上合为一体。然而，传统的冯·诺依曼体系结构是将逻辑计算和数据存储分开，用处理器和存储器分别来实现。所以，相对传统计算机，忆阻器将更为高效。

忆阻器网络，与生物大脑的神经网络相似，可以同时处理许多任务。最重要的是，它无需反复移动数据。它可以并行地处理大量信号，特别适合于机器学习系统。对于实现深度神经网络而言，忆阻器相对于传统计算机系统结构，是一个更好的选择。深度神经网络，是机器学习研究中的一个新领域，它旨在建立一个模拟人脑进行分析学习的神经网络，模仿人脑机制来解释图像，声音和文本等数据。

稀疏编码

要了解稀疏编码这个概念，我们还是从人眼视觉感知机制说起。人眼视觉系统是一种高效的图像处理系统，从视网膜到大脑皮层存在一系列细胞，会以“感受野”的模式进行描述。感受野，是处理视觉系统信息的基本结构和功能单元。但是，单个神经元只对某一频段的信息呈现较强的反映，如特定方向的边缘、线段、条纹等图像特征。所以，它的感受野具有局部性、方向性和带通特性。

那么，神经元是如何对于这些刺激进行表达的呢？

答案是，它则采用了稀疏编码(Sparse Coding)原则，将图像在边缘、端点、条纹等方面的特性，以稀疏编码的形式进行描述。从数学的角度来说，稀疏编码是一种多维数据描述方法，具有存储能力大、联想记忆能力、计算简便、处理速度快等优势。

对此，我们看看卢伟（音译）教授的解释：

“当我们看到一个椅子，我们会能够识别它，是因为它的特征和我们存储在大脑中的椅子图片相似。尽管并不是所有的椅子都一样，而且有些和大脑中作为标准的原型不一致，但是每个椅子都保留了一些可以很容易被识别的关键特征。基本上，物体在被正确地分类（以恰当的分类“存储”在我们大脑中）的时候，它就能被正确识别。”

同样地，卢教授设计的系统也能够十分高效地检测图案，而且可利用尽可能少的特征，来描述原始输入。卢教授说，在我们大脑中，不同神经元用于识别不同的图案。

“当我们看到一幅图片，用于识别它的神经元将变得更加活跃。这些神经元也将互相竞争，进而自然地创建一个有效的代表。我们将这种策略实现到我们的电子系统中。”

价值

（图片来源于：密西根大学）

研究人员训练他们的系统可以学习图片“字典”，通过在一些列灰度图像模式的基础上进行训练，忆阻器网络能够重建一些著名的图画和照片，以及其他的测试图案。

这个系统有望集成进传感器和摄像头等小型设备中，用于实时处理和分析视频和图像。快速高效地处理大量图像，特别是对于无人驾驶汽车来说，具有十分重要的意义。

另外，由忆阻器构建深度神经网络，打造人工智能系统，将在图像、语音、自然语言处理等方面具有广阔的前景。这项研究再次让我们感受到了忆阻器在人工智能和下一代计算机等方面的巨大价值。

参考资料

【1】http://ns.umich.edu/new/releases/24856-next-gen-computing-memristor-chips-that-see-patterns-over-pixels

【2】Patrick M. Sheridan, Fuxi Cai, Chao Du, Wen Ma, Zhengya Zhang, Wei D. Lu. Sparse coding with memristor networks. Nature Nanotechnology, 2017; DOI: 10.1038/nnano.2017.83

【3】https://en.wikipedia.org/wiki/Von_Neumann_architecture