图片 9

麻省理工学院的研究人员开发出了应用于光学神经网络的光子加速器,新型光学神经网络

图片 1

近日,在《物理评论X》的一篇论文中,麻省理工学院的研究人员描述了一种新的光子加速器,使用光学元件以及光信号处理技术,减少芯片的面积,这将会让芯片能够扩展到比电气芯片大几个数量级的神经网络。

背景

根据最新的消息称,目前美国麻省理工学院的研究人员开发出一种新型”光子”芯片,它使用光而不是电,并且在此过程中消耗相对较少的功率。该芯片可用于处理大规模神经网络的效率比现有的计算机高出数百万倍。可以说绝对是一款可以跨时代的产品。

图片 2

神经网络,是广泛应用于诸如机器人目标识别、自然语言处理、药物开发、医疗成像以及为无人驾驶汽车供电等任务的机器学习模型。

而众所周知,如今正是人工智能
机器学习发展的重要时期。而神经网络同样也是机器学习的模型。他可以广泛的应用于机器人对象识别,自然语言处理,药物开发等等。使用光学现象加速计算的新型光学神经网络可以比其电子芯片更快更有效地运行。

​新型光子芯片将用光代替电,能着重处理神经网络方面的任务,效率比现有的计算机高出数百万倍,而且新的光子芯片设计大大减少了用光计算所需的能量。

图片 3

图片 4

神经网络简单来说就是机器学习模型,现在已经广泛用于机器识别,自然语言处理,无人驾驶等任务,而使用光学加速计算的新型光学神经网络能比常规的电子芯片有更高的运行性能。传统和光学神经网络越来越复杂,传统芯片消耗了大量的能量,正是因为这样,谷歌,IBM和特斯拉等公司开发了AI加速器专用芯片,以解决耗能高的问题,同时培训和测试神经网络的速度和效率。

汽车上的神经网络芯片可预知汽车撞人的风险(图片来源:韩国科学技术院)

对此有网友评论称,如今中国很多企业连电气芯片都没有呢,这下子连光子芯片都出现了。看样子中国还有好长时间的路要走啊。对于电气芯片,包括大多数AI加速器,存在理论上的能耗最小限制。麻省理工学院的研究人员开发出了应用于光学神经网络的光子加速器。这种芯片更有效地执行数量级,但它们依赖于一些庞大的光学组件,这些组件限制了它们在相对较小的神经网络中的使用。

图片 5

新型光学神经网络,采用光学现象来加速运算,比电子神经网络更快速、更高效。

图片 6

​像普通的电气芯片包括大多数AI加速器都存在理论上的能耗最小限制,但是光子加速器的出现,能让芯片更有效地执行数量级,但它们依赖于一些庞大的光学组件,而这些组件也限制了其使用对象的大小。另外,在试验的模拟中,研究人员发现光子加速器可以以低于焦耳的效率运行。

图片 7

对此有网友回应称:其实尽管现如今我国和美国的科技实力差距还有非常的大,但是不可否认的是我国的从创新能力已经逐渐在赶超美国的路上,相信在不久的将来我国就能够凭借实力赶超美国了。对此大家认为呢?

新型的光子芯片的出现,将会更加有效的改变行业发展现状,能将现在的处理级别再上升一个档次,在提升性能的情况还能减少能耗。光子芯片将会在神经网络的应用上再获突破,光子芯片所依赖的组件迫使它不能放在更精密的芯片中,而是向外扩展,比如机器的人工智能以及无人驾驶等,需要更大的应用场景。

光子神经形态处理器(图片来源:Johannes Feldmann)

图片 8

但是,随着传统神经网络和光学神经网络变得越来越复杂,它们会消耗大量电力。为了解决这个问题,研究人员与主要的科技公司例如谷歌、IBM、特斯拉都开发出了“人工智能加速器”,这种专用芯片可以提升训练和测试神经网络的速度以及效率。

​芯片行业已经成为了全球关注的要点,虽然国内的芯片行业发展已经有了很大的进步,像华为中兴以及一些国产的龙芯等,但是在技术上也还是基于之前的电子芯片,而美国在这个贸易摩擦的节骨眼上放出新型的“光子”芯片,是不是真的在技术上已经成熟了呢?

创新

对于电子芯片(包括大多数的人工智能加速器)来说,能耗都存在着一个理论上的最小值。近日,美国麻省理工学院的研究人员开始为光学神经网络开发光子加速器。这些芯片的运行效率提高了几个数量级,但是它们却依赖于一些体积庞大的光学元器件,这些元器件限制了这些芯片在相对较小的神经网络中的应用。

在一篇发表于《Physical Review
X》期刊上的论文中,麻省理工学院的研究人员描述了一种新型光子加速器,它采用更加紧凑的光学元件和光学信号处理技术,显着地降低了能耗和芯片面积。这项技术使得芯片可以扩展应用到比电子神经网络大几个数量级的光学神经网络上。

图片 9

(图片来源:麻省理工学院)

神经网络在“MNIST图像分类数据集”上的仿真训练表明,加速器理论上处理神经网络的所需的能耗,不足传统电子加速器能耗极限的千万分之一,并且大约为光子加速器能耗极限的千分之一。研究人员们正在开发原型芯片,以通过实验证明这些结果。

技术

神经网络通过包含互连节点的许多计算层来处理数据,以查找数据中的模式。神经元从它们上游的邻居中接收输入,并计算出输出信号,该信号被进一步发送至下游的神经元。每个输入也赋予了“权值”,这个值基于它相对于所有其他输入的重要性。随着数据通过层“更深”地传播,这个网络逐步地学习更复杂的信息。最终,输出层基于整个层的计算生成预测。

所有的人工智能加速器都旨在减少在神经网络中特定的线性代数步骤中处理和移动数据所需的能量。在那里,神经元与权值都被编码成独立的行与列,然后再组合起来以计算输出。

在传统的光子加速器中,编码有关于层中每个神经元信息的脉冲激光,流入波导并通过分束器。生成的光学信号被馈送到方形光学元件(称为“Mach-Zehnder”干涉仪)网格中,它被编程以执行矩阵乘法。用每个权值信息编码的干涉仪,采用信号干扰技术,来处理光学信号和权值,以计算出每个神经元的输出。但是,这里存在着规模的问题:每个神经元都必须有一个波导,每个权值都必须有一个干涉仪。因为权值的数量是神经元数量的平方,所以那些干涉仪会占据很大的空间。

电子研究实验室的博士后瑞安·哈默利(Ryan
Hamerly)表示:“你迅速地意识到,输入神经元的数量永远不能大于100左右,因为你无法在芯片上安放那么那么多的元件。如果你的光子加速器每层可以处理的神经元不超过100个,那么将很难在那个架构中实现大型神经网络。”

研究人员的芯片依赖于更加紧凑、节能的“光电”方案,该方案通过光信号编码数据,但是使用“平衡零差检测”来进行矩阵乘法。这种技术可以在计算两个光信号的幅度乘积之后生成可测量的电信号。

编码有关每个神经网络层的输入和输出神经元信息的光脉冲(训练神经网络需要这些信息)流过单个信道。用矩阵乘法表中整行的权值信息编码的单独脉冲流过单独的信道。携带神经元与权值数据的光学信号,成扇形散开到零差光电探测器的网格中。光电探测器采用信号的幅度来计算每个神经元的输出值。每个探测器将每个神经元的电气输出信号反馈到调制器中,该调制器将信号转换回光脉冲。该光信号变成了下一层的输入,以此类推。

该设计的每个输入和输出神经元只需要一个信道,而且零差光电探测器的数量与神经元一样多,而不是与权值一样多。因为神经元的数量比权值的数量少很多,所以这样就显着地节约了空间。因此,芯片就可以扩展至每层超过一百万个神经元的神经网络。

对于光子加速器来说,信号中存在不可避免的噪声。馈入芯片的光线越多,噪声就越少,准确度就越高,但是效率却变得相当低。输入光线越少,效率就会越高,但是会对神经网络的性能产生负面影响。可是,该校研究生伯恩斯坦(Bernstein)表示,这里有一个“最佳点”,它采用最小的光学功率同时保持准确度。

这个对于人工智能加速器而言的最佳点,是通过单次执行两个数字乘法操作所消耗的焦耳量来度量的。现在,传统加速器以皮焦耳来度量。光子加速器以阿焦耳来度量,效率高出一百万倍。

在他们的仿真中,研究人员们发现,他们的光子加速器能以低于阿焦耳的效率来运行。伯恩斯坦表示:“在失去准确度之前,你可以发送一些最小的光学功率。我们芯片的基本极限比传统加速器低得多,也低于其他光子加速器。”

价值

哈默利表示:“人们正在寻找可以超越能耗基本限制的技术。光子加速器很有前景,但是我们的动机是构造一个可扩展至大型神经网络的光子加速器。”

这些技术的实际应用包括减少数据中心的能耗。论文共同作者、电子研究实验室的研究生亚历山大·斯路德(Alexander
Sludds)表示:“运行大型神经网络的数据中心的需求不断增长,随着需求增长,在计算上处理的难度也越来越大。”

关键字

人工智能、神经网络、光学芯片

参考资料

发表评论

电子邮件地址不会被公开。 必填项已用*标注

相关文章