每次矩阵相乘用不到一个光子手写数字辨认准度超90%光学神经网络功率提高数个量级

　　当时，深度学习在越来越多的使命上逾越了人类，触及的范畴包含游戏、自然语言翻译、医学图画剖析。但是，电子处理器上练习和运转深度神经网络的高能量本钱阻止了深度学习的前进空间。因而，光学神经网络代替深度学习物理渠道的可行性受到了广泛的重视。

　　理论上，光学神经网络比布置在惯例数字核算机上的神经网络具有更高的动力功率。在最近的一项研讨中，来自美国康奈尔大学等的研讨者们证明了，光学神经网络可完结在手写数字分类上的极高准确度：其间，在权重相乘中运用约 3.2 个检测到的光子使得准确度到达了 99％，而仅运用约 0.64 个光子（约 2.4×10^-19 J 光能）就能到达 90％以上的准确度。

　　该研讨的试验成果是经过自定义的自由空间光学处理器所完结的，该处理器能够履行大规模并行矩阵矢量乘法运算，最多可一起履行约 50 万次标量（权重）乘法。

　　运用市售的光学组件和规范的神经网络练习办法，光学神经网络能够在规范量子极限邻近经过极低的光功率到达很高的精度。这样的成果证明了低光功率操作的原理，并为完结光学处理器拓荒了一条路途：只需细心规划用于数据存储和操控的电子体系，每个标量乘法只需求 10^-16 J 的总能量，这要比当时的数字处理器高效好几个数量级。

　　光学矩阵向量乘法器的试验仪器装备。a 为光学设备原理图，b 为与原理图相对应的首要试验仪器。

　　在光学矩阵矢量乘法器中完结能量优势的关键是尽或许扩大体相乘的矩阵和向量。被扩大后，大规模的乘法和累加操作就能够彻底在光学范畴并行履行，并且电子和光信号之间的转化本钱有缓冲空间。在光学中，有几种不同的办法来完结并行操作：波长多路复用、光子中的集成电路空间多路复用和 3D 自由空间光学处理器中的空间多路复用。

　　迄今为止，在一切多路复用办法和架构中，模仿 ONN 都运用较小的向量 - 向量点积（作为完结卷积层和彻底连层的根本操作）或矩阵向量乘法（用于完结彻底衔接的层），将向量约束最多 64 维（远低于 10^3），这也是光处理器能耗高于理论猜测的根本原因。

　　因而，运用了能够进行大规模矩阵矢量乘法的 3D 自由空间光学处理器，研讨者构建了如下图 a 所示的 ONN 架构，用每次标量相乘少于一个光子进行图片分类，到达了 ONN 的量子约束理论功率峰值。

　　把输入向量 ~x 的每个元素 x_j 编码为一个光源像素照耀的独自空间形式强度； 把每个矩阵元素 w_ij 编码为调制器像素的透射率； 运用有机发光二极管（OLED）显现器作为光源； 运用空间光调制器（SLM）进行强度调制。

　　扇出：输入向量的元素在空间上排列为 2D 块（图 1b，左上方）。代表输入向量图片的 2D 块被仿制了与矩阵 W 中的行数持平的次数，然后平铺在 OLED 显现上，如图 1b 所示（顶行）。 逐项积：将编码单个标量元素 x_j 的每个 OLED 像素对齐并成像到 SLM 上的相应像素，其透射率设置为w_ij，履行标量乘法 w_ij x_j（图 1b 底部中心）。 光学扇入：将每个块的强度调制像素经过将其透射的光聚集到检测器上进行物理求和。撞击在第 i 个检测器上的光子总数与矩阵向量乘积 y 的元素 y_i 成正比（图片）（图 1b 右下）。每个 y_i 能够解释为输入向量图片与矩阵 W 的第 i 行之间的点积。

　　当光经过设置，矩阵向量乘法中触及的一切标量乘法和加法被并行核算完结。向量元素在光强度中的编码将设置限为运用矩阵和具有非负元素的向量履行矩阵向量乘法。并且，该体系还能够用于对具有正负的元素的矩阵和向量履行矩阵向量乘法，办法是运用偏移量和缩放份额将核算转化为仅触及非负数的矩阵向量乘法。

　　关于体系核算的每个向量 - 向量点积，将与逐项积相对应的空间形式聚集到单个检测器上，来进行逐项积的求和。因而，检测器的输出与点积答案成正比，其信噪比（SNR）在散粒噪声极限下缩放为N。假如向量足够大，那么即便每个空间形式的均匀光子数都远小于 1，撞击到检测器上的光子总数也或许远远大于 1，因而正如图 1c 所示，精确地读出了点积答案是或许的。

　　为了了解体系在低光功耗情况下的实践功能，研讨者在调整光子的数量的一起描绘其准确性。在第一个表征试验中，研讨者核算了随机挑选的向量对的点积（图 2a），将经过点积核算得到的表征成果直接应用于通用矩阵向量乘法的设置（看作向量 - 向量点积核算）。

　　而点积核算的答案是标量，因而只需运用单个检测器，编码点积答案的光信号由能够分辩单个光子的活络光电检测器丈量。经过改动检测器的积分时刻并在 OLED 显现后当即刺进中性滤光片，能够操控每个点积所运用的光子数。

　　如上图 2b 所示，为了证明设置能够依据大尺度向量运用每个标量乘积少于 1 个光子的核算，研讨者丈量了尺度约为 50 万的向量之间点积的数值精度。每个标量乘法 0.001 个光子的情况下，测得的差错约为 6％，导致此差错的首要因素是检测器的散粒噪声。跟着添加所运用的光子数量，差错逐步减小，直到在每次乘法 2 个或以上光子时到达大约 0.2％的最小差错。

　　为了使试验取得的模仿数字精度与数字处理器中的数字精度之间能够进行比照，研讨者将每个测得的模仿差错百分比解释为对应于核算出的点积答案的有用位精度。运用衡量噪声等效位的模仿 RMS 差错 6％对应于 4 位，而 0.2％RMS 差错则对应于大约 9 位。

　　研讨者还证明了，当每个标量乘法运用较少数量的光子时，能够核算出较短向量之间的点积（图 2c）。关于每次乘法规模为 0.001 至 0.1 个光子的光子预算，不管所测验的一切向量有多大，数值差错都由散粒噪声决议。当运用的光子数量足够大时，差错不再由散粒噪声操控，这与图 2b 中所示的单向量大小成果共同。关于测验的每个光子预算，较大向量之间的点积差错较低。这或许是因为较大向量之间的点积触及了更很多项的有用均匀。

　　因为运用十分有限的光子预算，导致了乘法差错。为了确认 ONN 能够忍受多少差错，研讨者运转经过练习的神经网络，并依据运用的光子数量来丈量分类精度。

　　如下图 3a 所示，研讨者将带有 MNIST 数据集的手写数字分类作为基准使命，并练习了一个具有用于低精度推理硬件（量化感知练习）的反向传达的四层全衔接多层感知器（MLP）。

　　研讨者首要评价了 MNIST 数据会集 5 个不同光子预算下的前 130 个测验图画：每个标量乘法的光子分别为 0.03、0.16、0.32、0.64 和 3.2 个光子（图 3b 中心图橙色点）。

　　然后他们发现了每次乘法运用 3.2 个光子会导致~ 99％的分类精度（图 3b 右上），简直与在数字核算机上运转的同一练习过的神经网络的精度（99％）相同。在亚光子状态下，每个乘法运用 0.64 个光子，ONN 到达大于 90％的分类精度（图 3b 中上）。

　　试验成果与遭受散粒噪声的 ONN 所履行的同一神经网络的仿线b 中心面板，深蓝色线％的精度，每次揣度手写数字所检测到的总光能约为 1 pJ。关于这些试验中运用的权重矩阵，均匀 SLM 透射率约为 46％。

　　因而，当考虑到 SLM 不可避免的损耗时，每次揣度所需的总光能约为 2.2 pJ。而 1 pJ 挨近电子处理器中仅用于一个标量乘法的能量，而研讨者的模型每次揣度需求 89,400 标量乘法。

　　康奈尔大学的研讨者运用规范的神经网络模型架构和练习技能，无须履行任何从头练习就能够运转模型。软件和硬件开发的成功别离也标明，研讨者的光学神经网络（ONN ）在无需对 ML 软件的作业流程进行任何严重更改的条件下，能够代替其他更传统的神经网络加速器硬件。

　　一起，这些研讨成果标明，光学神经网络在原理上比电子神经网络具有更多根本的能量优势。光学神经网络能够在光子预算体系下运转，其间规范量子极限（即光学散粒噪声）决议了可到达的精度。

　　每日头条、业界资讯、热门资讯、八卦爆料，全天盯梢微博播报。各种爆料、内情、花边、资讯一扫而光。百万互联网粉丝互动参加，TechWeb官方微博等待您的重视。