选自Nature,作者：Julie Chang 等,机器之心编译,参与：高璇、刘晓坤.
CNN 计算效率的研究一直备受关注，但由于功率和带宽的严格限制，CNN 仍难以应用在嵌入式系统如移动视觉、自动驾驶中。在斯坦福大学发表在 Nature 旗下 Scientific Reports 的这篇论文中，研究者提出在 CNN 网络前端替换一个光学卷积层（opt-conv）的方案，可以在保持网络性能的同时显著降低能耗，并在 CIFAR-10 数据集的分类任务上验证了其结论。光学卷积层也就是用光学器件实现的卷积层，其光学运算具备高带宽、高互联和并行处理特性，并能光速执行运算，功耗接近于零。该技术有望在低功耗机器学习领域得到进一步发掘。
引言
深度神经网络已在各个领域取得了广泛应用，从计算机视觉到自然语言处理以及游戏等。卷积神经网络（CNN）利用各种图像特征的空间不变性，在图像分类、图像分割甚至图像生成等计算机问题中非常受欢迎。随着各类任务的性能大幅提高，这些网络中的参数和节点数也急剧增加，训练和使用这些网络的能耗和内存也相应增加。
虽然学习网络权值的训练阶段很缓慢，但在推理过程中，由于要数百万次的引用内存和矩阵乘法，就算是大型模型也需要大量能耗和内存。为了提高效率，可采取保持性能的同时压缩 CNN 的方法，包括修剪法、量化训练、霍夫曼编码，以及更换架构。硬件方面，有很多机器学习的专门处理单元，如如 IBM 的 TrueNorth 芯片、Movidius 视觉处理单元（VPU）、谷歌的张量处理单元（TPU）。其他以推理为重点的针对嵌入式视觉应用尝试将一部分图像处理结合到传感器上，以消除或减少将完整图像数据传送到处理器的需求。CNN 计算效率的研究一直备受关注，但由于功率和带宽的严格限制，CNN 仍难以应用在嵌入式系统如移动视觉、自动驾驶和机器人、无线智能传感器中。
论文链接：https://www.nature.com/articles/s41598-018-30619-y#author-information
卷积神经网络（CNN）在各类计算机视觉应用中都有惊艳表现，但它们的高性能需要以高计算成本为代价。尽管在算法和硬件方面都有所提高，但由于功率限制，在嵌入式系统中运行 CNN 仍然很困难。在本文中，研究者尝试采取一种互补的策略，在电路计算前增加一层光学计算，在提高图像分类性能同时，仅增加最小电路计算成本和处理时长。研究者设计了一种基于优化衍射光学元件的光学卷积层，并在两个模拟实验中进行了测试：一个学习到的光学相关器和一个双层光电 CNN。研究者在仿真和光学原型中证明了他们的光学系统的分类准确率可以与对应的电学实现相媲美，同时大大节省了计算成本。
图 1：光学卷积层设计。（a）4f 系统图，可以通过在傅里叶平面上放置相位掩模来实现光学卷积层（opt-conv）。（b）数字卷积层的标准组成，包括输入图像、卷积核堆栈和相应的输出量。（c）opt-conv 层中的等效组成，核和输出以二维数组的形式平铺在平面，而不是堆叠在深度维数中。
实验结果
图 2：学习到的光学相关器。（a）光学相关器示意图，其中 conv 块由图 1 所示的 4f 系统组成。（b）多通道无约束数字卷积层、多通道非负数字卷积层、平铺核单通道 opt-conv 层，以及以先前优化的平铺核为目标的相位掩模优化产生的 PSF 的特征优化核。
图 3：混合光电 CNN。（a）有单个 opt-conv 层的模型原理图，对传感器图像进行处理并送入后续的数字 CNN 层。（b）优化的相位掩模模板和生成的相位掩模在不同缩放级别的显微图像。（c）在相应的正（顶部两行）和负（底部两行）子图像做差后，由相位掩模、样本输入图像、各自传感器图像和假阴性子图像产生的 PSF 的仿真和捕获版本的比较。
表 1：各类模型中的混合光电 CNN 在灰度 CIFAR-10 中分类的表现。模拟模型的分类准确率是五次试验的平均值。计算了模拟模型的标准差。在相关时，学习参数和 FLOP 被分为网络的光学部分和电学部分。
,
