集成光子卷积加速核心彻底改变可穿戴设备
可穿戴设备以其便携性和强大的人机交互为特点，长期以来代表着科技和创新的未来。在可穿戴设备领域，许多识别任务依赖于机器视觉，例如车辆检测、人体姿势识别、面部识别等。这些应用程序主要依赖于深度学习算法的前向传播来完成分类和识别任务。然而，随着这些应用的复杂性不断增加，摩尔定律接近极限，以及可穿戴设备对计算能力、低功耗、低发热、高效率的要求不断提高，传统电子计算受到挑战，势在必行。研究替代解决方案。
近年来，光学神经网络(ONN)研究已成为解决电子计算瓶颈的潜在突破性解决方案。通过将神经网络的数学模型映射到模拟光学器件上，光神经网络可以获得优于电子计算的计算能力，因为光传输网络具有超低功耗和最小发热的潜力。这使得它们非常适合满足可穿戴设备的能耗和散热要求。目前研究的一些方法由于在集成度和发热方面存在一些缺点，对于满足未来可穿戴设备的要求不是很有利。相比之下，使用微环谐振器(MRR)器件的阵列方法由于其结构紧凑、易于集成以及能够通过一对一执行高精度复杂计算，在可穿戴设备领域显示出更大的应用潜力。 - 参数配置时一次赋值，适合小型和大型应用。
这项工作提出了一种基于具有自校准功能的可重构 MRR 阵列的可扩展光学卷积加速核心 (PCAC)。系统通过将多波长光信号与MRR上的权重矩阵复用来完成乘法运算，并在我们开发的自校准MRR阵列下使用平衡光电探测器(BPD)进行加权求和，得到最终的计算结果。通过重构光功率差的输出来获得结果。结合现场可编程门阵列(FPGA)控制，该系统能够以光速执行高精度计算，实现7位精度，同时保持极低的功耗。它还在并行处理中实现了 3.2 TOPS(每秒万亿次操作)的峰值吞吐量。
基于该系统，本文制作了具有4×4 MRR阵列的概念验证PCAC芯片，并成功使用该芯片进行图像边缘提取测试，以及AR和VR等典型可穿戴应用中的光电计算实验设备：基于深度信息的第一人称视角手势识别。通过用并行光电卷积计算代替电子计算，实现高效、高精度的计算。图2(a)说明了我们应用中使用的卷积神经网络(CNN)的主要结构。输入图像被重塑为三行数据并流入PCAC芯片，其中第一层卷积运算完全由PCAC芯片执行。图2(b)显示了PCAC芯片计算出的10个手势的识别结果的概率条形图。在0-9数字的10个识别样本中，除了第2、3、8位数字存在主次峰外，其余数字的识别概率分布均为单峰。这表明PCAC芯片能够完成准确的识别任务。当采用PCAC芯片进行光电计算时，所有盲测图像的识别精度与电子计算相同。表明PCAC芯片成功实现了卷积运算，完全有能力完成可穿戴识别应用，具有低功耗、高速、高精度的优点。
图3进一步研究了PCAC芯片在计算任务中的性能，通过比较使用PCAC进行卷积计算获得的实验结果与使用数字计算机识别手势2获得的理论结果。除了由于一些背景颜色变化由于实验噪声的影响，PCAC芯片卷积计算得到的结果与计算机得到的结果几乎一致。分析结果表明，与理论结果相比，PCAC芯片在计算任务中表现出高精度和稳定性，展示了其作为油门踏板在极低能耗条件下执行识别和分类任务的巨大潜力，并提供了有效的光学进一步开发可穿戴设备的解决方案。
版权声明：本文由用户上传，如有侵权请联系删除！