大量的光学信息转换为数字电子格式分析研究VIP专享VIP免费

视力是我们最重要的感官之一。仿生机器视觉在过去十年“”发展迅速，到如此地步，人工系统可以看到在获得从图像和视频有价值的信息的意义1，2，虽然人眼视觉残留更有效。Mennel等人在《自然》杂志上撰文。3报告了一种视觉系统的设计，该视觉系统与大脑一样，可以训练以纳秒为单位对简单图像进行分类。诸如数码相机中的图像传感器之类的现代图像传感器是基于半导体（固态）技术的，并于1970年代初开发出来。它们分为两种主要类型，称为电荷耦合器件和有源像素传感器4。这些传感器可以忠实地从环境中捕获视觉信息，但会生成大量冗余数据。通常将大量的光学信息转换为数字电子格式，然后传递到计算单元进行图像处理。传感器和处理单元之间大量数据的最终移动会导致延迟（延迟）和高功耗。随着成像速率和像素数量的增长，带宽限制使得难以将所有内容快速返回到集中式或基于云的计算机以进行实时处理和决策，这对于延迟敏感型应用（例如无人驾驶）尤为重要汽车，机器人或工业制造。更好的解决方案是将一些计算任务转移到计算机系统外边缘的传感设备，从而减少不必要的数据移动。而且由于传感器通常会产生模拟（连续变化）输出，因此模拟处理胜于数字处理：众所周知，模数转换既耗时又耗能。为了模仿大脑对信息的有效处理，受到生物学启发的神经形态工程采用了一种计算架构，该架构具有高度互连的元素（神经元，通过突触连接），可以进行并行计算（图1a）。这些人工神经网络可以通过迭代从周围的环境中学习，例如，学习在显示已知示例后对事物进行分类（监督学习），或者从输入数据中识别对象的特征结构而无需额外的信息（监督学习）。在学习过程中，算法会反复进行预测，并增强或削弱网络中的每个突触，直到达到最佳设置。员工和同事直接在他们的图像传感器中实现了人工神经网络。他们在芯片上构建了一个光电二极管网络，这些光电二极管是微小的，对光敏感的单元，每个单元都包含几个原子层的二硒化钨。可以通过更改施加的电压来增加或减少该半导体对光的响应，从而可以分别调整每个二极管的灵敏度。实际上，这将光电传感器网络变成了神经网络（图1b），并使其能够执行简单的计算任务。改变光电二极管的光响应性会改变网络中的连接强度（突触重量）。因此，该设备将光学传感与神经形态计算相结合。作者将光电二极管排列成九个像素的正方形阵列，每个像素三个二极管。当图像投影到芯片上时，会产生，组合和读取各种二极管电流。硬件阵列提供了一种模拟计算形式：每个光电二极管都会产生与入射光强度成比例的输出电流，并且根据基尔霍夫定律（电路中电流的基本规则），将沿行或列得出的电流相加。。然后训练阵列以执行任务。芯片外分析阵列产生的电流与预测电流（如果阵列对给定任务正确响应图像会产生的电流）之间的差异，并用于调整突触权重以进行下一次训练周期。这个学习阶段会占用时间和计算资源，但是一旦经过培训，该芯片就会迅速执行其设定的任务。使用神经网络的不同算法，作者演示了两种神经形态功能。第一种是分类：它们的3×3像素阵列可以将图像分类为与三个简化字母相对应的三个类别之一，从而以纳秒为单位识别该字母。这个相对简单的任务只是概念上的证明，如果按比例增加阵列的大小，它可以扩展到识别更复杂的图像。员工和同事直接在他们的图像传感器中实现了人工神经网络。他们在芯片上构建了一个光电二极管网络，这些光电二极管是微小的，对光敏感的单元，每个单元都包含几个原子层的二硒化钨。可以通过更改施加的电压来增加或减少该半导体对光的响应，从而可以分别调整每个二极管的灵敏度。实际上，这将光电传感器网络变成了神经网络（图1b），并使其能够执行简单的计算任务。改变光电二极管的光响应性会改变网络中的连接强度（突触重量）。因此，该设备将光学传感与神经形态计算相结合。作者将光电二极管排列成九个像素的正方形阵列，每个像素三个二极管。当图像投影到芯片上时，会产生，组合和读取各种二极管电流。硬件阵列提供了一种模拟计算形式：每个光电二极管都会产生与入射光强度成比例的输出电流，并且根据基尔霍夫定律（电路中电流的基本规则），将沿行或列得...