基于神经形态事件的图像传感器只捕捉场景中的动态运动，然后转移到计算单元进行运动识别。然而，这种方法会导致时间延迟，而且可能非常耗电。为此，报告了计算事件驱动的视觉传感器，捕获和直接转换动态运动为可编程，稀疏和信息尖峰信号。这些传感器可以用来形成一个用于运动识别的尖峰神经网络。每个单独的视觉传感器由两个极性相反的平行光电二极管组成，其时间分辨率为5 μs。为了响应光强度的变化，传感器通过电编程其各自的光响应率，产生具有不同振幅和极性的尖峰信号。视觉传感器的非挥发性光响应性和多级光响应性可以模拟突触权重，并可用于创建一个传感器内的尖峰神经网络。本研究中的视觉传感器方法消除了传感过程中的冗余数据，以及传感器和计算单元之间的数据传输的需要。
传统基于帧的图像传感器以固定帧率传输绝对的光强度会产生大量冗余的视觉数据，而信息有限。受生物视网膜的启发，事件驱动的视觉传感器只对场景中的相关变化做出反应。这些传感器只在事件发生时和发生时提供峰值，减少冗余数据的量，同时保留稀疏但重要的信息（图1a）。本研究报道了一个事件驱动的像素单元，它可以在变化的光强度下产生具有可编程振幅的稀疏脉冲序列，这允许在像素阵列内进行可视化数据计算（图1b）。通过设计一个像素单元（图1c），当光强度变化时产生峰值信号，表现出事件驱动的特征。该单元格由两个平行连接的独立分支组成。这两个分支中的光电二极管分别具有相反和对称的构型（PN和NP）。无电容器的PN分支光响应比有电容器的分支光响应要快。因此，在瞬态光强增加的时刻，在该单位中产生一个正尖峰信号。相反，当光强度降低时，会产生负尖峰信号（图1d）。与现有的摄像机相比，该设计显示出更简单的电路结构。
通过设计一种具有浮动分栅结构的WSe2光电二极管，以降低后续传感器内计算功耗。为了提高功率效率和可扩展性，设计了非易失性可编程光电二极管，即使在去除栅极电压后也可以局部存储光电二极管中的突触权值。图2a i、ii分别显示WSe2光电二极管结构的横截面结构示意图和顶视图光学显微镜图像。通过设置两个相同值的局部栅极电压VG1和VG2，可以测试WSe2场效应晶体管的特性（图2b）。通过进一步将两个分离的门配置为不同极性，WSe2通道左右部分的载流子类型和密度被独立调制，表现出四种不同的传导机制（图2c）。在正栅电压和负栅电压下，该器件表现出几乎对称的行为（NN或PP）。在不同入射激光功率强度（Pin），激光激发波长λ = 520 nm下，PN和NP二极管表现出明显的光电流（图2d）。图2e显了ISC作为入射光强度（Pin）的函数。在PN和NP结中，ISC几乎是线性依赖于Pin的，表明光电效应在光电二极管的光电流产生中占主导地位。为了模拟神经网络中的突触功能，需要用多级和非挥发性状态来调节光响应性来表示突触的权重。通过耦合两个电压偏差相反的栅极，光电二极管的光响应率R能以类似的方式进行调制（图2f）。
图3a显示表征光脉冲下光电二极管光响应的测量装置。在一系列光强为50 mW cm−2、波长为520 nm的光脉冲下，由于该电路中产生的光电流，电阻RL（Vout）上的电压下降发生相应变化（图3b）。当施加光脉冲时，上升时间从20 μs变化到100 μs，电容范围为0到300nF（图3c）。通过将光电二极管编程为NP结构，该器件在同一瞬态光脉冲下表现出相反的光响应和可调谐的响应时间（图3d）。与传统基于固定光响应性的化学掺杂硅光电二极管的事件驱动相机不同，本研究设计的浮动分栅配置的WSe2光电二极管能够非挥发性地调制WSe2通道中的载流子类型和密度，从而实现可编程光响应性（图3e）。在相同的光变化条件下，随着光电二极管光响应率增加，输出峰值振幅A单调增加（图3f）。图3g为波长为520 nm的外部光激发下实时变化的Itotal，表现出事件驱动特性。通过重新相反配置两个分支（图3h），生成的尖峰极性被反转。当外部光强度增加（减小）时，输出电流为一个负（正）峰值（图3i、j)，表明负突触权重的实现。
为了执行实现运动识别的计算任务，可以将光电二极管阵列设计成交叉杆配置，形成一个尖峰神经网络（图4a）。当手在移动时，由于光强变化，在128×128光电二极管阵列中产生一系列的输出尖峰（图4b）。经过100个训练后，传感器内SNN显示出92%的识别准确率。然后用亚像素阵列的光响应率来表示突触的权重（图4c）。图4d显示当三种类型的运动按顺序执行时，每个神经元的输出峰值情况。每个输出神经元只有对特定运动类型的响应（图4d），表明在设计的传感器内SNN中成功实现运动识别任务。
综上所述，本研究报道了一种计算事件驱动的视觉传感器，它只在光强度变化时产生可调谐的电流峰值，其时间分辨率为5 μs。WSe2光电二极管表现出非挥发性、可编程性和线性光强依赖的光响应性，使神经网络中模拟突触权重成为可能。通过进一步合并输出神经元可以构建一个传感器SNN，其运动识别准确率为92%的传感器内SNN。在事件驱动的感觉终端内部的直接运动识别有可能被用于开发实时边缘计算视觉芯片。
