近期，美国俄勒冈州立大学研发出一种新型成像传感器，不仅可在探测光线的同时进行图像存储（近期光照信息），还能实现信息的按需“遗忘”。
受人脑突触机制启发，研究人员利用有机层捕获光生空穴，通过电压调节记忆时长：正电压加速遗忘、负电压则延长记忆至小时级，同一硬件可通过调节记忆时长适配不同视觉任务。
它能够直接在传感器端完成部分基础计算，从源头减少数据搬运。之所以能够实现这种效果，原因在于有机吸光层与氧化铟镓锌（IGZO）晶体管组合，实现光吸收（有机层）与电荷输运（IGZO 沟道）功能分离，省去了“传感器-内存-处理器”间的频繁数据传输，有望大幅降低机器人视觉能耗。
这种新型传感器可通过光电协同调制，灵活编程其自身的学习、记忆和遗忘行为，为未来提升机器人、无人机以及边缘AI 设备的视觉系统效率奠定了基础。相关论文发表在 Advanced Functional Materials 上 [1]。
图丨相关论文（来源：Advanced Functional Materials）
当下，数码相机依赖互补金属氧化物半导体（CMOS）或电荷耦合器件（CCD），将光子转换为电子。然而，这些器件本身无法存储图像，数据必须先传输到内存中，才能进一步进行处理。
“传统的相机传感器在捕捉图像后，除非将信息传输到单独的存储组件，否则会立即忘记图像内容。”俄勒冈州立大学Larry Cheng 助理教授对媒体表示，“我们的设备可以识别并记住图像，更重要的是，它还能逐渐遗忘图像。这种逐渐遗忘的特性是该设备的关键且重要的组成部分。”
（来源：https://engineering.oregonstate.edu/people/larry-che
在传统的冯·诺依曼计算架构中，存储与处理单元是分离的，这会导致数据频繁搬运，正是由于“存储墙”瓶颈的存在，限制了它的速度和能效。
受人脑运作方式的灵感启发，研究团队开发了这种新型装置。晶体管中的电荷就像神经递质多巴胺一样，能够增强突触（神经元之间的连接）之间的连通性，从而增强人们所保留的记忆。
新型传感器与传统相机在信息处理方式上具有显著的不同：传统方案通过AI 识别算法理解世界，而新方案则利用硬件自身的短时记忆，直接记录环境变化。
具体而言，典型的AI 图像识别算法逐帧分析捕获的视频流来检测运动物体，而新型传感器则存储近期照射到设备上的光强度变化历史。通过这种方式，光电晶体管能够突出环境中的变化信息，并保留其时间演化过程。更重要的是，它记住这些变化的时间可根据具体需求进行调整。
物体运动的速度与传感器需要“记住”它的时间呈规律变化：物体运动速度快，传感器需要“记住”它的时间越短；物体动得越慢，需要“记住”的时间则越长。例如，对于时速 250 公里的无人机，只需记录瞬间的运动轨迹即可；但用于识别可疑徘徊者的门铃摄像头，则需要保存更长时间的光强变化序列。
（来源：俄勒冈州立大学）
这种新方法的关键突破在于，通过可调节的记忆时长，让单个传感器能够实现多样任务，包括从高速目标跟踪到慢速行为监控等，并在这个过程中同时优化响应速度和能耗表现。
研究人员在实验中验证了器件的优异性能，特别是显著的低功耗优势。该器件有效工作光强可在低于 5μW·cm⁻²的条件下工作，并支持 0.5μW·cm⁻²的弱光有效成像，比此前同类有机器件低 2 个数量级以上。
Larry Cheng 补充说道：“商用相机需要不断地在传感器、存储设备和处理器之间传输数据，因此运行图像识别算法相对来说非常耗能。直接在传感器上进行这种基础处理的能力，有望大幅降低能耗需求。”
（来源：Advanced Functional Materials）
研究人员制造的原型设备是一个 4×4 像素阵列，大小与 U 盘类似。阵列顶部涂覆了一层透明的有机吸光层，可将入射光转化为电荷。当光子照射到光敏层时，会产生电子和空穴。电子会转移到下方的晶体管沟道中，该沟道由 IGZO 制成，空穴则构成了器件存储功能的基础。
之所以选择 IGZO 晶体管，是因为它对可见光透明，这意味着该晶体管不会吸收光，并且电信号传输与光敏的功能得以分离。IGZO 材料适用于大面积制造，广泛应用于显示技术领域，由于电荷在其内部传输速度快，采用该材料制成的晶体管漏电流极低。这两种材料的结合使得每个像素能够在单个器件内既能检测光线，又能存储最近一次光照的信息。
Larry Cheng 指出，由于光敏层中的能垒，空穴会被困在孤立的有机半导体聚集体中。即使光照关闭后，这些被困的空穴仍会继续通过静电作用调制晶体管沟道，进而实现器件保留最近光照的信息。
电荷量会逐渐衰减，但研究人员可以通过对光敏层施加电压来改变其持续时间。原因在于，正电压会将捕获的空穴推离晶体管沟道更远，从而降低其作用并加速其衰减，导致记忆快速遗忘；与此同时，负电压会将空穴拉近晶体管沟道，减缓衰减过程。通过这种干预，器件可将记忆保持数小时甚至更长时间。
实验数据显示，在 -0.5V 栅压下光照后的电导可保持 5,000 秒以上，这种极性可控的切换在单一器件内实现了增强、保持、抑制三种状态的编程。
（来源：Advanced Functional Materials）
为验证新型器件的实际计算能力，研究团队将器件特性参数导入人工神经网络模型，对手写数字数据集 MNIST 进行分类训练。结果显示，该器件模拟的突触权重更新线性度表现良好。在数百次训练周期后，无噪声高分辨率条件下分类准确率在 90% 以上，并对硬件中常见的参数波动表现出良好的容错度。
目前，这项研究仍处于器件验证阶段，需要看到的是，它距离完整替代现有 CMOS 成像系统还有一定距离。在未来的研究阶段中，他们计划将该技术扩展到更大的像素阵列，并开发集成成像原型，进一步探索和验证实时成像和传感器端处理能力。
参考资料：
1.https://doi.org/10.1002/adfm.75942
2.https://spectrum.ieee.org/hybrid-phototransistor
3.https://news.oregonstate.edu/news/new-digital-memory-device-inspired-human-brain-may-improve-ai%E2%80%99s-energy-efficiency
排版：胡巍巍
注：封面/首图由AI辅助生成