多任务学习可穿戴传感器——基于through-space电荷传输特性的光电聚合物

研究背景

人类的视网膜不仅能感知，还能同时通过采集光信号的丰富动态来进行处理，从而加快了下游视觉皮层的任务依赖性学习。视网膜和视觉皮层的协同作用是大脑高效、紧凑和快速学习的多任务能力的基础，也是人工通用智能(AGI)的一个基本目标。相比之下，传统的硅视觉芯片具有物理分离的传感、处理和存储单元，由于这些单元之间大量和频繁的数据穿梭，以及连续的模拟-数字转换，产生了大量的时间和能量开销，这是基础能源效率的基本限制。摩尔定律的放缓进一步加剧了这种情况，这对它们的占地面积提出了挑战。此外，传统的深度学习模型的学习，如时间信号的递归神经网络，在一个非常具体的任务上采用繁琐的训练(例如，通过时间的反向传播的梯度下降, BPTT)，这在电池访问和外形尺寸有限的边缘设备上既不能扩展也不能负担。算法方面，储层计算(RC)，通过收集固定动态系统的消逝记忆,将时间信号非线性地投射到一个特征空间，被认为是一个有前途的解决方案，可以负担得起边缘学习。由于RC的学习仅限于长期记忆的读出层，与传统的深度学习模型相比，其训练成本大大降低。然而，目前还没有设计出一种成对的材料算法来结合高效的人工视网膜和经济实惠的基于RC的边缘学习，因此释放出生物启发的神经形态视觉的多任务潜力。

研究成果

传感器内多任务学习不仅是生物视觉的主要优点，也是人工通用智能的主要目标。然而，传统的硅视觉芯片存在着巨大的时间/能源开销。此外，训练传统的深度学习模型在边缘设备上既不能扩展也不能负担。这里，香港大学Zhongrui Wang&福建物质结构研究所Weiguo Huang教授等人提出了一种材料-算法联合设计，以模拟人类视网膜和可负担的学习模式。依靠具有高效激子解离和通空间电荷传输特性的瓶状半导体p-NDI，开发了一个基于可穿戴晶体管的动态传感器内储能计算系统，该系统在不同任务上表现出卓越的可分离性、消退记忆和回声状态特性。与记忆性有机二极管上的"读出功能“配对，RC识别手写字母和数字，并对各种服装进行分类，准确率分别为98.04%、88.18%和 91.76% (高于所有报道的有机半导体)。除了二维图像，RC的时空动态自然地提取了基于事件的视频的特征，以98.62%的准确率对3种类型的手势进行分类。此外，其计算成本明显低于传统的人工神经网络。这项工作为经济实惠和高效的光子神经形态系统提供了一个有前途的材料算法联合设计。相关研究以“Wearable in-sensor reservoir computing using optoelectronic polymers with through[1]space charge-transport characteristics for multi-task learning”为题发表在Nature Communications期刊上。

研究亮点

1. 提出了一种材料-算法联合设计，一种具有高效激子解离和through-space电荷传输特性的光响应半导体聚合物 (p-NDI) 来构建一个用于多任务模式分类的传感器内 RC。

2. 为具有多任务学习能力的可穿戴的、高效的光子神经形态系统提供了一个有前途的材料和算法共同设计策略。

图文导读

Fig. 1 | Comparison of the photocurrent responses of conventional semiconductors and p-NDI, and the detailed semiconductor design principle for in[1]sensor RC systems.

Fig. 2 | Electrical characterizations of p-NDI based transistor.

Fig. 3 | Morphological studies of C8-NDI and p-NDI films.

Fig. 4 | Signal sensing, memorizing, and pre-processing by p-NDI transistor.

Fig. 5 | The multi-task reservoir-computing framework.

Fig. 6 | Multi-task classification performance.

Fig. 7 | Event-based video classification with DVSGesture128 dataset.

总结与展望

由于p-NDI独特的bottle-brush结构和through-space电荷传输特性，以及p-NDI半导体薄膜良好的面外取向和不良的面内排序，高效的激子解离和缓慢的电荷重组已经实现。依靠这些特点，p-NDI光电晶体管表现出优异的光响应行为和非线性消隐记忆，显示出原位感知、记忆和同时预处理光输入的能力。此外，它们良好的分离光反应、衰减记忆和回声状态特性使得基于晶体管的可穿戴动态遥控系统成为可能。与记忆性有机离子二极管上实现的"读出功能"相配，基于全有机材料的光电遥控系统在识别手写字母和数字以及对各种服装进行分类方面达到了98.04%、88.18%和 91.76%的准确率，这相当于88.00% (属于 有机半导体的最高值，仅略低于其纯软件对应的89.38%的准确性)，突出了其强大的多任务学习能力。此外，这种基于p-NDI的RC的训练成本明显低于ANN对应的训练成本，使其适用于边缘场景。此外，该RC能够有效地对左手挥舞、右手挥舞和拍手的手势进行分类，总体准确率为98.62%。这项工作不仅克服了与传统传感计算系统相关的大量时间和能量开销的瓶颈，而且还为具有多任务学习能力的可穿戴、可负担和高效的光子神经形态系统提供了一个有前途的材料算法联合设计策略。

文献链接

Wearable in-sensor reservoir computing using optoelectronic polymers with through[1]space charge-transport characteristics for multi-task learning

转自：“i学术i科研”微信公众号

如有侵权，请联系本站删除！