近日，南边科技年夜学深港微电子学院王中锐博士团队与中科院微电子所集成电路制造技能天下重点试验室尚年夜山研究员互助，开发了一种基在液体状况机（Liquid State Machine, LSM）零样本对于比进修要领实现多模态时序脉冲数据的进修要领。结果近期发表于《天然—计较科学》期刊上（Nature Computational Science, DOI: 10.1038/s43588-024-00751-z ），并受邀撰写了研究快讯（Nature Computational Science, DOI: 10.1038/s43588-024-00762-w）。南边科技年夜学王中锐博士及中科院微电子所尚年夜山研究员为该文章的通信作者。介入本事情的还有有复旦年夜学、浙江年夜学、中国香港年夜学以和中科院计较所等互助单元。

人工智能的成长深受模拟人类年夜脑的开导，特别是于当前的类脑神经形态体系中。例如，使用生物可注释的脉冲神经收集（SNN），并联合IBM的TrueNorth及英特尔的Loihi等CMOS数字硬件加快器，来模仿年夜脑的计较功效及效率。然而，于硬件中复现年夜脑功效仍旧面对巨年夜的挑战，这不仅遭到摩尔定律放缓以和冯·诺依曼架构计较瓶颈的限定，并且触及脉冲神经收集自身练习历程中的坚苦。液体状况机是一种脉冲情势的储池计较，它是轮回脉冲神经收集的一种简化情势，可以或许将时序输入旌旗灯号经由过程神经元的非线性激活函数转换到高维空间中，并经由过程简朴的线性回归要领有用地读出。液体状况机中轮回毗连层的权重始终连结固定，练习仅需要调治投影层权重，使患上多模态事务旌旗灯号的对于齐繁杂度及时间年夜年夜降低。

于硬件方面，团队使用忆阻器的本征随机性构建年夜范围随电机阻阵列，并将其作为液体状况机收集的初始化权重，揭示了低成本及可扩大的上风。于软件方面，液体状况机巧妙的使用了随电机阻阵列所带来的物理随机投影，经由过程存内计较的方式完成多时序脉冲输入的特性提取历程，并显著降低了脉冲神经收集的练习成本。团队经由过程软-硬协同优化技能，于基在FPGA的板级测试平台上实现了视觉及声音的多模态对于齐检索，并举行了靠近实用处景的脑机接口的视觉及声音对于齐使命的仿真验证（见图一）。与传统数字硬件体系比拟，该要领于计较能效上实现了显著晋升。该研究事情揭示了忆阻器存算一体阵列于构建神经形态体系方面的巨年夜潜力，并为使用天然界中富厚的物理、化学特征开发更高效的智能硬件体系提供了参考。该项目获得了科技部、国度天然科学基金委、南边科技年夜学、中科院及中国香港年夜学的撑持。

图1 基在随电机阻阵列的液体状况机神经收集实现视觉及脑电旌旗灯号的多模态零样本进修

文章链接：https://doi.org/10.1038/s43588-024-00751-z

Resistive memory-based zero-shot liquid state machine for multimodal event data learning

N.Lin, Shao.Wang, Y. Li,B. Wang, S. Shi, Y. He, W. Zhang, Y. Yu, Y. Zhang, Xin. Zhang, K. Wong, Song. Wang, Xiao. Chen, H. Jiang, X. Zhang, P. Lin, X. Xu, X. Qi, Z. Wang*, D. S. Shang*, Q. Liu, M. Liu

Nature Computational Science DOI:10.1038/s43588-024-00751-z(2025)

文章链接：https://www.nature.com/articles/s43588-024-00762-w

Energy-efficient multimodal zero-shot learning using in-memory reservoir computing

Ning Lin, Zhongrui Wang, Dashan Shang

Nature Computational ScienceDOI:10.1038/s43588-024-00762-w(2025)