新闻动态
NEWS
新闻动态
半导体技术与制造服务提供商
米兰milan-科研聚焦|南科大深港微电子学院王中锐课题组在端侧多模态数据表示学习方面取得进展
132025-12

近日,南边科技年夜学深港微电子学院王中锐博士团队与中科院微电子所集成电路制造技能天下重点试验室尚年夜山研究员互助,经由过程软硬件协同设计,开发了基在随机阻变存储器的深度极限点云进修机体系。结果近期发表于《天然-通信》期刊上(Nature Co妹妹unications, DOI: https://doi.org/10.1038/s41467-025-56079-3)。南边科技年夜学王中锐博士及中科院微电子所尚年夜山研究员为该文章的通信作者。介入本事情的还有有复旦年夜学,浙江年夜学,以和中国香港年夜学等互助单元。

当前的边沿智能硬件体系正愈来愈多地将各类差别类型的视觉传感器集成在一体(包括3D激光雷达、神经形态动态视觉传感器(DVS)以和传统相机),以晋升体系机能。而直接于边沿智能体系上对于差别传感器输出的多模态数据举行阐发,对于在各类新型运用如加强实际/虚拟实际(AR/VR)、无人机等都很主要,这一需求对于软硬件体系的多个方面都提出了挑战。好比,体系需要思量怎样对于多模态数据举行同一的数据表征,较高的硬件能效,以和快速的模子练习。然而,多模态旌旗灯号于数据布局上的异构性致使边沿体系的开发有较高繁杂性。此外,传统数字硬件的机能受限在物理分散的存储与计较单位(即冯·诺依曼瓶颈)以和晶体管尺寸缩放的物理极限(摩尔定律放缓)。跟着模子范围的连续扩展,其繁杂的练习历程进一步加重了上述限定。

本研究提出一种新奇的软硬件协同设计体系——基在随电机阻存储器的深度极限点云进修机(DEPLM),可撑持高效同一的点集阐发。从数据层面,将多模态数据同一暗示为点集,从而实现通用化处置惩罚;从软件层面,团队初次提出深度极限点云进修机,年夜部门权重无需练习,年夜幅降低了练习繁杂度;从硬件层面,纳米级阻变存储器不仅实现了存储与计较的一体化,减缓了冯·诺依曼瓶颈与摩尔定律放缓问题,还有使用其固有的编程随机性天生DEPLM的随机稀少权重,从而按捺了读取噪声的影响。咱们于多种数据类型及两类进修使命中验证了该体系的普适性。与传统数字硬件体系比拟,咱们的协同设计体系实现了最高达15.79倍的能效晋升,同时练习成本较传统体系至多可降低89.46%。这类基在随机阻变存储器的深度极限点云进修机,有望为跨模态、跨使命的高能效、易练习边沿人工智能斥地新路径。该项目获得了科技部、国度天然科学基金委、南边科技年夜学、中科院及中国香港研究资助局的撑持。

image.png

图1基在随机阻变存储器的深度极限点云进修机软硬件设计

文章链接:https://doi.org/10.1038/s41467-025-56079-3

Random resistive memory-based deep extreme point learning machine for unified visual processing

Shaocong Wang, Yizhao Gao, Yi Li, Woyu Zhang, Yifei Yu, Bo Wang, Ning Lin, Hegan Chen, Yue Zhang, Yang Jiang, Dingchen Wang, Jia Chen, Peng Dai, Hao Jiang, Peng Lin, Xumeng Zhang, Xiaojuan Qi, Xiaoxin Xu, Hayden So, Zhongrui Wang*, Dashan Shang*, Qi Liu, Kwang-Ting Cheng Ming Liu

-米兰milan