人工智能使命日益杂乱、多样且动态改变,传统机器学习方法往往依据固定数据集训练使命,无法适应环境改变,怎么使AI体系具有多使命继续学习的才能成为亟需处理的问题。近年来,跟着摩尔定律的阻滞,以衍射神经网络为代表的光学架构作为新的核算模态,在功用和功率方面展示出巨大潜力。可是,当时光网络仍都会存在“灾难性忘记”(catastrophic forgetting)的问题,学习新使命会失掉从前使命的回忆。受人脑完结可继续学习的神经突触机制启示,依据光天然物理上的稀少性和并行性,本文作者团队创始了智能光核算终身学习架构,打破光网络单一功用约束,支撑类脑并行多使命学习。经过稀少光衔接及多光谱并行核算等要害模块,赋予光核算体系逾越现存技能的功用、通量与能效,为智能体系在边际硬件的多使命布置供给了光速处理方案。
现在的人工智能模型大多只能处理给定的使命,当环境发生改变便力不从心,间隔人们需求的通用智能相差甚远。智能体系的可继续学习才能是AI范畴开展的重要瓶颈,正遭到广泛重视。反观人类自身,在不断生长的过程中,人脑能够终身学习并把握各种技能。怎么学习人脑的终身学习机制,发掘大规模可继续进化的核算范式成为了极具挑战性的研讨方向。可是,跟着传统硅基电子核算芯片的算力和功耗严峻受限,难以满意实践火急所需的大规模高通量数据处理需求,因而探究新的核算技能和模态是未来智能体系开展的必然趋势。
近年来,以光核算为根底、经过光电交融的方法构建光电神经网络已成为国际前沿的热门研讨。可是,尽管以衍射神经网络为代表的各式光网络不断涌现,可是现有的光电体系中的根本光学核算单元遍及受限于固化的结构与较低的扩展性,极大地约束了光自身的物理潜能和核算才能。导致当时光网络只能完结简略的单一使命,学习新使命时无法战胜灾难性忘记的问题。
针对以上问题,清华大学电子工程系方璐课题组,提出了终身学习光核算架构L2ONN(Lifelong Learning Optical Neural Network)(如图1所示),立异性完结了可继续学习的多使命智能体系。获益于大规模光衔接中固有的稀少性和并行性,光核算天然地仿照了人脑中神经元和突触的终身学习机制。经过自适应地激活相干光场中的稀少光衔接来学习每个使命,一起逐步激活光核算来继续取得对各种使命的经历信息,多使命光学特征由分配有不同波长的多光谱表征并行处理。所提出光终身学习架构从理论上保证了光自身物理特性带来的可扩展性和通用性,构建了新式神经形状核算体系,赋予智能体系以光速核算的才能。
为评价L2ONN的可继续学习才能,项目组在多个具有挑战性的数据集进步行了仿线所示)。很多试验证明,L2ONN避免了一般光神经网络的灾难性忘记问题,在多种数据(视觉分类、语音辨认、医学确诊等)上完结多使命终身学习,其学习才能比一般光神经网络高出14倍以上。
进一步,团队依据衍射核算模型实践制作了光终身学习芯片(如图3所示),并运用其完结了继续学习和并行处理,完结了光学智能体系在边际硬件的实践布置。终究依据成果得出,该芯片运用有限的核算资源,核算能效比典型的电神经网络高出一个数量级以上。
该文提出的光终身学习架构展示了光核算特殊的学习才能。跟着硅光芯片集成技能的开展,依据智能光核算终身学习架构的光芯片有用支撑多使命并行处理,为智能体系在边际硬件的实践布置供给可继续学习的光速处理方案。该光核算架构以其在功用、通量、能效上的优势,有望显着提高AI体系的可扩展性和通用性,使机器智能具有像人类相同对实践国际杂乱使命的适应才能。