突破!清华团队终身学习架构开启光速AI计算之门

人工智能任务日益复杂、多样且动态变化,传统机器学习方法往往基于固定数据集训练任务,无法适应环境变化,如何使AI系统具备多任务持续学习的能力成为亟须解决的问题。近年来,随着摩尔定律的停滞,以衍射神经网络为代表的光学架构作为新的计算模态,在功能和效率方面展现出巨大潜力。然而,当前光网络仍普遍存在“灾难性遗忘”(catastrophicforgetting)的问题,学习新任务会失去先前任务的记忆。

受人脑实现可持续学习的神经突触机制启发,基于光天然物理上的稀疏性和并行性,清华大学电子工程系方璐副教授团队首创了智能光计算终身学习架构,突破光网络单一功能限制,支撑类脑并行多任务学习。通过稀疏光连接及多光谱并行计算等关键模块,赋予光计算系统超越现有技术的功能、通量与能效,为智能系统在边缘硬件的多任务部署提供了光速解决方案。

近年来,以光计算为基础、通过光电融合的方式构建光电神经网络已成为国际前沿的热点研究。然而,虽然以衍射神经网络为代表的各式光网络不断涌现,但是现有的光电系统中的基本光学计算单元普遍受限于固化的结构与较低的扩展性,极大地限制了光本身的物理潜能和计算能力,导致当前光网络只能实现简单的单一任务,学习新任务时无法克服灾难性遗忘的问题。

针对上述问题,方璐团队提出了终身学习光计算架构L2ONN(LifelongLearningOpticalNeuralNetwork)(图1),创新性实现了可持续学习的多任务智能系统。受益于大规模光连接中固有的稀疏性和并行性,光计算天然地模仿了人脑中神经元和突触的终身学习机制。通过自适应地激活相干光场中的稀疏光连接来学习每个任务,同时逐渐激活光计算来持续获得对各种任务的经验信息,多任务光学特征由分配有不同波长的多光谱表征并行处理。所提出光终身学习架构从理论上确保了光本身物理特性带来的可扩展性和通用性,构建了新型神经形态计算体系,赋予智能系统以光速计算的能力。

为评估L2ONN的可持续学习能力,项目组在多个具有挑战性的数据集上进行了仿真验证(图2)。大量实验证实,L2ONN避免了普通光神经网络的灾难性遗忘问题,在多种数据(视觉分类、语音识别、医学诊断等)上完成多任务终身学习,其学习能力比普通光神经网络高出14倍以上。

进一步,团队基于衍射计算模型实际制造了光终身学习芯片(图3),并利用其实现了持续学习和并行处理,完成了光学智能系统在边缘硬件的实际部署。最终结果表明,该芯片使用有限的计算资源,计算能效比典型的电神经网络高出一个数量级以上。

研究提出的光计算终身学习架构展现了光计算非凡的学习能力。随着硅光芯片集成技术的发展,基于智能光计算终身学习架构的光芯片有效支撑多任务并行处理,为智能系统在边缘硬件的实际部署提供可持续学习的光速解决方案。该光计算架构以其在功能、通量、能效上的优势,有望显著提升人工智能系统的可扩展性和通用性,使机器智能拥有像人类一样对现实世界复杂任务的适应能力。

近日,该研究成果以“数十项任务终身学习的光子神经形态结构”(Photonicneuromorphicarchitecturefortens-of-tasklifelonglearning)为题,在线发表于《自然》(Nature)子刊《光:科学与应用》(Light:Science&Applications)。

清华大学电子工程系程远博士后为论文第一作者,方璐为论文通讯作者。研究得到国家自然科学基金委基础科学中心项目,科技部2030“新一代人工智能”重大项目,清华大学-之江实验室联合研究中心等的支持。

THE END
1.数智赋能研究生学术道德提升路径—中国教育在线在促进研究生自我监督与能力提升方面,人工智能技术可提供多维支持。通过AI驱动的个性化学术道德学习,根据研究生的学术背景、研究领域和行为数据,动态推荐相关的学术道德课程和学习资源,帮助研究生进行有针对性的学习。AI辅助的学术作品检测工具可以实时检查论文中的潜在剽窃问题、格式错误和数据异常,帮助研究生在提交前规范学https://gj.eol.cn/gxdt/202412/t20241220_2647430.shtml
2.深度学习:重塑学校教育的未来腾讯云开发者社区摘要:本文旨在全面剖析深度学习技术在教育领域的应用现状及未来前景。通过对当前深度学习技术在教育中的应用案例进行深入剖析,探讨其在教学效果、学习体验等方面的积极作用,同时分析存在的挑战与问题。在此基础上,本文将进一步展望深度学习技术在教育领域的未来发展趋势,并提出相应的策略建议,以期为推动深度学习技术在教育中https://cloud.tencent.com/developer/article/2478555
3.可持续发展创新趋势:数据与AI驱动“脱虚向实”绿色转型12月19日,由南方都市报主办的“绿色共生·数智普惠”2024年度ESG可持续发展生态大会在上海举行。围绕如何践行“负责任的投资,可持续的创新”的主题,京东物流可持续发展总监宋开、晶科能源ESG负责人姚臣谌、盒马可持续发展总监梅旭明、 妙盈科技中国区商务高级副总裁海舟展开了精彩圆桌谈论。 AI助力物流油耗降低15% https://static.nfnews.com/content/202412/20/c10358614.html
4.数据驱动的可持续发展政策制定路径研究生态创新数据驱动的可持续发展政策制定路径是一种科学、有效的决策方式,通过数据收集、分析、问题诊断、政策制定和评估调整等环节,可以制定出更加科学、精准的可持续发展政策,在实施过程中可能会面临一些挑战,需要采取相应的解决方案加以应对,随着技术的不断进步和数据的不断积累,数据驱动的可持续发展政策制定将更加成熟和完善。https://www.mountainfutures.com/post/957.html
5.优质+均衡学在西乡塘——南宁市西乡塘区扩容增量提质培优实现好学校全方位进行爱党、爱国主义教育,着重突出“爱”和“孝”的文化色彩,让每个学生都力行德行教育:爱党爱国、孝敬长辈、尊重师长、学会感恩、学会做事、学会学习。学校通过德行教育讲座、感恩教育讲座、献爱心活动、总结表扬激励、开展文体活动等一系列的德育文体活动,让学生学做真人。 https://www.nanning.gov.cn/ywzx/xqdt/2021xqdt/t4856160.html
6.智东西周报:中国类脑芯片登上Nature封面最新AI提前2天预测急性肾据悉,ERNIE 2.0支持增量引入词汇(lexical)、语法 (syntactic) 、语义 (semantic) 等3个层次的自定义预训练任务,这些任务通过多任务学习对模型进行训练更新,每当引入新任务时,该框架可在学习该任务的同时,不遗忘之前学到过的信息。 12、澎思科技宣布新加坡研究院揭牌成立 https://zhidx.com/p/157282.html
7.上海市育鹰学校“基于“基于教学改革融合信息技术的新型教与学将信息技术运用于课程设计与课程教学过程,改变传统“以教师为中心”的课堂教学方式,实现教学资源整合,优化课程,激发学生学习热情。 在进行总体规划时,采用“1套基础设施+1个支撑平台+N个核心应用”的建设理念。本次着重建设3个核心应用。 支撑平台选用开放、可持续发展的技术架构,搭建稳定、灵活、开放的基础服务;实现http://www.yuying.edu.sh.cn/info/1076/8592.htm
8.2022年第4次党委理论学习中心组学习资料内部资料 注意保管 党委理论学习中心组(扩大)学习会 学习资料汇编 2022年第4期 中共四川工商职业技术学院委员会2022年4月 目 录专题一 习近平总书记重要讲话、指示和文章 在北京冬奥会、冬残奥会总结表彰大会上的讲话 在海南考察时的重要讲话精神 在视察文https://www.sctbc.net/info/2039/17328.htm
9.无绩效,不管理!彭剑锋教授深度解析10大绩效管理工具的选择与嘲从以上特点和发展历程来看,平衡计分卡比较适合那种规模较大的、相对成熟的企业,尤其是企业度过了一次创业,进入二次创业时期,要追求可持续发展,要追求长期跟短期的平衡,财务绩效和非财务绩效的平衡,企业内外的平衡时,平衡计分卡为企业家及高层提供了一个系统的战略绩效思维框架。但企业的发展现实是,不平衡是绝对的,平https://news.hexun.com/2020-04-20/201083440.html
10.学习力LTD知识百科增长黑武器个人的学习力,不仅包含它的知识总量,即个人学习内容的宽广程度和组织与个人的开放程度;也包含它的知识质量,即学习者的综合素质、学习效率和学习品质;还包含它的学习流量,即学习的速度及吸纳和扩充知识的能力;更重要的是看它的知识增量,即学习成果的创新程度以及学习者把知识转化为价值的程度。 https://ltd.com/article/5371410108248451.html
11.内控与合规自查报告20xx年,农行榆林分行高度重视内控合规工作,大力推行合规理念,使全行广大干部员工逐步认识到良好的合规文化是农业银行实现长治久安和可持续发展的基础和根本保证,全行上下逐步形成了“抓合规,强基础、控风险、促发展”的良好工作氛围,连续四年被评为内控管理一类行,辖属支行内控管理一类行占比达到89%。 https://www.yjbys.com/zichabaogao/4256445.html
12.合肥七中党委中心组2022年第六次学习会(20220701)新华社北京6月18日电 中共中央政治局6月17日下午就一体推进不敢腐、不能腐、不想腐进行第四十次集体学习。中共中央总书记习近平在主持学习时强调,反腐败斗争关系民心这个最大的政治,是一场输不起也决不能输的重大政治斗争。要加深对新形势下党风廉政建设和反腐败斗争的认识,提高一体推进不敢腐、不能腐、不想腐https://www.hfqz.net.cn/lilunxuexi/11868.html
13.AI=机器学习2,我们在去往2的路上普林斯顿范剑青教授它最后的产品当然是一个可执行的程序。未来有可执行的程序我们需要有一个优化目标,有优化目标跟刚才Michael I. Jordan说的一样,需要统计建模。 大家比较熟悉的深度学习,其实是一个神经网络系统,更直白一点是数学的函数逼近,它用的是两种方法,信号源的线性组合,再做非线性的选择,重复的过程构成很复杂的函数逼近方法https://www.leiphone.com/news/201809/Wq8mfuPoeBLzgMg8.html