首页 排行榜文章正文

中科院突破：AI实现持续学习不忘旧知

排行榜 2025年10月22日 00:22 0 admin

中科院突破：AI实现持续学习不忘旧知

这项由中科院计算技术研究所、中科院大学和美团公司合作完成的研究发表于2025年9月，论文编号为arXiv:2509.22072v2。研究团队由杨万里、孙飞、唐瑞等多位研究者组成，其中孙飞博士为通讯作者。这项研究彻底颠覆了学界对一种常用AI训练方法的认知，就像发现了一个被误用多年的"万能工具"其实威力无穷。

当我们学习新知识时，大脑会在不遗忘旧知识的基础上吸收新信息。然而，现在的大型语言模型（比如ChatGPT这类AI系统）在学习新知识时却面临一个严重问题：它们要么无法有效学习新内容，要么学会了新知识却忘记了之前掌握的技能。这就像一个学生在学数学时把语文全忘了，或者学了语文却怎么也记不住数学。

长期以来，研究人员认为传统的"微调"方法（可以理解为给AI补课的一种方式）不适合用来教AI新知识。他们转而开发了各种复杂的新方法，就像医生放弃了常见药物转而研制昂贵的特效药。然而，这项研究发现，问题的根源不在于"微调"方法本身有缺陷，而是过去的使用方式完全错了。

研究团队通过深入分析发现，过去的研究者在使用微调方法时，采用了一种类似"填鸭式"的教学方式：让AI反复学习同一个知识点直到完全记住，然后再学下一个。这种做法导致后学的知识会覆盖前面学过的内容，就像在黑板上不停地擦掉旧内容写新内容一样。

真正的突破来自于改变学习策略。研究团队发现，如果让AI像人类学生一样，把所有要学的知识混在一起，分多次重复学习，效果会好得惊人。这就像学生不是把数学题做完再做语文题，而是数学做几道，语文做几道，然后再回过头来复习，这样循环往复。

这种方法被研究团队称为"广度优先"学习，相对于之前的"深度优先"学习。通过这种改变，AI不仅能成功学会新知识，还能很好地保持原有能力。更重要的是，研究团队还发现了AI大脑中最适合"动手术"的位置，就像找到了大脑中负责存储特定知识的区域。

实验结果令人震惊。使用这种优化后的方法，AI的学习成功率比之前的最佳方法平均提高了33.72%。更令人惊讶的是，这种方法能够让AI连续学习10万个新知识点而不崩溃，这个数量是之前方法极限的10倍。研究团队还成功地将这种方法应用到了拥有720亿参数的超大型AI模型上，这也是该领域的首次突破。

这项发现的意义不仅在于技术突破，更在于它揭示了一个重要道理：有时候，最好的解决方案就在我们身边，只是被错误的使用方式掩盖了。正如马克·吐温曾说过的那句话："让你陷入困境的不是你不知道的事情，而是你确信无疑但实际错误的认知。"

研究团队通过大量实验证明了他们的发现。他们测试了多种不同类型的AI模型，包括广受欢迎的LLaMA、Mistral和Qwen系列。在每一个测试中，改进后的方法都表现出色。特别是在持续学习能力测试中，这种方法展现了惊人的稳定性，即使在学习了数万个新知识后，AI仍然能够保持原有的能力不受影响。

为了验证方法的有效性，研究团队设计了一个巧妙的实验。他们把要学习的知识分成5个部分，然后观察AI在学习过程中的表现变化。结果发现，用传统方法训练的AI会出现"边学边忘"的现象：前面学的知识在学习后面内容时逐渐消失。而用新方法训练的AI则能够稳步提高，所有知识都能很好地保持。

这种现象可以用搬家来比喻：传统方法就像每次只能搬一样东西，而且每搬一样新的就要扔掉一样旧的；新方法则像有了一个足够大的新房子，可以把所有东西都妥善安置，不需要丢弃任何物品。

研究团队还深入研究了AI模型的内部结构，寻找最适合进行知识更新的位置。这就像外科医生需要精确地知道在哪里下刀才能达到最好的治疗效果。通过系统性的分析，他们发现AI模型的后层结构中的特定组件最适合进行知识编辑，这些位置既能有效地存储新知识，又不会干扰模型的其他功能。

从技术角度来看，这项研究的创新主要体现在三个方面。首先是训练流程的改进：从单个样本反复训练改为批量混合训练。其次是梯度聚合方式的优化：从单个样本更新改为小批量更新，这就像从单兵作战改为团队协作，效果更加稳定。最后是参数位置的精准定位：不再盲目选择更新位置，而是基于大量实验找到最优的更新位置。

实验覆盖了三个主要的数据集：ZsRE、CounterFact和WikiBigEdit。这些数据集代表了不同类型的知识更新场景，从简单的事实更新到复杂的推理知识修改。在所有测试中，改进后的方法都展现了卓越的性能，不仅学习效果好，而且速度快，每次知识更新只需要不到一秒钟的时间。

特别值得注意的是规模化测试的结果。当研究团队将编辑数量从常见的3000个增加到100000个时，大多数传统方法都无法维持性能，而新方法依然稳如磐石。这就像马拉松比赛中，大多数选手在中途就体力不支，而经过特殊训练的选手却能一直保持最佳状态冲过终点。

在模型规模测试中，研究团队成功地将方法扩展到了720亿参数的大型模型。这相当于从训练小学生扩展到了训练博士生，难度和复杂性都有质的飞跃。然而，新方法依然表现出色，证明了其强大的普适性和扩展性。

这项研究的实际应用前景非常广阔。在搜索引擎领域，可以让AI及时更新最新信息而不影响原有知识；在智能客服领域，可以让AI学习新的产品知识而不忘记基础服务技能；在教育领域，可以让AI助手持续学习新的教学内容而保持教学能力的完整性。

值得强调的是，这种方法的简洁性是其最大的优势之一。与其他复杂的方法相比，这种方法不需要额外的模型架构设计，不需要预先计算复杂的矩阵，也不需要特殊的训练数据。就像发现了一种简单而有效的烹饪技巧，任何人都可以轻松掌握和使用。

研究团队还进行了详细的消融实验，分别验证了每个改进组件的贡献。结果显示，训练流程的改进对于防止知识遗忘最为关键，而梯度聚合方式的优化则主要提升了模型的整体稳定性。参数位置的优化虽然贡献相对较小，但对于获得最优性能仍然重要。

从工程实践的角度来看，这项研究提供了一套完整的实施方案。研究团队不仅提出了理论方法，还给出了具体的参数选择建议和实现细节。他们甚至为不同类型的模型提供了个性化的配置方案，就像量身定制的西装一样合身。

说到底，这项研究最重要的价值在于它改变了我们对AI学习能力的认知。长期以来，人们认为让AI像人一样持续学习是一个极其复杂的技术难题，需要开发全新的算法和架构。然而，这项研究证明，有时候最好的解决方案就藏在最基础的方法中，只是需要正确的使用方式。

这种发现在科学史上并不罕见。许多重大突破都来自于对现有方法的重新审视和改进，而不是完全推倒重来。这提醒我们，在追求创新的过程中，不应该急于抛弃经典方法，而应该深入理解其本质，找到正确的使用方式。

对于普通人来说，这项研究意味着我们将看到更加智能和稳定的AI系统。未来的AI助手可能真的能像人类一样，在学习新知识的同时保持原有的能力和记忆。这将大大提升AI系统在实际应用中的可靠性和实用性，让AI真正成为我们生活和工作中可信赖的伙伴。

对于AI研究者来说，这项工作提供了一个重要的启示：在开发新方法之前，首先要确保现有方法已经被正确使用。这种"回到基础"的研究精神，可能是突破技术瓶颈的关键所在。感兴趣的读者可以通过论文编号arXiv:2509.22072v2查询完整的技术细节和实验结果。

Q&A

Q1：什么是模型编辑技术？为什么AI需要这种技术？

A：模型编辑技术是让AI学习新知识而不忘记旧知识的方法。AI模型训练完成后，如果要更新知识，传统方法要么学不会新内容，要么学会了新知识却忘记原有技能。模型编辑技术就是解决这个"边学边忘"问题的关键技术。

Q2：LocFT-BF方法与传统方法有什么不同？

A：LocFT-BF改变了AI的学习方式，从原来的"一个一个深入学习"改为"所有知识混合重复学习"，就像学生不再是把数学题全做完再做语文题，而是交替学习。这种方法让AI能连续学习10万个知识点而不崩溃，学习成功率比之前最好方法提高了33.72%。

Q3：这项研究成果什么时候能应用到实际的AI产品中？

A：这项研究已经在多种主流AI模型上验证成功，包括最大720亿参数的模型。由于方法简单且不需要复杂的额外设计，预计很快就能被AI公司采用。未来的AI助手、搜索引擎、智能客服等都可能受益于这项技术，变得更加智能和稳定。


相关文章

发表评论

长征号 Copyright © 2013-2024 长征号. All Rights Reserved.  sitemap