由基础科学研究所（IBS）认知与社会性中心（Center for Cognition and Sociality）和数据科学小组（Data Science Group）的研究人员组成的跨学科团队发现，人工智能（AI）模型的记忆处理过程与人类大脑的海马体（hippocampus）惊人地相似。这项新发现为记忆巩固提供了一个新的视角，而记忆巩固是人工智能系统中将短期记忆转化为长期记忆的一个过程。
在开发人工通用智能（AGI）的竞赛中，在 OpenAI 和谷歌 DeepMind 等有影响力的实体的引领下，理解和复制类人智能已成为一项重要的研究兴趣。Transformer 模型是这些技术进步的核心，其基本原理目前正在得到新的深入探讨。
强大人工智能系统的关键在于掌握它们如何学习和记忆信息。研究小组将人脑学习的原理，特别是通过海马体中的 NMDA 受体进行记忆巩固的原理，应用到了人工智能模型中。
NMDA 受体就像大脑中的一扇智能门，能促进学习和记忆的形成。当一种名为谷氨酸的脑化学物质存在时，神经细胞就会发生兴奋。另一方面，镁离子就像一个小守门员，挡住了这扇门。只有当这个离子守门员靠边站时，物质才能流入细胞。这就是大脑创造和保持记忆的过程，而守门人（镁离子）在整个过程中的作用是相当特殊的。
研究小组有了一个惊人的发现：Transformer模型似乎使用了一种类似于大脑 NMDA 受体的守门过程。这一发现促使研究人员开始研究Transformer模型的记忆巩固是否可以通过一种类似于 NMDA 受体门控过程的机制来控制。
众所周知，在动物大脑中，镁含量低会削弱记忆功能。研究人员发现，Transformer模型的长期记忆可以通过模拟 NMDA 受体得到改善。
就像在大脑中，镁含量的变化会影响记忆强度一样，调整Transformer模型的参数以反映 NMDA 受体的门控作用，也能增强人工智能模型的记忆力。这一突破性发现表明，人工智能模型的学习方式可以用神经科学的既有知识来解释。
C. Justin Lee是该研究所的神经科学主任，他表示：“这项研究在推进人工智能和神经科学方面迈出了关键一步。它让我们能够更深入地探索大脑的运作原理，并基于这些洞见开发出更先进的人工智能系统。”
该团队和KAIST的数据科学家CHA Meeyoung指出：”与需要巨大资源的大型人工智能模型不同，人类大脑以最小的能量运行，这是非常了不起的。我们的工作为像人类一样学习和记忆信息的低成本、高性能人工智能系统开辟了新的可能性”。
这项研究的与众不同之处在于，它主动将大脑启发的非线性纳入人工智能结构，这标志着在模拟类似人类的记忆巩固方面取得了重大进展。人类认知机制与人工智能设计的融合，不仅有望创造出低成本、高性能的人工智能系统，还能通过人工智能模型对大脑的工作原理提供有价值的见解。
这项研究在第 37 届神经信息处理系统大会上发表。
论文的更多信息：
Transformer as a hippocampal memory consolidation model based on NMDAR-inspired nonlinearity
基于NMDAR启发的非线性的海马记忆巩固Transformer模型。
https://openreview.net/pdf?id=vKpVJxplmB
原创文章，作者：Xaiat
，如若转载，请注明出处：https://www.xaiat.com/%e4%ba%ba%e5%b7%a5%e6%99%ba%e8%83%bd%e7%9a%84%e8%ae%b0%e5%bf%86%e5%bd%a2%e6%88%90%e6%9c%ba%e5%88%b6%e4%b8%8e%e4%ba%ba%e7%b1%bb%e5%a4%a7%e8%84%91%e6%83%8a%e4%ba%ba%e7%9b%b8%e4%bc%bc/
