人工神经网络在花时间不学习时学习效果更好

根据年龄的不同，人类每24小时需要7至13小时的睡眠。在这段时间里，发生了很多事情。心率、呼吸和新陈代谢的起伏;激素水平的调整;身体的放松。大脑却没有这么多。

"当我们睡觉时，大脑非常忙碌，重复我们在白天学到的东西，"加州大学圣地亚哥分校医学院的医学教授和睡眠研究员马克西姆-巴兹诺夫博士说。"睡眠有助于重新组织记忆，并以最有效的方式呈现它们。"

在以前发表的工作中，Bazhenov及其同事报告了睡眠如何建立理性记忆，即记住物体、人或事件之间的任意或间接关联的能力，并防止遗忘旧记忆。

人工神经网络利用人脑的结构来改善众多技术和系统，从基础科学和医学到金融和社交媒体。在某些方面，它们已经实现了超人的性能，如计算速度，但它们在一个关键方面失败了。当人工神经网络按顺序学习时，新的信息会覆盖以前的信息，这种现象称为灾难性遗忘。

"巴兹诺夫说："与此相反，人脑不断学习，并将新的数据纳入现有的知识中，而且当新的训练与睡眠期交错进行记忆巩固时，它的学习效果通常最佳。"

资深作者Bazhenov及其同事在2022年11月18日的《PLOS计算生物学》杂志上撰文，讨论了生物模型如何帮助减轻人工神经网络中灾难性遗忘的威胁，提升它们在各种研究领域的效用。

科学家们使用了人工模仿自然神经系统的尖峰神经网络。信息不是连续传递的，而是在某些时间点以离散事件(尖峰)的形式传递。

他们发现，当尖峰网络在新任务上接受训练，但偶尔有模仿睡眠的离线期时，灾难性的遗忘就会得到缓解。研究作者说，就像人类的大脑一样，网络的 "睡眠 "使它们能够在不明确使用旧的训练数据的情况下重放旧的记忆。

记忆在人脑中由突触重量的模式表示--两个神经元之间连接的强度或振幅。

"巴兹诺夫说："当我们学习新的信息时，"神经元按特定顺序发射，这增加了它们之间的突触。在睡眠期间，在我们清醒状态下学习到的尖峰模式会自发重复。这被称为重新激活或重放。

"突触可塑性，即改变或塑造的能力，在睡眠期间仍然存在，它可以进一步增强代表记忆的突触重量模式，帮助防止遗忘或使知识从旧任务转移到新任务。"

当巴兹诺夫及其同事将这种方法应用于人工神经网络时，他们发现它有助于网络避免灾难性的遗忘。

"这意味着这些网络可以持续学习，就像人类或动物一样。了解人类大脑在睡眠期间如何处理信息，有助于增强人类受试者的记忆。增强睡眠节律可以带来更好的记忆。

"在其他项目中，我们使用计算机模型来开发在睡眠期间应用刺激的最佳策略，如听觉音调，以增强睡眠节奏和改善学习。当记忆力不理想时，这可能特别重要，例如在衰老或阿尔茨海默氏症等一些疾病中记忆力下降时。"

共同作者包括。Ryan Golden和Jean Erik Delanois，都在加州大学圣地亚哥分校;以及Pavel Sanda，捷克科学院计算机科学研究所。