灾难性遗忘指的是：不像人类，当深度学习模型被训练完成新的任务时，他们很快就会忘记以前学过的东西。8月13号的自然通讯论文Brain-inspired replay for continual learning with artificial neural networks，介绍了如何通过在模拟大脑中的“回放”机制，解决该问题。
灾难性的遗忘出现，并不是由于网络容量有限，为了完成新任务（区分牛和羊），不得不忘记旧任务（区分猫和狗）。同样的网络可以学习如果单独训练，可以完成新旧两类任务（区分猫和牛）。然而，在现实世界中，训练样本并没有交错出现，而是先呈现任务A，再呈现任务B的训练样本。
如果能够存储以前遇到的示例，并在学习新东西时重新访问它们。那就能够避免灾难性遗忘。然而这种解决方案，在大数据集上的可扩展性受到了质疑，因为不断重新训练所有以前学过的任务是非常低效的，而且需要存储的数据量会变得无法快速管理。
在大脑中，一种被认为对维持记忆很重要的机制是：代表这些记忆的神经元活动模式会被重新激活，这被认为对于稳定新的记忆非常重要。大脑显然已经实现了一种高效且可扩展的持续学习算法。这种记忆回放由海马体调控，一般发生在刚刚睡眠和即将醒来的时间段。
在人工神经网络中，类似的记忆回放可以被称为“生成性回放”，本文提出的，正是这样一种受大脑启发，改进后回放机制，使训练数据中内部被隐藏的特征，而不是数据本身被回放（重复训练）。被回放的表征是由网络自身的、上下文调制的反馈连接生成的。
