10月27日，谷歌研究团队发布持续学习新方法‘睡眠框架’，旨在解决大语言模型部署后知识难以更新、易发生灾难性遗忘的问题。该框架模拟人类睡眠中的记忆巩固机制，划分‘清醒’与‘睡眠’阶段：清醒时处理输入并暂存短期记忆；睡眠时自动整合信息、扩展参数、蒸馏知识，并通过生成式‘做梦’强化推理能力。实验表明，模型可在1000万token长上下文及多阶段持续学习中保持性能稳定，在数学推理等任务上准确率提升。
免责声明：本文内容由开放的智能模型自动生成，仅供参考。
10月27日，谷歌研究团队发布持续学习新方法‘睡眠框架’，旨在解决大语言模型部署后知识难以更新、易发生灾难性遗忘的问题。该框架模拟人类睡眠中的记忆巩固机制，划分‘清醒’与‘睡眠’阶段：清醒时处理输入并暂存短期记忆；睡眠时自动整合信息、扩展参数、蒸馏知识，并通过生成式‘做梦’强化推理能力。实验表明，模型可在1000万token长上下文及多阶段持续学习中保持性能稳定，在数学推理等任务上准确率提升。
免责声明：本文内容由开放的智能模型自动生成，仅供参考。