谷歌研究院提出睡眠框架：让LLM在持续学习中保持知识

谷歌研究院提出睡眠框架，旨在通过交替的唤醒与休眠阶段，让LLM在持续学习中保持知识并自我提升。该框架模拟人类大脑休眠过程，包含记忆巩固与做梦两个阶段。记忆巩固通过参数扩展和知识向上蒸馏将短期记忆转化为长期参数，做梦则通过随机专家激活和基于梯度的样本筛选进行自改进。