现在的模型训练好像没有睡眠阶段 译文
我们训练神经网络时,从人脑借来了很多类比。但有一样东西好像缺了——睡眠,或者说深度休息。
这篇聊聊我们训练神经网络的方式。我们从人脑借来了很多类比:神经元;反向传播有点像神经元之间的连接;激活值对应神经元放电(电信号),等等。但有一样东西好像缺了:睡眠,或者说深度休息。
| 人脑 | 神经网络训练 |
|---|---|
| 神经元 | 神经元 |
| 神经元之间的连接 | 反向传播 |
| 神经元放电(电信号) | 激活值 |
| 睡眠,或者说深度休息 | ? |
学知识的时候,最好的办法是主动回忆学过的东西,然后好好休息,让大脑把它转进长期记忆,把知识压缩起来。现在的模型训练好像没有这个睡眠阶段。
在模型训练里实现类似机制的一种可能:大概是某种自我压缩——在没有任何外部输入的情况下让模型自己复述,再逼它用更少的权重来压缩知识,等等。
评论