· 1 分钟读完 · Read in English

现在的模型训练好像没有睡眠阶段 译文

我们训练神经网络时,从人脑借来了很多类比。但有一样东西好像缺了——睡眠,或者说深度休息。

这篇聊聊我们训练神经网络的方式。我们从人脑借来了很多类比:神经元;反向传播有点像神经元之间的连接;激活值对应神经元放电(电信号),等等。但有一样东西好像缺了:睡眠,或者说深度休息。

人脑神经网络训练
神经元神经元
神经元之间的连接反向传播
神经元放电(电信号)激活值
睡眠,或者说深度休息?

学知识的时候,最好的办法是主动回忆学过的东西,然后好好休息,让大脑把它转进长期记忆,把知识压缩起来。现在的模型训练好像没有这个睡眠阶段。

在模型训练里实现类似机制的一种可能:大概是某种自我压缩——在没有任何外部输入的情况下让模型自己复述,再逼它用更少的权重来压缩知识,等等。

评论

  1. 正在加载评论…