机器学习
- 练练你的关机肌肉 译文
直到看到 MoE 模型架构,我才明白冥想的好处:MoE 会告诉你该把哪些部分关掉。
- 量化基于直方图的思想 译文
我突然意识到,量化基于的是直方图的思想。
- 现在的模型训练好像没有睡眠阶段 译文
我们训练神经网络时,从人脑借来了很多类比。但有一样东西好像缺了——睡眠,或者说深度休息。
直到看到 MoE 模型架构,我才明白冥想的好处:MoE 会告诉你该把哪些部分关掉。
我突然意识到,量化基于的是直方图的思想。
我们训练神经网络时,从人脑借来了很多类比。但有一样东西好像缺了——睡眠,或者说深度休息。