神经网络与大脑
大脑多是一个多任务的操作系统(多进程)
大脑皮层是eval模式下的神经网络模型,正在工作着的。(最后几层的全连接层, 分类用)
海马体是存储数据集的(DataSet)
模型参数存在大脑皮层的下方区域。
每天睡觉的时候,大脑就会开始自动进行网络的训练,数据集来自海马体。并反向传播,更新模型参数。训练好了之后,就保存起来(保存到原来的地方)。
所以在,你睡觉的时候,你的梦境可以很科幻,奇怪,没有规律:因为这时候,你大脑中的模型权重和Bias是随机变化的。
当你睡醒的时候,大脑皮层会自动加载夜间训练好的模型。这时候,模型权重和Bias是固定的。所以你会很清晰。