CNTK:train预嵌入嵌入层初始化嵌入层?

问题描述:

Embedding图层(https://www.cntk.ai/pythondocs/layerref.html#embedding)的文档显示它可以使用weights参数进行预训练嵌入进行初始化,但是这些嵌入在训练期间不会更新。CNTK:train预嵌入嵌入层初始化嵌入层?

有没有一种方法来初始化Embedding层预训练嵌入,并仍然在训练期间更新它们?

如果没有,那么执行批次嵌入最有效的方法是用一个热矢量来查找?

是的,只需传递初始值init即可。这将创建一个可传递参数的可学习参数。