【MXNet】(十四):多层感知机的简单实现
多层感知机就是含有至少一个隐藏层的由全连接层组成的神经网络,且每个隐藏层的输出通过**函数进行变换。
常用的**函数有RELU函数,
sigmoid函数,
tanh函数,
下面来实现一个含有一个隐藏层的多层感知机。
首先导入包,
from mxnet import nd
from mxnet.gluon import loss as gloss
数据集还是使用Fashion-MNIST数据集,具体步骤请参考链接:【MXNet】(十一):Fashion-MNIST数据集。
下面定义好模型参数,
num_inputs, num_outputs, num_hiddens = 784, 10, 256
W1 = nd.random.normal(scale=0.01, shape=(num_inputs, num_hiddens))
b1 = nd.zeros(num_hiddens)
W2 = nd.random.normal(scale=0.01, shape=(num_hiddens, num_outputs))
b2 = nd.zeros(num_outputs)
params = [W1, b1, W2, b2]
for param in params:
param.attach_grad()
定义**函数,
def relu(X):
return nd.maximum(X, 0)
定义模型,
def net(X):
X = X.reshape((-1, num_inputs))
H = relu(nd.dot(X, W1) + b1)
return nd.dot(H, W2) + b2
定义损失函数,
loss = gloss.SoftmaxCrossEntropyLoss()
开始训练,train()函数的定义请参考链接 【MXNet】(十二):实现一个简单的softmax回归。
num_epochs, lr = 5, 0.5
train(net, train_iter, test_iter, loss, num_epochs, batch_size, params, lr)