损失函数和优化介绍

1. Loss function

A loss function tells how good our current model classifier is.

1.1 Multiclass SVM loss

$L_i = \sum_{j \neq y_i}max(0, s_j - s_{y_i} + \Delta)$Li​=j​=yi​∑​max(0,sj​−syi​​+Δ)
notation: $s = f(x_i, W), \Delta$s=f(xi​,W),Δ is safety margin

1.2 Regularization

$L(W) = \underbrace{\frac{1}{N} \sum^N_{i = 1}L_i(f(x_i, W), y_i)}_{Data\:loss} + \underbrace{\lambda R(W)}_{Regularization: Model \: should \: be "simple"}$L(W)=DatalossN1​i=1∑N​Li​(f(xi​,W),yi​)​​+Regularization:Modelshouldbe"simple"λR(W)​​

1.3 Softmax Classifier

 这里计算的是Softmax的损失函数，其实和交叉熵损失是一个东西。交叉熵损失也就是下面这个公式，其目的是为了保持模型预测的概率与ground truth是同分布的。交叉熵公式如下：
$J = -\sum^K_{i=1}y_i log(P_i)$J=−i=1∑K​yi​log(Pi​)

2. Optimization

 这里介绍了数值计算梯度下降和公式计算梯度下降。虽然数值计算梯度下降计算很慢，但是这个可以用来做一个参考，来检测我们写的公式计算梯度是否正确。