2019/6/2CS231n课程笔记(损失函数和优化)

损失函数

线性分类器，weight表示对应每一类的权重。

什么是损失函数，把W作为一个输入，输入到一个函数中，将得分值作为衡量W好坏的标准。

多类别SVM分类器

看笔记本23页有相关笔记。

1、如果我们稍微改变一点车这个分类的score值，我们的损失函数会有什么变化吗？

答：不会变化，svm分类器在乎的是正确的比不正确的大1，汽车分数比其他的都要大，1的界限不会被破坏。

2、loss的最大最小值是多少？

答：最小是0，最大是无穷

3、初始化W刚开始训练的时候，分数的结果在开始时将会是较小的均匀分布的值近乎为0，使用svm损失函数预计会是什么样的呢？

答：分类的数量减一，若是对所有不正确的分类遍历一遍，实际上遍历了c-1个类别，对于每一个类别因为两个值差的不多我们就得到一个值为1的损失项。

4、如果对所有的类别进行求和包括争取分类的类别，会怎么样呢？

答：损失函数的值会增加1。这个问题的意思是：去掉限制条件j≠yi时，总的loss值有什么变化？？？与之前求的loss比，多了当j=yi时的max（0，Sj-Syi+1）,这时Sj-Syi为0，求max得1，将这一项加到总的loss值，所以导致loss值加1.

5、为什么对loss取平均？

答：不取平均也可以，其实没什么影响。

6、如果我们将loss的计算式子加上一个平方项会有什么影响呢？

答：有影响，之前是线性的，平方之后就不是线性的，若有错误，错误也会翻倍。

Softmax分类器

笔记本48页

1、softmax损失函数的最大值和最小值是多少？

答：最小值是0，最大值是无穷大。

2、在最初初始化的时候W的值很小，以至于score基本近乎0，loss值是多少？

答：lg(c)

优化

随机搜索采样对W进行选择。但performance很差啊。

有限差分法，不同维度上分别加上h，计算新的loss，之后在分别计算不同维度更改之后的梯度值。

在梯度下降算法中，最先需要确定的就是学习率，也就是梯度下降的步长，用多大的值对W进行调整。

adam优化器。

提取图像的特征，相比于输入原始像素，输入特征可以更好地进行分类。

颜色直方图，计算不同颜色出现的像素的数量，HOG方向的梯度直方图

词袋法：bag of words。首先获得一些图像，随机获取这些图像的部分信息，使用K均值风方法，形成不同的簇，得到不同的簇中心。之后视觉单词得到许多颜色信息。得到了图像的码本，计算不用的视觉出现的次数。