深度学习笔记
1、学习与智能
学习的能力，是智能的本质。
2、ImageNet图像分类比赛
ImageNet图像分类比赛，共有22K个类别，14M张图像。
3、传统人工智能算法与深度学习算法的比较
4、无人驾驶汽车需要用到的深度学习技术
（1）物体检测；
（2）行人检测；
（3）标志识别；
（4）速度识别。
5、深度学习的常规套路
（1）收集数据并给定标签；
（2）训练一个分类器；
（3）测试，评估。
6、K近邻算法
（1）算法思想
对于未知类别属性数据集中的点：
- 计算已知类别数据集中的点与当前点的距离
- 按照距离依次排序
- 选取与当前点距离最小的K个点
- 确定前K个点所在类别的出现概率
- 返回前K个点出现频率最高的类别作为当前点预测分类。
（2）算法解释
-
KNN 算法本身简单有效，它是一种 lazy-learning 算法。
分类器不需要使用训练集进行训练，训练时间复杂度为0。
KNN 分类的计算复杂度和训练集中的文档数目成正比，也就是说，如果训练集中文档总数为 n，那么 KNN 的分类时间复杂度为O(n)。
K 值的选择，距离度量和分类决策规则是该算法的三个基本要素。
该算法在分类时有个主要的不足是，当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的 K 个邻居中大容量类的样本占多数。解决方法：不同的样本给予不同权重项。 -
选取超参数的正确方法是：将原始训练集分为训练集和验证集，我们在验证集上尝试不同的超参数，最后保留表现最好那个。
如果训练数据量不够，使用交叉验证方法，它能帮助我们在选取最优超参数的时候减少噪音。
一旦找到最优的超参数，就让算法以该参数在测试集跑且只跑一次，并根据测试结果评价算法。
最近邻分类器能够在CIFAR-10上得到将近40%的准确率。该算法简单易实现，但需要存储所有训练数据，并且在测试的时候过于耗费计算能力。
最后，我们知道了仅仅使用L1和L2范数来进行像素比较是不够的，图像更多的是按照背景和颜色被分类，而不是语义主体本身。 -
预处理你的数据：对你数据中的特征进行归一化（normalize），让其具有零平均值（zero mean）和单位方差（unit variance）。
如果数据是高维数据，考虑使用降维方法，比如PCA。
将数据随机分入训练集和验证集。按照一般规律，70%-90% 数据作为训练集，在验证集上调优，尝试足够多的k值，尝试L1和L2两种范数计算方式。
7、数据库样例CIFAR-10
该数据库有：10类标签，50000个训练数据，10000个测试数据，大小均为32*32。
8、L1距离（城市距离）与L2距离（欧式距离）
9、交叉验证
10、损失函数
（1）损失函数的计算
（2）损失函数的可容忍程度
（3）损失函数公式
（4）正则化惩罚项
L2正则化
（5）损失函数终极版
11、Sigmoid函数
12、Softmax分类器
Softmax的输出（归一化的分类概率）。
损失函数：交叉熵损失（cross-entropy loss）。
被称作softmax 函数。其输入值是一个向量，向量中元素为任意实数的评分值。输出一个向量，其中每个元素值在0到1之间，且所有元素之和为1。
13、SVM损失函数与Softmax损失函数对比
损失函数公式汇总
14、梯度下降
Batchsize通常是2的整数倍（32，64，128）。
学习率比较图：
15、ReLu**函数
16、Drop-Out
17、卷积神经网络
（1）卷积神经网络组成：
[INPUT - CONV - RELU - POOL - FC]
输入层-卷积层-**函数-池化层-全连接层
（2）卷积层计算过程
（3）特征图大小计算
（4）卷积神经网络的权重参数个数计算
所以，得到同样的感受野大小，卷积核较小的网络虽然层数更多，但是权重参数更少。
（5）经典的卷积神经网络
（6）经典卷积神经网络的模型库
Caffe框架的卷积神经网络模型库“Model Zoo”：
https://github.com/BVLC/caffe/wiki/Model-Zoo
18、数据增强
数据增强方式包括：平移、旋转、伸缩、裁剪、镜头扭曲变形等。