深度学习
深度学习工程师50%的时间在调参数，49%的时间在对抗过/欠拟合，剩下1%的时间在修改down下来的程序。
Top-5错误率
ImageNet图像通常有1000个可能的类别，对每幅图像可猜5次结果(即同时预测5个类别标签)，当其中有任何一次预测对了，结果都算对，当5次全都错了的时候，才算预测错误。
Overfitting
过拟合，此问题是深度学习领域一个重大问题。为了得到一致假设而使假设变得过度严格称为过拟合，在每一个全连接层的神经**函数之后需要采用dropout的方式进行降拟合。特征有很多，但是特征有时候是和数据概率无关的，如果将这些特征放到模型里面，就肯定过拟合了。如喜欢玩游戏的深度学习，性别和年龄是合适的特征，如果将姓氏作为特征，放入数据中进行拟合，肯定过拟合了。与之相对的是欠拟合，特征不足会导致欠拟合
Generalization ability
泛化能力。指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据对背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。
局部感知
传统神经网络中每个神经元都要与图片上每个像素相连接，这样会造成权重的数量巨大网络难以训练。而在含有卷积层的的神经网络中每个神经元的权重个数是卷积核的大小，这样就相当于没有神经元只与对应图片部分的像素相连接。这样就极大的减少了权重的数量。
左图，输入1000*1000像素的图片，隐层有10^6个神经元，采用像素级别的全连接模型，有1000*1000*10^6 = 10^12个连接，有10^12个参数需要学习，非常耗时，并且提取到的特征不具有具体的含义（过拟合）。
右图，局部感受野：类似于卷积中的patch核，将10^6的隐层换成10*10的patch，即1000*1000的图片采用10*10的局部感受野，将像素级别的特征映射到这个局部感受野，有1000*1000×100=10^8个参数需要学习。此时，图像中的每一个像素点学习一个10*10的局部感受野。
参数共享
参数共享的思想：权重是经过学习得到且在卷积过程中卷积核的权重不会改变。通过一个卷积核的操作提取了原图的不同位置的同样特征。简单来说就是在一幅图片中的不同位置的相同目标，它们的特征是基本相同的。
AdamOptimizer
Adam优化，控制学习速度。通过使用动量（参数的移动平均数）来改善传统梯度下降，促进超参数动态调整。
纹理特征
纹理是一种反映图像中同质现象的视觉特征，它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。纹理具有三大标志：某种局部序列性不断重复、非随机排列、纹理区域内大致为均匀的统一体。纹理不同于灰度、颜色等图像特征，它通过像素及其周围空间邻域的灰度分布来表现，即：局部纹理信息。局部纹理信息不同程度的重复性，即全局纹理信息。
Feature map
特征图，每一种卷积核提取一张feature map, 数量根据需求而定，一般图像很大的话会需要很多。例如32*32的图像，6个feature map就比较合适。不同的特征提取会提取不同的feature，模型想要达成的目的是解一个最优化，来找到能解释现象的最佳的一组卷积核。设计多种的滤波器（卷积核，滤波器矩阵所有的元素之和等于1，滤波前后图像的亮度保持不变；大于1，滤波后更亮；小于1，滤波后变暗；和为0，图像不会变黑，但也会非常暗；出现负数或大于255，直接截断到0和255之间，对于负数也可取绝对值），通过权值共享来减少网络参数，这时候就可以通过输入图像的大小以及卷积核的大小来确定隐含层的神经元的个数了，公式为：（32－5+1）＊（32 －5 ＋1）＝28＊28 个隐层神经元，也就是每一个feature map的大小就是28＊28 。那么这一层一共有（5＊5 ＋1）＊6个参数，其中5*5为卷积核的大小，1为一个bias参数， 6为6种卷积核。
大部分 CNN 网络在越深的层，feature map 的尺寸（size）会越来越小。这样做不仅仅是为了减少计算与内存的需求，还有个好处就是，最后提取的 feature map 就会有某种程度上的平移与尺度不变性。
IOU
intersection-over-union 交并比，表示了bounding box 与 ground truth 的重叠度，用IoU或者jaccard overlap表示，称之为相似系数，数值越大，相似度越高。文章中选取了jaccard重叠超过0.5的默认框为正样本，其它为负样本。如下图所示：
IOU=(A∩B)/(A∪B)
Non maximum suppression（NMS）
非极大值抑制，本质是搜索局部极大值，抑制非极大值元素。主要目的是消除多余（交叉重复）的窗口，找到最佳物体检测位置，抑制过程为 迭代-遍历-消除。
1.将所有框的得分排序，选中最高分及其对应的框；
2.遍历其余的框，和当前最高分框的重叠面积(IOU)大于一定阈值，就将框删除（这片区域只留最高分一个框）；
3.从未处理的框中继续选一个得分最高的，重复上述过程。
positive/negative samples
正负样本是相对的概念，不同的正负样本定义对问题解决没有本质影响，但好的正负样本定义可以减轻认知负担、方便人对问题的理解。根据目标定义正样本，优化损失函数时是根据正样本来进行。一般来说目标检测中，目标即为正样本，背景等不是目标的都是负样本。