【行人识别】Deep Transfer Learning for Person Re-identification

跟据别人的博客做的笔记，适合初学者，我把里面的难点进行了百度，我学习的博客是https://blog.****.net/shenxiaolu1984/article/details/53607268

本文的亮点有三：
• 在网络结构方面，使用训练好的 GoogleNet 进行特征提取；同时使用Verification 和 Classification代价进行优化。
• 在训练时，分两步进行参数调优，使得小数据集的使用成为可能。
• 使用一种巧妙的非监督方法，利用未标定的大量视频数据。

里面有下面几个我不大理解，就在网上搜了总结了一下：
1 GoogleNet：大话CNN经典模型：GoogLeNet（从Inception v1到v4的演进）https://my.oschina.net/u/876354/blog/1637819
https://blog.****.net/loveliuzz/article/details/79135583
1.1 稀疏矩阵聚类
1.2 NIN（Network in Network）一篇经典的论文https://blog.****.net/ouyangfushu/article/details/90212925
1.2.1 感受野被定义为卷积神经网络特征所能看到输入图像的区域，换句话说特征输出受感受野区域内的像素点的影响。
1.2.2 RBF（径向基）神经网络
径向基函数是某种沿径向对称的标量函数，通常定义为样本到数据中心之间径向距离（通常是欧氏距离）的单调函数（由于距离是径向同性的）。RBF核是一种常用的核函数。它是支持向量机分类中最为常用的核函数。
https://www.cnblogs.com/pinking/p/9349695.html
1.2.3 多层感知机：人工神经网络领域通常被称为神经网络或多层感知机，可能是最有用的神经网络类型。感知机是单个神经元模型，是较大神经网络的前身。https://blog.****.net/baidu_33718858/article/details/84972537
1.2.4 广义线性模型Generalized Linear Model (GLM)https://blog.****.net/caimouse/article/details/60576412
1.3 Dropout https://blog.****.net/program_developer/article/details/80737724
1.4 正则化https://www.jianshu.com/p/569efedf6985
1.4.1 L1 & L2范数
1.4.2 训练集增强
1.4.3 dropout
1.4.4 earlystopping:提前终止可能是最简单的正则化方式，他适用于模型的表达能力很强的时候。

为了解决过拟合问题，一般会采用模型集成的方法，即训练多个模型进行组合
当一个复杂的前馈神经网络被训练在小的数据集时，容易造成过拟合。为了防止过拟合，可以通过阻止特征检测器的共同作用来提高神经网络的性能。

2 Verification验证检验：
3 Classification分类和归类
4 监督学习和非监督学习，半监督学习，强化学习（增强学习）：https://blog.****.net/jhkj_5154/article/details/79492149
4.1 监督学习：给机器的训练数据拥有“标记”或者“答案”
监督学习处理两大类问题：分类和回归
其中包括k近邻，线性回归和多项式回归，逻辑回归，SVM，决策树和随机森林、

4.1.1 线性回归：就是能够用一个直线较为精确地描述数据之间的关系。
4.1.2 k近邻：算法主体思想就是根据距离相近的邻居类别，来判定自己的所属类别
多项式回归：多项式回归是在线性回归基础上进行改进，相当于为样本再添加特征项如右图所示，为样本添加一个x^2的特征项

4.1.3 逻辑回归：又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。逻辑回归从本质来说属于二分类问题。二逻辑回归可以将预测范围从实数域压缩到(0,1)范围内，进而提升预测准曲率。逻辑回归使用sigmoid函数将预测值映射为(0, 1)上的概率值，帮助判断结果。

4.1.4 支持向量机（SVM）：号称最优秀的分类算法之一，类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane），通过引入拉格朗日乘子法和对偶学习法来简化该优化问题，最后转为为拉格朗日乘子的带约束条件的优化问题

4.1.5 决策树，顾名思义，即以建树的形式来做决策，自上向下，分而治之。基本结构：根节点、父节点、子节点和叶子节点。子节点由父节点根据某一规则分裂而来，然后子节点作为新的父亲节点继续分裂，直至不能分裂为止。而根节点是没有父节点的节点，即初始分裂节点，叶子节点是没有子节点的节点。一般而言，随着划分过程不断进行，我们希望决策树的分支结点所包含的样本尽可能属于同一类别，即结点的"纯度"越来越高。

4.1.6 随机森林是一种有监督学习算法，是以决策树为基学习器的集成学习算法。随机森林非常简单，易于实现，计算开销也很小，但是它在分类和回归上表现出非常惊人的性能，因此，随机森林被誉为“代表集成学习技术水平的方法” 随机森林指的是利用多棵树对样本进行训练并预测的一种分类器在机器学习中，随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定

4.2 非监督学习：给机器的训练数据没有任何的“标记”或者答案

4.3 半监督学习：一部分数据有“标记”或者“答案”，另一部分数据“没有”
更常见：各种原因产生的标记缺失我们手机有很多照片，有一些照片可能标记上这个是北京玩的，这个是上海玩的，对应另一些照片没有标记，就是半监督学习
我们通常使用无监督学习对数据做处理，之后使用监督学习手段做模型的训练和预测

4.4 增强学习又叫做强化学习关注的是智能体（也就是agent）如何在环境中采取一系列行为，从而获得最大的累积回报。
强化学习的学习机制表明它是不断地与环境交互（可以看做是决策系统【采取action的系统】和环境的博弈），以试错的学习方式得到最优策略，是使得决策能力持续获取收益的关键技术。
强化学习以试错的机制与环境进行交互，通过最大化积累奖赏（R）的方式来学习最优策略，最简单的理解就是在训练的过程中，不断地去尝试，错了就惩罚，对了就奖励，由此训练得到各个状态环境当中最好的决策，例如骑车的过程，种瓜的过程。
通过增强学习，一个智能体应该知道在什么状态下应该采取什么行为。RL是从环境状态到动作的映射的学习，我们把这个映射称为策略。

强化学习的问题，通常有如下特点：
• 不同的action产生不同的reward
• reward有延迟性
• 对某个action的reward是基于当前的state的