动机

人类非常擅长通过极少量的样本识别一个新物体，不需要大量物体的积累。而且人类学习知识的泛化性很高，有“举一反三”“见微知著”的本领。而这些深度模型却是不具备的。研究小样本学习的研究人员希望模型只需要少量的样本就能快速学习，这类研究大致可以分为是基于度量学习（Metric Learning）的方法，元学习（Meta Learning）方法，数据增强方法。

问题设定

1.分类

1.1DATA

1.2MODEL

Learning with External Memory

Generative Modeling

1.3ALGORITHM

2.元学习 Meta Learning

每次训练（episode）都会采样得到不同 meta-task，所以总体来看，训练包含了不同的类别组合，这种机制使得模型学会不同 meta-task 中的共性部分，比如如何提取重要特征及比较样本相似等，忘掉 meta-task 中 task 相关部分。通过这种学习机制学到的模型，在面对新的未见过的 meta-task 时，也能较好地进行分类。

2.1MAML

B站视频讲解链接: link.

《Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks》


MAML与pre-training 对比



MAML其他任务中的应用

2.2MW-Net

B站视频讲解 链接: link.
33分钟开始

Data bias：通过设计优化函数（更鲁棒的loss）去让算法更好的适应特定的data bias
label noise：大误差加一个小权值，减小噪声影响

class imbalance：小误差信息量小，加小权值，减缓数据不均衡

data noise：噪声建模，构造特殊的鲁棒的损失


思路：设计网络学习loss前面的比例参数v
结果：

3.度量学习 Metric Learning

3.1 DNnet

李文斌等人2019年发表在CVPR上的
《Revisiting Local Descriptor based Image-to-Class Measure for Few-shot Learning》



本文最重要的思想在于使用局部描述子取代简单的图像特征向量，虽然结构上并没有什么变化，只不过取消了全连接层，但是在思想上是有很大区别的。

之前的特征向量是希望特征提取网络能够将图像特征高度抽象化，将其转化为一个对位置不敏感的向量，在进行比较时也是直接度量两个图像对应的特征向量之间的距离，这对于小样本学习来讲可能比较困难。

而本文则这种特征描述要求放宽到局部区域上了，我不要求两张图片每个位置都很相似，但要求你最相似的k个区域是非常接近的，这就消除了类内差异和背景混淆的问题。