MLAPP读书笔记--3.1 and 3.2 Bayesian Concept Learning
Concept learning: 学习一个概念(如学习一个词的含义),等价于一个二分类问题,这里注意通常的二分类问题都是要有正负样本,而在Bayesian Concept Learning中只需要有正样本就可以了,如教小孩子认识狗,只需要告诉他什么是狗,而不需要说什么不是狗。
例子(Number Game):给一个数学概念C(如“素数”或“0到100之间的数”)和这个概念下的正样本D,然后拿一个新样本下x, 问x是不是属于C,也就是对x进行分类。
Posterior Predictive Distribution: p(x|D),在给定数据集D的条件下x属于C的概率。例如:假设只在0到100之间做实验,给出一个数据集D={16},在一个实验中人们对0到100的每个数中判断是否和16属于同一类(正例),给出的Posterior Predictive Distribution如下图:
若D={8,2,64}:
若D={16,23,19,20}:
Hypothesis Space of Concepts:一堆数学概念(如:“1到100间的数“,'2的n次方"等)。
Version Space: Hypothesis Space中和数据D一致的子集。
3.2.1 Likelihood
给定一个数据集D={16,8,2,64}, 我们为什么倾向于选h1="powers of two"而不是h2="even numbers"呢?
Suspicious coincidences: 如果真实的概念是h2,怎么能这么巧出的数都是power of two呢?
Extension of a concept: 属于这个concept的所有数组成的集合,如:h2的extension{2,4,6,...98,100};
Strong sampling assumption:样本是从extension of concept中随机等概率抽样出来的;公式如下:
Size principle: 模型喜欢和数据一致的最简单(最小的)的假设。从上面的公式可以看出,假设最小对应分母越小,因此概率越大;例如:
3.2.2 Prior
对于D = {16,8,2,64}来说,根据likelihood, h' = "powers of two except 32"比 h = "powers of two"更有可能,但是从直觉上来看这有些"conceptually unnatural", 因此在Bayes Reasoning里会把"不太自然"(unnatural)的概念(hypothesis)较低的先验概率(prior).
这样会带来主观的问题(比如一个孩子和一个数学家对概念的先验会不同),这也是存在争议的地方。
虽然存在争议,但是引入先验还是比较有用的,没有先验,rapid learning(从小数据中学习)就变得不可能了。
3.2.3 Posterior
后验概率(Posterior): 就是先验概率(prior)乘以似然(Likelihood)然后再进行normalize,如下:
MAP estimate: 当有足够多的数据后,后验概率(posterior)就变成了MAP estimate(当数据足够多以后,后验概率就会在某一个概念h上peak), MAP estimate的表达式如下:
MLE estimate: 由于prior(logp(h))是个常数,因此MAP estimate是指数依赖于N(样本数)的,当N越来越大的时候,MAP就收敛于MAP了,从上式可以看出,logp(D|h)越来越大。也就是说data overwhelms the prior。
Consistent estimator: 如果真正的假设在假设空间里,那么MAP/MLE 就会收敛于这个假设,就说Bayes inference是consistent estimator, 假设空间是identifiable in the limit(指在无穷多数据的情况下,我们能够发现真相)。
3.2.4 Posterior predictive distribution
Posterior predictive distribution: 每个假设预测的加权求和,公式为:
PPD例子:
这个图最上边的分布对应PPD的公式,含义是当D={16}是正例的时候,对应左边坐标轴那些假设,分布刻画了
其他的例子(0到100间的数)也是正例的概率分布(和16是同一个概念下的例子)。这里并不是指某个假设(因为确定不了哪个假设是真正的概念),而是所有可能假设的加权平均,就是无论在什么情况下,4和64都是很有可能是正例的。
Plug-in Approximation to the predictive density:当数据量很少的时候,PPD(上图的分布)分布很广,当数据量大了以后,后验就变成了一个以MAP estimate为z中心的delta函数了,这种情况下,PPD变成了如下的形式:
这个就叫Plug-in Approximation to the predictive density, 感觉可以理解为是在数据量大的时候对PPD的近似(这有些under-represent our uncertainty了,感觉是只有一个假设是对的,其他假设的可能性为0了)。
尽管MAP比较简单,但是它不能解释从similarity-based reasoning(with uncertain posteriors对应BMA)到rule-based reasoning(with certain posteriors对应Plug-in approximation)的渐变。当随着数据增加时,BMA对应的PPD是从宽变窄,而Plug-in approximation对应的PPD是从窄变宽。因此在小数据时,它们的差别较大,但是在大数据时是收敛于同一个答案的。例如: