【泛化误差上界(证明详推)】

转载 Cyrus

前置知识:

exp() : 以e为底的指数函数,括号内是具体内容

loge : 1.loge =lne =1

2.loge=lge=log(e) = 0.43429448190324 (摘自百度 : )笔者在一个公式上因为这个卡了15分钟)

 

好了,先给出书上定义:

【泛化误差上界(证明详推)】

【泛化误差上界(证明详推)】

 

接下来,我们要了解一下Hoeffding不等式 (咳咳,上书!!!)

【泛化误差上界(证明详推)】

emmmm一开始看到这个不等式我是有点小难受的,特别是转换到下一页的第一条公式。

没事,我们慢慢捋一捋。

【泛化误差上界(证明详推)】

然后就是这个

【泛化误差上界(证明详推)】

这一整个的意思是想先来求期望风险大于经验风险的概率,为后面期望风险小于经验风险公式做准备。

【泛化误差上界(证明详推)】

 

【泛化误差上界(证明详推)】

接下来基本就一路顺畅了。。。。。

 

对了,1.29那里我手写推一下,如果有疑问可以看一下hhhhh(字太丑勿喷)

【泛化误差上界(证明详推)】

以上讨论的只是假设空间包含有限个函数情况下的泛化误差上界,对一般的假设空间要找到泛化误差界就没有那么简单,这里不作介绍(严肃脸)

 

好了好了,第一章终于结束了~~~(一天下来啥都没干,真是辛苦自己了.jpg)