概率转换

函数

图像

意义

对连续值进行离散分类，通过线性计算解决分类问题。

逻辑(后向)

分类->概率->种子->关系->线性式->关系组合

我们总是可以找到一个模棱两可的线性关系，但是对于分类问题是一个范围性的边界。

一般情况下，我们需要得出一个最直白的条件，然后根据明确的边界进行类型的划分。

但是反推一下，如果能够大致的进行划分，为了符合划分的条件，中间的量又有什么关系。

一个是从因致果，一个执果所因。

更重要的，是我们从未全知全能，因果也不仅限于已知。

现在，能够对一个连续值进行评估，这就是我们的评估标准。

然后，让线性的关系映射过来，满足我们的条件，如此而已。

似然函数

第一部分的线性关系

套入我们分类的方法

简记

投射到这个图像上，最大的作用，就是结果和概率一样，取值(0,1)

然后用概率的方法去评估

然后综合起来

这不是一个正规的概率，而是只是我们评估的需求。

让它计算的值，更加靠近我们的分类值(0,1)。

然后根据距离来进行类别的划分。

同样的，所谓概率，就是更加的靠近现实，更大可能的发生。

这一点上，两者并没有差别。

似然

似然越大，靠近的距离越小，越满足要求。

计算方便，对数似然

损失函数

一般线性习惯用最小二乘作损失函数，但是逻辑回归当中不用。

如图，因为局部最下点太多了。

不论是直接求解，还是梯度下降，都十分不简便。

采用下式

为甚么要乘上因子呢，和上述问题一致，都是为了简便。

计算之后可以更加清楚。

结果计算

这就是计算结果了，到这一步就可以利用梯度下降分步进行计算，然后得出结果了。

回到之前的问题，为甚么要乘上这个因子。

• m

现在可以明显的看出来，对于连加求和，取平均更容错。

即使不乘因子，算出的结果也可以得出这个结论。

• -

这个东西更简单，但是也容易忽略。

线性回归中，因为符号本身就是为负，所以求的是最小值。

但在逻辑回归当中，似然函数求的是最大值，只能用梯度上升求解。

算了，梯度下降更成熟，也更统一，尤其是只用变一下符号，何乐而不为。

体会

目前接触的算法中，粗略套路

• 大致关系

假设数据之间存在某种关系，并表达成式。

• 评估标准

通过直接比较，或者误差比较，或者映射到另一个标准。

能够直接的表达出我们的意图，并且能够以一种明确的办法进行衡量。

• 似然函数

从概率中来，也必须符合概率。

表述了距离的远近，值越大，越相近，值越小，越远离。

因此，让它靠近指定的值，或者概率直接让它靠近现实，提供了一个可供衡量的评估标准。

• 极值求解

我们的期望，总是让结果更加的靠近，即让它的值更加的大。

分类分的更清楚，发生的概率更加的大，更加的靠近目标，更加的靠近现实。

让关系更加的确定，让可能的东西更加的真实。

毕竟，描述关系的参数由我们来控制。

通过调整参数，让关系更加的真实，更加的确定，这本来就是我们的目的。

达到最可能，最接近。

只要真的存在这么一种联系，哪怕是最差，最微弱的联系，我们也能达到微弱最强相关。

如果关系描述模型是最正确的，我们就能抛开偶然的误差，百分之百的预言----不算上误差的话。

这是一种方法，一种更有效，更明确的调参方法。

对于一个模型，可以调整到最优性能的明显的，针对性的，指导性的，正确方向性的调参办法。

更加深奥的学习算法，或者所谓经验，就是对于各种参数的调节，然后达到最高的适应性。

同时，也说明了对于模型的依赖性，最差的模型，完美的参数，预言的准确性也不会更高。

不可能还是不可能，地基决定了大楼的可能高度。

算法是一方面，基础模型也是不容忽视的。