1.问题背景

在学习 逻辑回归算法 和 GBDT算法 等过程中，总是会碰见对损失函数用梯度下降的方法求最小值；

（梯度下降的方法非常重要，因为很多模型的损失函数求最小值并没有直接的数学解析解，如果能用数学解析解求最小值的损失函数，用梯度下降的也能求解最小值，来goodness得到模型。可以说梯度下降是机器学习的基石，也是人工智能的基石）

所以，损失函数到底长什么样子？能不能可视化？

梯度下降的过程怎样用自己写的代码实现？（sklearn封装了argmin过程）

怎么理解《机器学习实战》中的代码？

 

2.从线性回归开始

2.1 拟合一元一次线性回归 y = 1 * x     ，模拟得到样本集 X ，目标值集 Y ，刻画损失函数

X = np.linspace(1,10,num=10)
Y = 1*X + np.random.randn(10)/10

###假设给定参数 W
W = np.random.randint(-100,100)
y_pred = X * W
loss = np.sum((y_pred - Y) ** 2) / len(X)

###我穷举所有的W和loss，画出损失函数 W ~ loss 的关系（for W from -100 to 100）

这里就能看出很多东西了，原来我给定X，Y，并且模型也设定好了，我的损失函数的分布就有了，而且有最小值

换而言之，存在一个线性模型可以最优拟合数据，W的最小值看起来是1

那么，假设我的W的初始值不是1！是个随机值？我的算法是怎样智能的梯度下降到1？而不是穷举所有值？

因为我们这里的例子非常简单，所以我们可以用拟合的方法写出梯度过程

def qiudao(X,Y,W,d=0.001):
    loss = np.sum((X*W - Y)**2)/len(X)
    d_loss = np.sum((X * (W+d) - Y)**2)/len(X)
    return (d_loss-loss)/d

W=-50
learnrate=0.02
for i in range(10):
    W -= qiudao(X,Y,W) * learnrate

看到梯度下降的魔力没有，不管你初始给到的W是什么，只要有足够的学习步骤，最后都会找到W=1，而不用管损失函数的形式

2.2 拟合 y = 1*x1 + 2*x2**2

X = np.linspace(-100,100,num=100)
X = np.array([[m,n*2] for m in X for n in X])
Y = np.dot(X,[1,2])

def qiudao(X,Y,W,d=0.01):
    loss = np.sum((np.dot(X,W) - Y)**2)/len(X)
    dx1_loss = np.sum((np.dot(X,W+np.array([d,0])) - Y)**2)/len(X)
    dx2_loss = np.sum((np.dot(X,W+np.array([0,d])) - Y)**2)/len(X)
    return np.array([(dx1_loss-loss)/d,(dx2_loss-loss)/d])

W = np.array([2,1],dtype=float)
learnrate=0.00001
for i in range(200):
    W -= qiudao(X,Y,W) * learnrate
    plt.scatter(W[0],W[1])

初始[2,1] 最终[1,2]

摘一篇文章

Logistic本质上是一个基于条件概率的判别模型(DiscriminativeModel)。

                           

函数图像为：

通过sigma函数计算出最终结果，以0.5为分界线，最终结果大于0.5则属于正类(类别值为1)，反之属于负类(类别值为0)。

如果将上面的函数扩展到多维空间，并且加上参数，则函数变成：

接下来问题来了，如何得到合适的参数向量θ呢？

 

由于sigma函数的特性，我们可作出如下的假设：

上式即为在已知样本X和参数θ的情况下，样本X属性正类(y=1)和负类(y=0)的条件概率。

 

将两个公式合并成一个，如下：

既然概率出来了，那么最大似然估计也该出场了。假定样本与样本之间相互独立，那么整个样本集生成的概率即为所有样本生成概率的乘积：

为了简化问题，我们对整个表达式求对数，(将指数问题对数化是处理数学问题常见的方法)：

满足似然函数(θ)的最大的θ值即是我们需要求解的模型。

 

梯度上升算法

 

     就像爬坡一样，一点一点逼近极值。爬坡这个动作用数学公式表达即为：

其中，α为步长。

回到Logistic Regression问题，我们同样对函数求偏导。

 

先看：

其中：

再由：

可得：

接下来就剩下第三部分：

 

(这个公式应该很容易理解，简单的偏导公式)

还有就是：

综合三部分即得到：

 

因此，梯度迭代公式为：

      

       结合本式再去理解《机器学习实战》Page 78中的代码就很简单了。

 摘自：http://sbp810050504.blog.51cto.com/2799422/1608064