logistic回归代价函数的凸性分析

logistic回归的代价函数为：$J(\theta)=-\frac{1}{m}\sum_{i=1}^m[y^{(i)}log(h_\theta(x^{(i)}))+(1-y^{(i)})log(1-h_\theta(x^{(i)}))]$J(θ)=−m1​i=1∑m​[y(i)log(hθ​(x(i)))+(1−y(i))log(1−hθ​(x(i)))]
其中，m 是样本个数，$(x^{(i)},y^{(i)})$(x(i),y(i))是第 $i$i 个样本，而 $h_\theta$hθ​ 表达式是：$h_\theta(x)=\frac{1}{1+e^{-\theta^Tx}}$hθ​(x)=1+e−θTx1​

我们用梯度下降法找到最合适的参数 $\theta$θ ，如果代价函数是 $\theta$θ 的一个凸函数，可以保证到达全局最优点，否则只能是局部最优点。现在，我们来对该代价函数的凸性进行分析：

[预备知识] Boyd的《convex optimization》一书中给出的一些基础知识：
(a). 72页：Log-sum-exp函数是凸函数：

(b). 83页：复合函数的凸性：

[分析] 首先，我们只对某一个样本$(x^{(i)},y^{(i)})$(x(i),y(i))进行分析：
$log[h_\theta(x^{(i)})]=log[\frac{1}{1+e^{-\theta^Tx^{(i)}}}]=-log(1+e^{-\theta^Tx^{(i)}})$log[hθ​(x(i))]=log[1+e−θTx(i)1​]=−log(1+e−θTx(i))$\quad$是一个根据预备知识(a), $log(1+e^{t})$log(1+et)是 $t$t 的一个凸函数。（evluated at $t_0=1,t_1=t$t0​=1,t1​=t)。于是又根据预备知识(b),$log(1+e^{-\theta^Tx^{(i)}})$log(1+e−θTx(i))是 $\theta$θ 的一个凸函数，于是 $log[h_\theta(x^{(i)})]$log[hθ​(x(i))]是一个凹函数（凸函数乘了一个负号）。由于$y^{(i)}$y(i)取0或1，因此$y^{(i)}log[h_\theta(x^{(i)})]$y(i)log[hθ​(x(i))]是凹函数。
$\quad$同理：$log[1-h_\theta(x^{(i)})]=log[\frac{e^{-\theta^Tx^{(i)}}}{1+e^{-\theta^Tx^{(i)}}}]=-\theta^Tx^{(i)}-log(1+e^{-\theta^Tx^{(i)}})$log[1−hθ​(x(i))]=log[1+e−θTx(i)e−θTx(i)​]=−θTx(i)−log(1+e−θTx(i))由于$-\theta^Tx^{(i)}$−θTx(i)是 $\theta$θ 的一个凹函数，因此$log[1-h_\theta(x^{(i)})]$log[1−hθ​(x(i))] 是凹函数。由于 $1-y^{(i)}$1−y(i) 取值0或1，因此$(1-y^{(i)})log[1-h_\theta(x^{(i)})]$(1−y(i))log[1−hθ​(x(i))]是凹函数。
$\quad$由此可知：$-\frac{1}{m}[y^{(i)}log(h_\theta(x^{(i)}))+(1-y^{(i)})log(1-h_\theta(x^{(i)}))]$−m1​[y(i)log(hθ​(x(i)))+(1−y(i))log(1−hθ​(x(i)))]是 $\theta$θ 的一个凸函数（凹函数前乘了一个负号），也不难得到最后的代价函数也是凸函数了（多个凸函数相加）。