回归分为线性回归和logistic回归（分类）

线性回归

1. 线性回归根据中心极限定律，其误差是满足均值为零，方差为thegama^2的高斯分布
2. 写出关于误差的概率密度函数
3. 似然函数：给定分布，写出联合密度函数，L（theta）,在这里，估计的是使L取得最大值的theta值
4. 误差的似然函数，误差满足的是高斯分布，写出似然函数，将似然函数中的误差用预测值和实际值之差表示，则L 就变成theta的函数，
5. 目标函数的选择：目标函数（损失函数最小），等价于似然函数最大，线性回归的目标函数选为最小二乘
6. 为了求最大值，需要求驻点，先取对数似然，对参数求导=0
7. 则参数估计的结论为，公式表达

为了保证正定，可以求逆，加入扰动

效果如图

法二：对矩阵进行SVD分解，求广义逆来表示
8. 求驻点的算法：不断以梯度方向更新theta，使得目标函数更小，最终得到驻点为0的一组theta

logistic回归

1. 分布满足二项分布，估计的是把预测值代入到sigmoid函数中视作预测值
2. 写出二项分布的对数似然，然后对theta求导，迭代，<----参数估计
3. logistic的损失函数是似然函数的复数，似然函数最大，那么损失函数就最小

softmax回归

1.概率分布是指数形式比值的样式

2.