(多变量线性回归)正规方程求解特征参数的推导过程
多变量线性回归代价函数为:
正规方程是通过求解下面的方程来找出使得代价函数最小的参数:
设有m个训练实例,每个实例有n个特征,则训练实例集为:
其中表示第i个实例第j个特征。
特征参数为:
输出变量为:
故代价函数为:
进行求导,等价于如下的形式:
- 其中第一项:
- 第二项:
该矩阵求导为分母布局下的标量/向量形式:
故有,
- 第三项:
该矩阵求导为分母布局下的标量/向量形式:
故有:
- 第四项:
其中为标量,可看成一个常数。
该矩阵求导为分母布局下的标量/向量形式:
故有:
综上,正规方程为:
最终可得特征参数的表示:
转载自:https://blog.****.net/chenlin41204050/article/details/78220280