求解线性回归系数
已知n个观测值集合{(xi,yi),i=1,2,...,n}, 求回归系数a，使得预测值y^i=xia与真实值yi的偏差平方和最小，即找目标函数s=∑(yi−y^)2的最小值。
- 当为一元线性回归，则yi=xi0∗a0+xi1∗a1，这里x0i恒等于1，那么a0可看作为偏移量常数(截距)；
- 当为多元(m元)线性回归时，xi,ai为向量，令xi=(xi0,xi1,xi2,...,xim)T, a=(a0,a1,a2,...,am)T, 则yi=∑j=0mxijai=xiTa.
因此，目标函数s可用矩阵形式表示：
s(a)=i=1∑n(yi−xiTa)2=(y−XTa)T(y−XTa),
其中，X=(x1,x2,...,xn)T, y=(y1,y2,...,yn)T.
求s的最小值，则可对目标函数s求导，令u=y−XTa：
s′(a)=(uTu)′=uTu′+uTu′=2uT(−XT)=−2(Xu)T.
【标量对向量求导：(uTv)′=uTv′+vTu′
版权声明：本文来源CSDN，感谢博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。
原文链接：https://blog.csdn.net/sinat_32872729/article/details/97636884
站方申明：本站部分内容来自社区用户分享，若涉及侵权，请联系站方删除。
-
发表于 2020-02-13 15:21:02
- 阅读 ( 1100 )
- 分类：
