矩阵

特征值与奇异值

因为只有方阵才可能具有特征值，对于实际遇到的一些问题（比如最小二乘问题），往往遇上长方阵，长方阵根本没有特征值。因而就有必要对特征值做推广，这就是奇异值。奇异值是特征值的一种推广。 再看什么是奇异值。对于任意矩阵A（甚至是非方阵），A(T)A（这个时候就变成方阵了,可以计算特征值了）的特征值就称为A的奇异值。奇异值有个特性，就是A(T)A和AA(T)特征值相同。

• 因为奇异值要对Σ(H)Σ对角线开算术平方根：所以奇异值不是特征值的模长的平方,它就是模长。

• 与最小二乘的关系：

最小二乘有个解法,对于Ax = b的最小二乘问题,等价于求解其法方程A(T)Ax = A(T)b,这个时候就变成方阵的问题了.但是这种算法是不稳定的。一种更为有效的算法就是SVD分解并利用广义逆求解。对于可逆阵来说,广义逆就是逆.这里把A的广义逆记作A(+).则Ax = b的最小二乘解就是x = A(+)b.所以,现在的问题就是,怎么求A的广义逆A(+).通过SVD分解,广义逆可以这么求： 如果A有SVD分解如下： A = VΣU(T) 则A(+) = UΣV(T) 当然,这里叙述可能不那么严谨.因为还涉及到Σ的形状什么的,所以两个式子的Σ形状大小不一样,形状变了,补0就行. 因此,SVD分解就完美解决了最小二乘问题.

那对于最小二乘法，为什么要在左右乘上A的转置进行求解呢？ 追答： 那种解法称作“法方程”解法。相当于求得一个x，使得A(T)(b-Ax)=0，也就是残差与矩阵A行向量的内积为0，即残差与矩阵A的行空间正交，由投影定理，可以证明，此时残差二范数最小。以上就是法方程的几何意义