线性代数与数值方法

主要分以下几个方面进行说明：

一、矩阵分解

二、线性最小二乘

三、非线性最小二乘

四、直接稀疏矩阵方法

五、迭代方法

---

一、矩阵分解

1.奇异值分解(SVD)

奇异值分解可将任意实数矩阵分解成如下形式：

其中，，矩阵和是正交矩阵，即和。其中主对角线上的值为矩阵的奇异值，所有奇异值均是非负的，并按照降序排列。如果仅有前r个奇异值是正的，那么矩阵A的秩即为r，同时SVD下标可用r取代。

引用自《计算机视觉-算法与应用》

应用
1.求伪逆（求解线性最小平方、最小二乘问题）：
若矩阵的奇异值分解为，那么的伪逆为，其中是的伪逆，将原矩阵主对角线上每个非零元素求倒数之后再转置得到。
2.矩阵近似值（PCA降维）：
PCA算法的作用是把数据集映射到低维空间，数据集的特征值(在SVD中用奇异值表征)按照重要性排列，降维的过程就是舍弃不重要的特征向量的过程，而剩下的特征向量组成的空间即为降维后的空间。

2.特征值分解

如果矩阵是对称阵那么其特征值分解的形式：

这里是特征向量，是特征值且
其中对称阵可以通过一系列外积之和来构造

在这种情况下，我们可以保证所有特征值都是非负的。
此时产生的矩阵是半正定矩阵，即对任意非0列向量，存在如果矩阵满秩所有特征值均为正，称为对称正定矩阵(SPD)。
对称正定矩阵在数据统计分析中表示一组数据点围绕其中心产生的协方差

矩阵的特征值和特征向量与的奇异值和奇异向量有着紧密联系若有则由此我们可以知道且矩阵的左奇异向量就是矩阵的特征向量。

3.QR因子分解