线代--高维投影的一些应用

作者: Norahd | 来源:发表于2022-07-24 00:24 被阅读0次

线代--高维投影的一些应用
线代--高维投影和Gram-Schmidt过程
师爷早课
四维视角
刘丰老师讲《心经》6
什么是高维智慧
和永澄老师共读《跃迁》第四章： 20170807作业
投影
openGL——03、三维透视投影
亲民

$\ \ \ \ \$ 之前提到过，在处理很多实际应用中的线性系统 $Ax=b$ 求解问题的时候，由于采集大量样本导致矩阵 $A$ 的行数大于列数，意味着方差的个数远远大于未知数个数，在这种情况下，由于数据偏差，方程之间就容易出现矛盾，因此真实情况建立的线性系统 $Ax=b$ 大概率是无解的。

$\ \ \ \ \$ 但是当我们并不需要一个十分精确的解，而只需一个接近解也足够用于研究的情况下。在线性系统 $Ax=b$ 中，单单对于 $Ax$ 来说，其实 $Ax$ 表示的就是矩阵 $A$ 的列空间，从向量乘法看 $Ax$ 表示成 $x$ 中的未知数与矩阵 $A$ 的列向量相乘再相加的形式 $x_1 \cdot \vec v_1+x_2 \cdot \vec v_2+x_3 \cdot \vec v_3 \cdots$ ，而这个表示形式的就是矩阵 $A$ 的列向量的生成空间。既然 $Ax$ 是矩阵 $A$ 的列空间，继而线性系统 $Ax=b$ 的求解问题可以理解成在 $Ax$ 这个列空间中找到向量 $b$ ，如果向量 $b$ 在矩阵 $A$ 的列空间中的话，那么就肯定会有一个或多个 $x$ 与它相对应。所以在获取一个实际线性问题的近似解的时候，通常是在矩阵 $A$ 的列空间中找到一个离 $b$ 最近的 $b'$ ，转而求解线性系统 $Ax=b'$ 的解来近似 $Ax=b$ 。

在矩阵 $A$ 的列空间中寻找一个离 $\vec b$ 最近的向量 $\vec b'$ ,这个 $\vec b'$ 其实就是 $\vec b$ 在 $A$ 的列空间的投影；
根据高中的几何知识可知 $\vec b$ 在 $A$ 的列空间的投影 $\vec b'$ 是 $A$ 的列空间中与向量 $\vec b$ 夹角最小的向量，也即方向上最接近的向量。

三维空间中一个向量b投影到三维空间的子空间上得到b'
求出矩阵 $A$ 的列空间的一组正交基(Gram-Schmidt过程)，然后求出 $\vec b$ 分别到这组正交基各个分量的投影(一维投影问题)，然后把这些投影分量加和在一起就是 $\vec b$ 在 $A$ 的列空间的投影 $\vec b'$