Quadratic form

二次形：

矩阵特征值：

对于阶方阵
：为特征值，为特征向量
另一种写法：的根，为矩阵的特征根（特征值）eg:
定理1:矩阵特征值的个数等于矩阵的秩
定理2:（为n个特征值，包含重根）

黑塞矩阵：

设为输入n阶向量，输出scalar的函数。
Hesse Matrix：，为函数二阶导数的矩阵。
矩阵的每个元素：
常用于优化问题中，因为为泰勒展开式二阶项的系数。[3]
对任意函数，如果黑塞矩阵正定【】 则：1、函数的二阶偏导>0，2、函数为凸函数。则函数根可以用牛顿法求解[4]

奇异值分解：

为的矩阵
则
为对角矩阵
,为与的酉矩阵：

Refer：
[1]:https://blog.csdn.net/qq_36558948/article/details/79337558
[2]:positive define：https://zhuanlan.zhihu.com/p/44860862
[3]:任意函数，能由其在点的n阶导数展开逼近，即：
[5]: 黑塞矩阵正定，则可以使用牛顿法求解：https://www.zhihu.com/question/303556814
用黑塞矩阵来表达二阶的泰勒展开就是：【在处展开，为的二阶导数矩阵（hesse matrix）】

我们对二阶展开求导数，得到其梯度为：（注这里是对泰勒展开求对x的导数）

令其导数，即可求得下一个驻点：

因此牛顿法就是：不断地更新驻点，再迭代。
当然，如果原函数过于复杂，导致Hesse matrix计算难度过大，可能就需要用拟牛顿法。
[4]:关于牛顿法的优化的推广：DFP，BFGS，L-BFGS
[5]:matrix rank 的性质：r(A)
(1)转置后秩不变
(2)r(A)<=min(m,n),A是mn型矩阵
(3)r(kA)=r(A),k不等于0
(4)r(A)=0 <=> A=0
(5)r(A+B)<=r(A)+r(B)
(6)r(AB)<=min(r(A),r(B))
(7)r(A)+r(B)-n<=r(AB)
[6]:Determinate：det(A),|A|
矩阵行列式计算方式：对矩阵进行线性变换，依次将下三角消为0，然后对角元素相乘。
[7]:多元函数存在极值的必要条件与充要条件
[8]:cofactor matrix
[9]:矩阵可逆的充要条件：det(A)不等于0【非奇异，满秩】
[10]:正交矩阵，A的转置等于A的逆：且则
[11]:对称矩阵的相似对角化：对于对称矩阵，总是存在正交矩阵P使得，所以给定任意二次型A，总存在正交变换使得f变成标准型，其系数为A的特征值。
[12]: