【深度学习-数学基础】向量和矩阵的范数归纳

向量的范数

定义一个向量为：a=[-5,6,8,-10]。

向量的 1 范数：向量的各个元素的绝对值之和，上述向量 a 的 1 范数结果就是：29。

向量的 2 范数：向量的每个元素的平方和再开平方根，上述 a 的 2 范数结果就是：15。

向量的负无穷范数：向量的所有元素的绝对值中最小的：上述向量 a 的负无穷范数结果就 是：5。

向量的正无穷范数：向量的所有元素的绝对值中最大的：上述向量 a 的负无穷范数结果就 是：10。

矩阵的范数

定义一个矩阵 A=[-1 2 -3;4 -6 6]。

矩阵的 1 范数：矩阵的每一列上的元素绝对值先求和，再从中取个最大的，（列和最大）， 上述矩阵 A 的 1 范数先得到[5,8,9]，再取最大的最终结果就是：9。

矩阵的 2 范数：矩阵 AtA 的最大特征值开平方根，上述矩阵 A 的 2 范数得到的最终结果 是：10.0623。

矩阵的无穷范数：矩阵的每一行上的元素绝对值先求和，再从中取个最大的， （行和最大）， 上述矩阵 A 的 1 范数先得到[6；16]，再取最大的最终结果就是：16。

矩阵的核范数：矩阵的奇异值（将矩阵 svd 分解）之和，这个范数可以用来低秩表示（因 为最小化核范数，相当于最小化矩阵的秩——低秩），上述矩阵 A 最终结果就是：10.9287。

矩阵的 L0 范数：矩阵的非 0 元素的个数，通常用它来表示稀疏， L0 范数越小 0 元素越多， 也就越稀疏，上述矩阵 A 最终结果就是：6。

矩阵的 L1 范数：矩阵中的每个元素绝对值之和，它是 L0 范数的最优凸近似，因此它也 可以表示稀疏，上述矩阵 A 最终结果就是：22。

矩阵的 F 范数：矩阵的各个元素平方之和再开平方根，它通常也叫做矩阵的 L2 范数，它 的有点在它是一个凸函数，可以求导求解，易于计算，上述矩阵 A 最终结果就是：10.0995。

矩阵的 L21 范数：矩阵先以每一列为单位，求每一列的 F 范数（也可认为是向量的 2 范 数），然后再将得到的结果求 L1 范数（也可认为是向量的 1 范数），很容易看出它是介于 L1 和 L2 之间的一种范数，上述矩阵 A 最终结果就是：17.1559。