SVD 奇异值分解 部分笔记

youtube.com/watch?v=vSczTbgc8Rc&list=LL&index=6

代数明珠—奇异值分解（SVD）生动动画演示！_哔哩哔哩_bilibili

代数过程

代数不好，不记了。感兴趣上网找资料去，肯定不少人写了。

简单理解

不会重复视频里面有的东西。

SVD 分解可以表示为简单的公式 。

SVD 干了什么？

右边表示的矩阵大致是几部分。从右到左的，一是将原矩阵变化到特征向量正交的形式，这样中间的矩阵就能以简单的方式来记录特征值。二是中间的矩阵记录了矩阵特征值和特征向量（注意：A保存的是奇异值而不是直接存储特征值，奇异值是特征值的平方根）的情况。三是矩阵再将之前矩阵做的变换在转换回原先矩阵的样子，只不过是在低维的转换。

从其他角度理解 SVD

所谓特征值和特征向量其实可以理解成类似图像处理中图像通道的意思，又或者是信号处理中不同频道的信号。SVD 主要做的事情就是将原来复杂的信号分解成较为简单的高频信号和低频信号线性组合的形式。

其他理解

根据 SVD 的数学公式，在公式上可以看到 SVD 本身并没有损失，等式两边都是等价的，所以奇异值分解本身并不会导致损失什么信息，只是进行了等价变换。

但在应用上比如说图像压缩，SVD 既然都把信号分成了高频和低频，将主成分分析了出来，那按照有损压缩的理念——不被察觉地砍掉信息，也就是消除一定的低频信息。只要把低频信息也就是特征值小的部分向量抹除填零，就可以达到砍掉低频信息的效果。（不过实际上正常理解应该是在分解时看成低秩矩阵的近似，这里是我个人的理解）