特征分解(Eigendecomposition),又称谱分解(Spectral decomposition)是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。

需要注意只有对可对角化矩阵才可以施以特征分解。

A 是一个 N×N 的方阵,且有 N 个线性无关的特征向量

人工智能逻辑真值表(人工智能基础-特征分解与奇异值分解的的几何意义)(1)

这样, A 可以被分解为

人工智能逻辑真值表(人工智能基础-特征分解与奇异值分解的的几何意义)(2)

其中Q是N×N方阵,且其第i列为A的特征向量。Λ是对角矩阵,其对角线上的元素为对应的特征值,也即

人工智能逻辑真值表(人工智能基础-特征分解与奇异值分解的的几何意义)(3)

对特殊矩阵的特征分解

人工智能逻辑真值表(人工智能基础-特征分解与奇异值分解的的几何意义)(4)

人工智能逻辑真值表(人工智能基础-特征分解与奇异值分解的的几何意义)(5)

奇异值分解(Singular Value Decomposition)是线性代数中一种重要的矩阵分解,在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性,但还是有明显的不同。谱分析的基础是对称阵特征向量的分解,而奇异值分解则是谱分析理论在任意矩阵上的推广。

假设M是一个m×n阶矩阵,其中的元素全部属于域 K,也就是实数域或复数域。如此则存在一个分解使得

人工智能逻辑真值表(人工智能基础-特征分解与奇异值分解的的几何意义)(6)

其中U是m×m阶酉矩阵;Σ是半正定m×n阶对角矩阵;而V*,即V的共轭转置,是n×n阶酉矩阵。这样的分解就称作M的奇异值分解。Σ对角线上的元素Σi,其中i即为M的奇异值。奇异值分解可以被用来计算矩阵的伪逆。若矩阵 M 的奇异值分解为

人工智能逻辑真值表(人工智能基础-特征分解与奇异值分解的的几何意义)(7)

那么 M 的伪逆为

人工智能逻辑真值表(人工智能基础-特征分解与奇异值分解的的几何意义)(8)

其中

人工智能逻辑真值表(人工智能基础-特征分解与奇异值分解的的几何意义)(9)

人工智能逻辑真值表(人工智能基础-特征分解与奇异值分解的的几何意义)(10)

的伪逆,并将其主对角线上每个非零元素都求倒数之后再转置得到的。求伪逆通常可以用来求解 线性最小平方、最小二乘法问题。

矩阵的特征值分解与奇异值分解的几何意义

1、首先,矩阵可以认为是一种线性变换:确定了定义域空间与目标空间的两组基,就可以很自然地得到该线性变换的矩阵表示。即矩阵A可以通过Ax=b将一个向量x线性变换到另一个向量b,这个过程中,线性变换的作用包含三类效应:旋转缩放投影

2、奇异值分解体现了对线性变换这三种效用的一个析构。

人工智能逻辑真值表(人工智能基础-特征分解与奇异值分解的的几何意义)(11)

中,U的列向量组成了一组标准正交基,V的列向量也是,这表示我们找到了U和V这两组基,A矩阵的作用是将一个向量从V这组正交基向量的空间旋转到U这组正交基向量空间,并对每个方向做一定的缩放,缩放因子就是Σ中的各个奇异值,同时如果V的维度比U大,那么这个过程还包含了投影。

可见SVD将一个矩阵原本混合在一起的三种作用效果给分离了开来。

3、特征值分解则是对旋转和缩放两种效应的归并。因为特征值分解中的A为方阵,显然是不存在投影效应的。

特征值和特征向量由

人工智能逻辑真值表(人工智能基础-特征分解与奇异值分解的的几何意义)(12)

得到。即对于一个处于A的特征向量x方向上的向量v而言,Av对v的线性变换作用则只表现在缩放上。或者说,我们找到了一组基(特征向量们),在这组基下,矩阵的作用效果仅仅是缩放。

当A为实对称矩阵时,特征向量之间是相互正交的,可以将上式写作

人工智能逻辑真值表(人工智能基础-特征分解与奇异值分解的的几何意义)(13)

,这样看形式和SVD类似,即矩阵A将一个向量从x这组基的空间旋转到x这组基的空间上,并在每个方向进行了缩放,由于前后两组基都是x,即没有进行旋转和投影。

人工智能逻辑真值表(人工智能基础-特征分解与奇异值分解的的几何意义)(14)

人工智能逻辑真值表(人工智能基础-特征分解与奇异值分解的的几何意义)(15)

,