- 矩阵对角化,SVD分解以及应用
- 逆矩阵,伪逆矩阵
- PCA原理与推导
- 极大似然估计,误差的高斯分布与最小二乘估计的等价性
- 最优化,无约束,有约束,拉格朗日乘子的意义,KKT条件
课程2 逆矩阵,伪逆矩阵,最小二乘解,最小范数解;PCA原理与推导1. 逆矩阵,伪逆矩阵,最小二乘解,最小范数解
1, 2, ⋯ , , ∈ ℝ
1, 2, ⋯ , , ∈ ℝ1
1 = 111 122 ⋯ 1
2 = 211 222 ⋯ 2
⋮
= 11 22 ⋯
××1 = ×1
当 = 且×可逆时:
= −1s
一般情况: ≠ n
设min||X − ||2 =
则对矩阵求导可得,/= X(X − ) = 0
XX = X XX是否可逆?
补充:矩阵可逆的条件:
R(A)=n,即若矩阵满秩则矩阵可逆
秩的定义:矩阵中所有行向量中极大线性无关组的元素个数。
1. N > n
如 = 5, = 3 (XX)3×3一般是可逆的
补充: R(AB)<<R(A)或R(B)
则 = (XX)(−1)X
此时(XX)(−1)X即为伪逆矩阵
2. <
如 = 3, = 5 (XX)5×5
(XX) ≤ (X) ≤ 3
故XX不可逆
此时就需要加上正则项得,
这里所求的解便是最小范数解
2. PCA原理与推导PCA仍然是一种数据压缩的算法
如图所示,A点需要x,y两个坐标来表示,假设A在向量u上面的投影点为A’,则A’仅仅需要一个参数就能表示,就是OA’的长度(即A’在u上的坐标),我们就想着用A’来替换A,这样N个点(原来要2*N个参数),现在只需要(N 2)个参数(u也需要2 个参数)
但是此时就带来了误差,如AA’和BB’,所以我们要能够找到这样一个方向u,使得所有原始点与投影点之间的误差最小。
后续将继续更新课程内容. . . .
,