在本系列中,我们用彩色 Latex 笔记记录下 MIT 18.06 Gilbert Strang 教授经典的线性代数课程的精髓,部分内容也会以动画和代码的形式。后续会覆盖更多人工智能所涉及的数学基础课程:统计,优化等,欢迎大家关注和反馈。

本文总结了方程组的行视角,列视角的几何意义;并回顾了解方程的两个步骤:消元和回代。内容对应于MIT 18.06 Gilbert Strang 线性代数视频课程第一,二节。

本系列链接如下

矩阵乘法的五种理解 - Strang MIT 18.06 线性代数精髓 1

方程组两种几何解释二元方程组

来看一个具体的二元线性方程组

线性方程组解的结构讲解(解方程组的意义和过程)(1)

写成矩阵形式

线性方程组解的结构讲解(解方程组的意义和过程)(2)

行视角

回顾 2x -y = 0为所有满足此条件的 (x, y) 的集合,即集合组成二维平面的一条直线,如下图蓝线所示。

-x 2y = 3则对应绿线。

因此方程组的解 x = 1, y = 2 为两条直线的交点,这就是方程组的行视角:将系数矩阵按行切分,则每一行表示一个约束条件,几何意义是N维空间的一个子空间。在二元方程中,一行表示一条线,三元方程中,一行表示一个平面(详见后一小节)。

线性方程组解的结构讲解(解方程组的意义和过程)(3)

线性方程组解的结构讲解(解方程组的意义和过程)(4)

列视角

若将系数矩阵按列切分,则每一列表示一个向量,方程组的解 (x, y) 表示每个列向量以 x, y 为权重的线性组合刚好形成 b 向量。这个就是方程组 Ax = b 有解的条件:b 在 A 的列空间,此时,x 为 列向量的组合系数。

线性方程组解的结构讲解(解方程组的意义和过程)(5)

线性方程组解的结构讲解(解方程组的意义和过程)(6)

三元方程组行视角

对于三元方程组行视角来说,每一行的方程组成一个三维空间中的一个平面。解是三个平面的交点,通常来说为一个点。

线性方程组解的结构讲解(解方程组的意义和过程)(7)

图片来自 Introduction to Linear Algebra for Applied Machine Learning with Python (https://pabloinsente.github.io/intro-linear-algebra),解为一直线而非一个点。

线性方程组解的结构讲解(解方程组的意义和过程)(8)

列视角

三元列视角下,A 的列向量为三维平面的一个向量,x(下图为 w) 表示每个列向量取多少倍数可以组成 b 向量。

线性方程组解的结构讲解(解方程组的意义和过程)(9)

线性方程组解的结构讲解(解方程组的意义和过程)(10)

解方程的步骤

总结了二元三元方程组的行和列视角后,我们回顾求解方程的具体步骤。用两个过程,消元和回代便可以解得方程。

线性方程组解的结构讲解(解方程组的意义和过程)(11)

三元方程示例

举个三元方程组为例

线性方程组解的结构讲解(解方程组的意义和过程)(12)

写成矩阵形式为

线性方程组解的结构讲解(解方程组的意义和过程)(13)

消元过程

在消元过程中,有两类操作,一是将上一行乘以某系数后被下一行减去,依次消除这一行的元。第二类操作是交换当前行和后面某行,行交换用于当某行对应的元已经为0的情况下。

以上述三元方程为例,第二行消元的具体过程为第二行减去3倍的第一行。接着,再进行第三行消元。

线性方程组解的结构讲解(解方程组的意义和过程)(14)

最终,上矩阵为

线性方程组解的结构讲解(解方程组的意义和过程)(15)

回代过程

回代过程比较直白,由上矩阵 U 对应方程组

线性方程组解的结构讲解(解方程组的意义和过程)(16)

自下向上,容易解得

线性方程组解的结构讲解(解方程组的意义和过程)(17)

消元的行视角意义

注意到消元时的两类操作都不改变系数矩阵的行空间,只是改变了行空间的线性组合方式。

由于每一行代表一个拘束子空间,因此每一次消元改变了该行的拘束子空间。

举个例子,对于二元方程组和行空间

线性方程组解的结构讲解(解方程组的意义和过程)(18)

对应了两条直线

线性方程组解的结构讲解(解方程组的意义和过程)(19)

第二行的 x 消除后其几何意义为:蓝色直线不变,绿色直线从包含 x 的成分变成不含 x 成分,并且维持交点 (1, 2)不变。

线性方程组解的结构讲解(解方程组的意义和过程)(20)

线性方程组解的结构讲解(解方程组的意义和过程)(21)

最后大家可以思考一下一个问题:消元对于列视角的几何意义是什么呢?

博客原文链接,电脑端或手机非微信浏览器中查看效果更好。或点击阅读原文可以在微信浏览器中打开,首次打开公式渲染需要时间,请耐心等待。

https://myencyclopedia.top/blog/zh/2022/linear-algebra-strang-02-solving-equations/

https://myencyclopedia.github.io/zh/2022/linear-algebra-strang-02-solving-equations/

喜欢的话就点赞关注 MyEncyclopedia 公众号 吧

线性方程组解的结构讲解(解方程组的意义和过程)(22)

MyEncyclopedia 带您领略深度学习,强化学习,算法,数学,大数据等前沿科技的交叉魅力 66篇原创内容

,