linear equations

对于线性方程组,可以从两个视角来看待方程解的含义:
  • row picture:超平面的相交,是从每个方程的角度考虑求解问题,是更微观的维度;
  • col picture:列向量的线性组合,是从组合向量的维度考虑求解问题,是更宏观的维度;

Row picture & Column picture

线性代数的基本问题就是解n元一次方程组。例如:二元一次方程组:
写成矩阵形式就是:
简记为其中称为系数矩阵(coefficient matrix)

Row Picture

notion imagenotion image
行图像遵从解析几何的描述,每个方程在平面上的图像为一条直线。找到符合方程的两个数组,就可以确定出x-y平面上的两个点,连接两点可以画出该方程所代表的直线。两直线交点即为方程组的解x=1,y=2。

Column Picture

在列图像中,将系数矩阵写成列向量的形式,则求解原方程变为寻找列向量的线性组合(linear combination)来构成向量b
向量线性组合是贯穿本课程的重要概念。对于给定的向量cd以及标量xy,将xc+yd称之为cd的一个线性组合。见
Introduction to Vectors
从几何上讲,是寻找满足如下要求的x和y,使得两者分别数乘对应的列向量之后相加得到向量.
notion imagenotion image
可以看到当蓝色的向量乘以1与橙色的向量乘以2后做加法(首尾相接)就可以得到绿色的向量b,由此可得到方程的解x=1,y=2。
将以上讨论扩展到三元,对于如下方程组:
有矩阵形式
行图像:先用两个面相交于一条直线画了一个图,然后让这条直线和第三个平面相交画了第二个图
行图像:三个平面相交于一点行图像:三个平面相交于一点
行图像:三个平面相交于一点
列图像
列图像:三个向量的线性组合列图像:三个向量的线性组合
列图像:三个向量的线性组合

Elimination with matrices

先介绍矩阵消元得到上三角矩阵 U,然后再介绍回代求解。即高斯消元包括两大步骤:
  • 前向消元
  • 反向回代

消元法 Method of Elimination

消元法是计算机软件求解线形方程组所用的最常见的方法。
任何情况下,只要是矩阵A可逆,均可以通过消元法求得Ax=b的解。
例,对于如下线性方程组
表示为矩阵形式 Ax=b,有:
其中:
高斯消元法(Gauss elimination)就是通过对方程组中的某两个方程进行适当的数乘和加(jian)和(fa),以达到将某一未知数系数变为零,从而削减未知数个数的目的。
消元针对的对象是系数矩阵A,将矩阵A左上角的1称之为“主元一”(the first pivot),第一步要通过消元将第一列中除了主元之外的数字均变化为0。操作方法就是用之后的每一行减去第一行的适当倍数,此例中第二行应减去第一行的3倍。之后应对第三行做类似操作,本例中三行第一列数字已经为0,故不用进行操作。
处在第二行第二列的主元二为2,因此用第三行减去第二行的两倍进行消元,得到第三个主元为5。
矩阵A为可逆矩阵,消元结束后得到上三角阵U(Upper triangular matrix),其左侧下半部分的元素均为0,而主元1,2,5分列在U 的对角线上
💡
注:主元不能为0,如果恰好消元至某行,0 出现在了主元的位置上,应当通过与下方一行进行“行交换”使得非零数字出现在主元位置上。如果0出现在了主元位置上,并且下方没有对等位置为非0数字的行,则消元终止,并证明矩阵A为不可逆矩阵,且线性方程组没有唯一解。

回代 Back-Substitution

做方程的高斯消元时,需要对等式右侧的b做同样的乘法和加减法。手工计算时比较有效率的方法是应用“增广矩阵”(augmented matrix),将b插入矩阵A之后形成最后一列,在消元过程中带着b 一起操作。
💡
在软件计算中,是先算完系数矩阵再处理b
对于上述方程组,有增广矩阵。对增广矩阵 进行消元,如下:
此时我们将原方程Ax=b转化为了新的方程Ux=c,其中
回代求解:从最后一行得到z=-2,依次回代可以得到 y=1,和x=2。