Orthogonality

中文上，Orthogonality意为 垂直 或者 正交
先定义了内积，然后才有了正交的概念
正交向量与正交子空间 Orthogonal vectors & subspaces点积 or 内积 dot product or inner product正交向量 Orthogonal vectors正交子空间 Orthogonal subspaces正交补 orthogonal complements子空间投影 Projections onto subspaces

正交向量与正交子空间 Orthogonal vectors & subspaces

本讲我们讨论正交（orthogonal）概念对于向量、基和子空间的意义。

点积 or 内积 dot product or inner product

定义 向量 与向量 点积 如下：
向量与自身内积：
即 向量 的长度为：

正交向量 Orthogonal vectors

定义：如果两个向量点积为0，则两向量正交（Orthogonal）。
例如：在 空间， 为正交向量。
备注：
证明：
💡
正交就是垂直（perpendicular）的另一种说法。两向量正交的判据之一是其点积。当两个向量的夹角为 90 度时，满足勾股定理（毕达哥拉斯定理Pythagorean theorem）。

正交子空间 Orthogonal subspaces

定义正交子空间：子空间 与子空间 正交，则 中的任意一个向量 都和 中的任意向量 正交。
 
接下来通过 来说明 四大子空间的正交关系。
因此，零空间中的每一个向量都与行空间 中的所有向量满足 内积=0，即矩阵的零空间与其行空间正交。
将上述Ax=0 转置之后，同理可得，矩阵的左邻空间与列空间正交，以下给出证明。
可得，A的所有列向量与左零空间中的向量的内积为0。
综上：

正交补 orthogonal complements

定义：子空间 的正交补空间 包含了所有与子空间V垂直的的向量，即
Note: 正交补 也是一个子空间。其证明可从加法和数乘的封闭性来证明。
定理1：
证明思路：有 Ax=0 来推导。本质上几乎是 零空间N(A)的定义
定理2：
证明思路：只需要证明任意一个垂直于 零空间N(A)的向量均在行空间即可。然后使用反证法。
证明：假设向量 v 垂直于 中的任意向量， 但是 。令向量 v 作为 矩阵A的最后一行，有。
由, 推导可得 依旧满足，因此 与 有相同的零空间，即 。
但是 ，而由假设得 ，但是此时。
与假设矛盾。
同理，将 A^T 带入上述俩定理，可得如下定理：
💡
我们可以称目前讨论的这部分内容是线性代数基本定理的第二部分。第一部分是给出四个子空间和它们的维数，第二部分说明它们是两两互为正交补。
行空间和零空间不仅仅是正交，并且其维数之和等于n，我们称行空间和零空 间为Rn 空间内的正交补（orthogonal complements）。 一个空间中正交子空间的维数之和不可能超过原空间的维数。
定理：
维 空间的 个 向量 独立 当且仅当 该 个向量必能张成该 维空间
证明思路：分别从两个方向证明。独立可以表达为Ax=0只有零解；个向量必能张成该维空间可以表达为 Ax=b 对任意b 均有解。
证明： 令
  1. 独立 → 该个向量必能张成该维空间
      2. 如果 v_1, v_2,…, v_n 线性独立, 那么rank(A) = n, 因此矩阵A为可逆矩阵，所以Ax=b 对任意向量R^n 中的向量 b 总是有解。
      因此C(A) = R^n，所以 v_1, v_2,…,v_n 张成 R^n
  1. 该个向量必能张成该维空间 → 独立
      2. 如果 该n个向量能张成R^n， 那么对于任意b Ax=b均有解。因此经过高斯消元之后，没有零行，即有n个主元，所以rank(A) = n。
      所以 的零空间为 。所以 独立
推论：
R^n空间中的任意n个向量，若是独立，则必为的一组基。
R^n空间中任意n个向量，若能张成，则必为的一组基。
💡
上述定理说明了一件事情，那就是 维空间 的个向量（保证了向量数）， 独立 和 张成是等价的。
定理：
如果自空间 和子空间 正交，则
证明：
假设 有一向量 ，则 ，且 。则有 ，即 。
因此，
定理：
对于任意向量，总有 ，且表示方式唯一，其中 。
证明思路：任意一个n维向量 在R^n中只要固定一组基，则表示方式必定是唯一的。所以只需要证明 能形成一组基。
证明
令 ,为行空间 的一组基，为零空间 的一组基。（联立起来总共有n个向量，数量是够了，所以只需要证明相互独立即可）
假设 a_1v_1 + a_2v_2 + …+ a_rv_r + b_1 w_1 + … +b_{n-r}w_{n-r} = 0，令 u = a_1v_1 + a_2v_2 + …+ a_rv_r = -(b_1 w_1 + … +b_{n-r}w_{n-r})。
因为 且 ，而行空间与零空间正交，固有 。
所以有 。
又因为 ,为行空间 的一组基，为零空间 的一组基。因此 其分别线性独立，所以有 .
因此，线性独立。且为 的一组基。
所以对于任意向量 ，有:
备注：对于任意向量 ，将其分解为 是唯一的。同理，对A做转置之后，有，对于任意向量 ，将其分解为 是唯一的
有了上述分解，那么对于矩阵与向量相乘有：
可见通过 矩阵 A：
  • 向量 的在零空间的分量 转为了零向量，
  • 在行空间的分量 经过 转到了矩阵的列空间。
所以， 能将 任意 转到A的列空间。如下图：
notion imagenotion image
定理：
列空间的任意向量均与行空间的唯一向量对应。
证明思路：
b \in C(A) = Ax = A(x_n + x_r)。所以一定有，只需要证明唯一。证明唯一只需要假设存在俩个，然后证明相同。
证明：
令 向量 ，则有 , 即 ，因此 ，又因为 。而 , 有 。
因此 ，即
例：矩阵 ，有 zh
注：此处的分解方法采用之前的定理的证明即可。即分别找到行空间和零空间的基，然后组成R^2的一组基。再求得向量x在该基上的表示，最后再把系数分别对应到 行空间和零空间即可。
其实还可以采用投影，将向量x分别投影的行空间和零空间。

子空间投影 Projections onto subspaces