线性代数-常见矩阵

线性代数参考文档

https://zh.d2l.ai/chapter_preliminaries/linear-algebra.html#id5

https://machine-learning-from-scratch.readthedocs.io/zh-cn/latest/%E7%BA%BF%E6%80%A7%E4%BB%A3%E6%95%B0.html

单元矩阵

单位矩阵（Identity matrix），也称为恒等矩阵（Identity matrix）或标准矩阵（unit matrix），是一种特殊的方阵，其主对角线上的元素全为1，其余元素全为0。单位矩阵通常用字母 "I" 或 "E" 表示，其大小由行数（或列数）决定。单位矩阵在矩阵运算中具有类似于数字中的 1 的作用。

3阶单位矩阵示例如下： \[ \left[ \begin{matrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{matrix} \right] \]

满轶矩阵

若矩阵秩等于行数，称为行满秩；若矩阵秩等于列数，称为列满秩。

既是行满秩又是列满秩则为n阶矩阵即n阶方阵（可用反证法证明，列满轶时与行满轶时矩阵的轶是同一个数值）。

行满秩矩阵就是行向量线性无关，列满秩矩阵就是列向量线性无关；所以如果是方阵,行满秩矩阵与列满秩矩阵是等价的。

---

矩阵的轶定义：设A是m×n矩阵，A中的最大的不为零的子行列式的阶数称为矩阵A的轶，记为r(A)。或这样定义：若存在k阶子式不为零，而任意k+1阶子式全为零（如果有的话），则k为矩阵A的轶，记作r(A)=k。

显然如果一个n阶方阵的轶为n，则可知： r(A_n×n)=n <=> |A|≠0 <=> A可逆 \[ \text{简单举例：如下对3×3对角矩阵A的轶为3} \\ A=\left[ \begin{matrix} 1 & 0 & 0 \\ 0 & 4 & 0 \\ 0 & 0 & 6 \end{matrix} \right] \]

对称矩阵

在线性代数中，对称矩阵（英语：symmetric matrix）指转置矩阵和自身相等方形矩阵。 \[ A^T=A \] 对称矩阵中的右上至左下方向元素以主对角线（左上至右下）为轴进行对称。若将其写作，则对所有的i和j，

对称矩阵示例： \[ \left[ \begin{matrix} 1 & 2 & 3 \\ 2 & 4 & -5 \\ 3 & -5 & 6 \end{matrix} \right] \]

正交矩阵

在矩阵论中，正交矩阵（英语：orthogonal matrix），又称直交矩阵，是一个方块矩阵Q，其元素为实数，而且行向量与列向量皆为正交的单位向量 （即 所有行向量两两正交，且每个行向量的模长为1；所有列向量两两正交，且每个列向量的模长为1），使得该矩阵的转置矩阵为其逆矩阵： \[ Q^T=Q^{-1}\quad \text{<=>} \quad Q^TQ=Q^{-1}Q=E\\ \] 其中，为单位矩阵。正交矩阵的行列式值必定为+1或−1，因为：

\[ 1=det(E)=det(Q^TQ)=det(Q^T)det(Q)=det(Q)det(Q)=[det(Q)]^2 \quad => \quad def(Q)=±1 \]

正定矩阵

参考：张宇线性代数9讲第9章二次型、https://basics.sjtu.edu.cn/~yangqizhe/pdf/la2024s/slides/LALec13-handout-zh.pdf

定义

• 广义定义

  • 设M是n阶方阵，如果对任何非零向量z，都有 z'Mz > 0，其中z' 表示z的转置，就称M正定矩阵。 例如：B为n阶矩阵，E为单位矩阵，a为正实数。aE+B在a充分大时，aE+B为正定矩阵。（B必须为对称阵）

• 狭义定义

  • 定义描述1（来自张宇线性代数9讲第9章二次型）：n元二次型f(x₁,x₂,...,x_n)=x^TAx，对于任意的x=[x₁,x₂,...,x_n]^T≠0，均有x^TAx > 0，则称f为正定二次型，称二次型的对应矩阵A为正定矩阵。
  • 定义描述2：一个n阶的实对称矩阵M是正定的当且仅当对于所有的非零实系数向量z，都有z'Mz> 0。其中z'表示z的转置。

  一个对称矩阵 S 被称为是正定矩阵，如果其所有的特征值 λ 都满足 λ > 0。

二次型正定的充要条件

n元二次型f(x₁,x₂,...,x_n)=x^TAx 正定，<=> 对任意的x=[x₁,x₂,...,x_n]^T≠0，均有x^TAx > 0 （定义）

<=>f的正惯性指定p=n

<=>存在可逆矩阵D，使用A=D^TD

<=>A与E合同

<=>A的特征值λ_i > 0（i=1,2,...,n）

<=>A的全部顺序主子式均大于0

二次型正定的必要条件

（1）a_ii >0 （i=1,2,...,n） （可由x取特定的值来证明，如e₁,e₂,...,e_n）

（2）|A|>0 (|A|= |D^TD|= |D^T||D|= [|D|]²> 0 恒成功，因为矩阵D是可逆的)

矩阵变换

在线性代数中，矩阵的初等行变换是指以下三种变换类型 ：

1. 交换矩阵的两行（对调i,j，两行记为r_i，r_j）；

2. 以一个非零数k乘矩阵的某一行所有元素（第i行乘以k记为r_i × k）；

3. 把矩阵的某一行所有元素乘以一个数k后加到另一行对应的元素(第j行乘以k加到第i行记为r_i + k × r_j)。 \[ A=\left[ \begin{matrix} 1 & 2 & 3 \\ 0 & 4 & 5 \\ 0 & 0 & 6 \\ \end{matrix} \\ \right] ，经过矩阵初等变换后，矩阵A可以转换成右侧形式， B=\left[ \begin{matrix} 1 & 2 & 3 \\ 0 & 4 & 5 \\ 0 & 0 & 6 \\ \end{matrix} \\ \right] \]