浅说范数规范化(附录)

附录 A:矩阵条件数 $\kappa({A})$

在本系列第一篇里提到病态矩阵的时候,说到了矩阵条件数的一些性质,下面给一个简单的证明。

事实上由于条件数是描述线性方程系统 $AX = b$ 的变化敏感度的一个量,所以我们给这个系统的每个量一个微扰,然后解出 $x$ 的变化程度:
$$
\begin{aligned}
& \quad (A+\Delta A)(x + \Delta x) = b+\Delta b \\
& \Rightarrow \Delta x = A^{-1}[\Delta b - (\Delta A) x - (\Delta A)(\Delta x)] \\
& \Rightarrow \lVert \Delta x \rVert \le \lVert A^{-1} \rVert (\lVert \Delta b \rVert + \lVert \Delta A \rVert \lVert x \rVert + \lVert \Delta A\rVert \lVert \Delta x\rVert ) \\
& \Rightarrow (1-\lVert A^{-1} \rVert \lVert \Delta A \rVert) \lVert \Delta x \rVert \le \lVert A^{-1} \rVert (\lVert \Delta b \rVert + \lVert \Delta A \rVert \lVert x \rVert) \\
& \Rightarrow \lVert \Delta x \rVert \le \frac{\lVert A^{-1} \rVert}{1-\lVert A^{-1} \rVert \lVert \Delta A \rVert} \left( \lVert \Delta b \rVert + \lVert \Delta A \rVert \lVert x \rVert \right) \qquad (\because \, \lVert A^{-1} \rVert \lVert \Delta A \rVert \le 1) \\
& \Rightarrow \frac {\lVert \Delta x \rVert}{\lVert x \rVert} \le \frac{\lVert A^{-1} \rVert \lVert A \rVert}{1-\lVert A^{-1} \rVert \lVert \Delta A \rVert} \left( \frac{\lVert \Delta b \rVert}{\lVert b \rVert} + \frac{\lVert \Delta A \rVert}{\lVert A \rVert} \right) \qquad (\because \, \lVert b \rVert \le \lVert A \rVert \lVert x \rVert)
\end{aligned}
$$
当 $\Delta A = 0$ 时,有:
$$
\frac{\lVert \Delta x \rVert}{\lVert x \rVert} \le \kappa(A) \frac{\lVert \Delta b \rVert}{\lVert b \rVert}
$$
当 $\Delta b = 0$ 时,有:
$$
\frac{\lVert \Delta x \rVert}{\lVert x \rVert} \le \kappa(A) \frac{\lVert \Delta A \rVert}{\lVert A \rVert}(1+o(\lVert A^{-1} \rVert))
$$
一个常用的条件数是 2-条件数:
$$
\kappa_{2}(A) = \lVert A^{-1} \rVert _{2} \lVert A \rVert _{2} = \sqrt{\frac{\lambda _{max}}{\lambda _{min}}}
$$
其中,$\lambda_{max}$ 和 $\lambda_{min}$ 分别是 $A^{\mathsf{H}}A$ 的最大特征值和最小特征值。
(从这个角度上来看,条件数也确实是衡量矩阵敏感度的一个值。)