在《机器学习数学基础》第 3 章的 3.5.2 节中引入了正定矩阵，本文在其基础上，对正定矩阵的有关知识做进一步的深入介绍。

定义

令 $A$ 为一个 $n\times n$ 实对称矩阵，当且仅当对所有 $n$ 维非零向量 $x$ ，都有：

$$x^{\mathrm{T}}Ax>0$$
则称 $A$ 为正定（positive definite）；若上述条件为：

$$x^{\mathrm{T}}Ax\ge 0$$
则称 $A$ 为半正定（positive semidefinite）.

分析

在上述关于正定矩阵的定义中，之所以强调 $A$ 是实对称矩阵，是因为任何一个实数方阵，都可以表示为一个实对称矩阵与一个反对称矩阵的和，即 $A=B+C$ （称为卡氏分解），其中：

$$\begin{array}{r}B=\frac{1}{2}(A+A^{\mathrm{T}})\\ C=\frac{1}{2}(A-A^{\mathrm{T}})\end{array}$$
计算可验证：$B=B^{\mathrm{T}}$ 、$C=-C^{\mathrm{T}}$ 。所以，$B$ 是对称矩阵，$C$ 是反对称矩阵（反对称矩阵，也称为“斜对称矩阵”${}^{[2]}$）。

考虑：

$$x^{\mathrm{T}}Ax=x^{\mathrm{T}}(B+C)x=x^{\mathrm{T}}Bx+x^{\mathrm{T}}Cx$$
因为：

$$x^{\mathrm{T}}Cx=(x^{\mathrm{T}}Cx{)}^{\mathrm{T}}=x^{\mathrm{T}}{C}^{\mathrm{T}}x=-x^{\mathrm{T}}Cx$$
故 $x^{\mathrm{T}}Cx=0$ ，因此

$$x^{\mathrm{T}}Ax=x^{\mathrm{T}}Bx$$
即二次型 $x^{\mathrm{T}}Ax$ 可用对称部分表示。

几何意义

• 若 $n=1$ ，则矩阵 $A$ 和向量 $x$ 都退化为标量 $a、x$ ，对任意非零的 $x$ ，有：$xax=a{x}^2>0$ 。

  显然 $a$ 是正数，完整地说，$a$ 是正定的。

• 若 $n>1$ ，$Ax$ 与 $x$ 之间的夹角 $\theta$ 的余弦为 $\cos \theta =\frac{x^{\mathrm{T}}(Ax)}{\Vert \begin{array}{c}x\end{array}\Vert \Vert \begin{array}{c}Ax\end{array}\Vert }$ 。

  $Ax$ 与 $x$ 点积为正值，则 $\theta <90°$ ，如下图所示，$x$ 为超平面 $P$ 的法向量，正定矩阵 $A$ 保证变换后的向量 $Ax$ 与原向量 $x$ 都位于超平面 $P$ 的同一侧。

  

对称正定矩阵的对角化形式 $A={Q\Lambda Q}^{-1}$ 的几何解释：

• $A\sim \Lambda$ ，$A$ 参考有序基 { q 1 , ⋯   , q n } \{\pmb{q}_1,\cdots,\pmb{q}_n\} {q1​,⋯,qn​} 的变换矩阵即为对角矩阵 $\Lambda$ 。由于每个主对角元素都大于零，对称正定矩阵具有分别拉伸各主轴（即特征向量方向）的功能，而伸缩量即为特征值。
• 还可以认为连续执行了三个线性变换：
  1. $Q^{-1}$ ：旋转变换
  2. $\Lambda$：拉伸变换
  3. $Q$ ：逆旋转变换

定理

若 $A$ 是一个实对称正定矩阵，则 $A$ 的特征值皆为正，反之亦然。

证明

（1）$A$ 是实对称正定矩阵，令 $A={Q\Lambda Q}^{\mathrm{T}}$ ，其中 $\Lambda =\mathrm{diag}({\lambda }_1,\cdots ,{\lambda }_{\mathrm{n}})$ ，${\lambda }_i$ 是 $A$ 的特征值。

设 $Q=\left[\begin{array}{ccc}{q}_1& \cdots & q_n\end{array}\right]$ 的所有列都是单范正交特征向量。

因为 $A$ 正定，所以：

$$q_i^{\mathrm{T}}{Aq}_i=q_i^{\mathrm{T}}({\lambda }_i{q}_i)={\lambda }_i(q_i^{\mathrm{T}}{q}_i)={\lambda }_i>0$$
（2）设 ${\lambda }_i>0,(i=1,\cdots ,n)$ 。令 $y=Q^{\mathrm{T}}x=Q^{-1}x$ 。因为 $x=Qy$ ，$y$ 必定为非零向量，则：

$$x^{\mathrm{T}}Ax=x^{\mathrm{T}}{Q\Lambda Q}^{\mathrm{T}}x=y^{\mathrm{T}}\Lambda y={\lambda }_1{y}_1^2+\cdots +{\lambda }_n{y}_n^2>0$$

性质

• 性质1：正定矩阵的每一个主子阵都是正定的

证明

为了证明此性质，首先引入一种符号记法。

令 $S$ 为 { 1 , 2 , ⋯   , n } \{1,2,\cdots,n \} {1,2,⋯,n} 的子集，$S^{\mathrm{c}}$ 表示 $S$ 的补集，$|S|$ 表示集合 $S$ 的元素数，称为基数（cardinal number）。对于所有 $i\in S^{\mathrm{c}}$ ，将 $n\times n$ 阶矩阵 $A$ 的第 $i$ 行与第 $i$ 列同时删除，可得到一个 $|S|\times |S|$ 阶主子阵（principal submatrix），以 $A_S$ 表示。例如：

$$A=\left[\begin{array}{cccc}5& -1& 3& -1\\ -1& 2& -2& -1\\ 3& -2& 3& 1\\ -1& -1& 1& 6\end{array}\right]$$
下面几个都是主子阵：

A { 1 , 3 , 4 } = [ 5 3 − 1 3 3 1 − 1 1 6 ] , A { 2 , 4 } = [ 2 − 1 − 1 6 ] A { 3 } = [ 3 ] \pmb{A}_{\{1,3,4\}}=\begin{bmatrix}5&3&-1\\3&3&1\\-1&1&6\end{bmatrix},\quad \pmb{A}_{\{2,4\}}=\begin{bmatrix}2&-1\\-1&6\end{bmatrix}\quad\pmb{A}_{\{3\}}=\begin{bmatrix}3\end{bmatrix} A{1,3,4}​= ​53−1​331​−116​ ​,A{2,4}​=[2−1​−16​]A{3}​=[3​]
对于向量 $x\in {\mathbb{R}}^n$ ，用 $x_S$ 表示删除了 $S$ 的补集元素后得到的向量，显然 $x_S$ 是 $|S|$ 维向量。

对于任何 $k\in S^{\mathrm{c}}$ ，令 $x$ 的第 $k$ 个元为零，则：

$$x_S^{\mathrm{T}}{A}_S{x}_S=x^{\mathrm{T}}Ax>0$$
由于 $x_S\ne 0$ 是任意的，所以 $A_S$ 是正定的。

• 性质2：正定矩阵的特征值皆为正数

证明

设 $\lambda$ 为正定矩阵 $A$ 的一个特征值，对于特征向量 $x\ne 0$ ，则：

$$x^{\mathrm{T}}Ax=x^{\mathrm{T}}\lambda x=\lambda x^{\mathrm{T}}x$$
则：$\lambda =\frac{x^{\mathrm{T}}Ax}{x^{\mathrm{T}}x}$ ，分子分母都是正数，故 $\lambda >0$ 。

拓展

由性质2可知：设 ${\lambda }_i>0$ 是正定矩阵 $A$ 的特征值，则 $A$ 可逆， $A^{-1}$ 和 $A^{\mathrm{T}}$ 也是正定矩阵，且：

$$\begin{array}{rl}\det \mathrm{A}& ={\lambda }_1{\lambda }_2\cdots {\lambda }_n>0\\ \mathrm{trace}\mathrm{A}& ={\lambda }_1+{\lambda }_2+\cdots +{\lambda }_n>0\end{array}$$
结合性质1，每个主子阵 $A_S$ 亦有类似性质。

• 性质3：正定矩阵的主元（pivot）都是正数
• 性质4：正定矩阵 $A$ 可以表示为 $A=B^{\mathrm{T}}B$ ，$B$ 是一个可逆矩阵

判别

• 若 $n\times n$ 矩阵 $A$ 的特征值都是正数，则 $A$ 是正定矩阵
• 若 $n\times n$ 矩阵 $A$ 的轴（主元）都是正数，则 $A$ 是正定矩阵
• 若 $n\times n$ 矩阵 $A$ 的领先主子阵的行列式都是正数，则 $A$ 是正定矩阵
• 若 $n\times n$ 矩阵 $A$ 可表示为 $A=B^{\mathrm{T}}B$ ，$B$ 是一个可逆矩阵，则 $A$ 是正定矩阵

参考文献

[1]. 特殊矩阵-六：正定矩阵

[2]. 反对称矩阵：指满足 $A^{\text{T}}=-A$ 的矩阵，或者，对于矩阵 $A=(a_{ij})$ ，各元素的关系为 $a_{ij}=-aji$ ，例如下面的矩阵就是一个反对称矩阵：

$$\left[\begin{array}{ccc}0& 2& -1\\ -2& 0& -4\\ 1& 4& 0\end{array}\right]$$

反对称矩阵特性：

• 反对称矩阵自身相乘的积是对称矩阵
• 对任意矩阵 $A$ ，$A^{\text{T}}-A$ 是反对称矩阵
• 若 $A$ 是反对称矩阵，$x$ 是向量，则 $x^{\text{T}}Ax=0$
• 反对称矩阵的主对角线匀速必是零，所以其迹为零