19. 矩阵对角化-矩阵的正定性及其应用

19.1 矩阵的正定性

设存在二次型：\(f(x)=x^T\cdot A\cdot x\)，其中\(A\)为对称阵

19.1.1 定义

对于\(f(x)\)及\(A\)有：

正定/负定

\[若 f(x)>0且x\neq0，则对称阵A是正定的，且f(x)称为正定二次型 \]

\[若 f(x)<0且x\neq0，则对称阵A是负定的，且f(x)称为负定二次型 \]

半正定/半负定

\[若 f(x)\geq 0，则对称阵A是半正定的，且f(x)称为半正定二次型 \]

\[若 f(x)\leq 0，则对称阵A是半负定的，且f(x)称为半负定二次型 \]

19.1.2 定理

设：

\(f(x)\)的标准型为：

\[f(x)’=k_1y_1^2+k_2y_2^2+…+k_ny_n^2 \]

\(f(x)\)的规范型为：

\[f(x)”=y_1^2+y_2^2+…+y_p^2-y_{p+1}^2-…-y_r^2 \]

则有：

定理1：

\[f(x)为正定二次型 \Leftrightarrow k_i>0(i=1,2,3,…,n) \]

\[\Leftrightarrow f(x)”=y_1^2+y_2^2+…+y_p^2+y_{p+1}^2+…+y_r^2 \]

\[*同理，f(x)为半正定二次型 \Leftrightarrow k_i\geq 0 \]

定理2：

\[f(x)为正定二次型 \Leftrightarrow xAx^T>0 \]

\[\Leftrightarrow y\Lambda y^T>0 （\Lambda为对角阵） \]

\[\Leftrightarrow A的特征值\lambda_i >0（i=1,2,3,…,n） \]

\[*同理可得： \]

\[f(x)为负定二次型 \Leftrightarrow A的特征值\lambda_i <0（i=1,2,3,…,n） \]

\[f(x)为半正定二次型 \Leftrightarrow A的特征值\lambda_i\geq0 （i=1,2,3,…,n） \]

\[f(x)为半负定二次型 \Leftrightarrow A的特征值\lambda_i\leq0 （i=1,2,3,…,n） \]

19.2 矩阵的正定性在线性回归算法中的应用

设:

存在数值\(y_i,a_j,x_{ij}\)，其中：

\[y_i \in R^1(i=1,2,3,…,N) \]

\[a_j \in R(j=1,2,3,…,n) \]

\[x_{ij} \in R^n(i=1,2,3,…,N;j=1,2,3,…,n) \]

则\(y_i,a_j,x_{ij}\)可对应以下矩阵Y、A、X:

\[Y= \begin{bmatrix} y_1\\ y_2\\ y_3\\ …\\ y_N \end{bmatrix}, A=\begin{bmatrix} a_1\\ a_2\\ a_3\\ …\\ a_n \end{bmatrix}, X= \begin{bmatrix} x_{11} & x_{12} & x_{13} & … & x_{1n}\\ x_{21} & x_{22} & x_{23} & … & x_{2n}\\ x_{31} & x_{32} & x_{33} & … & x_{3n}\\ &&……\\ x_{N1} & x_{N2} & x_{N3} & … & x_{Nn}\\ \end{bmatrix} \]

\(y_i,a_j,x_{ij}\)的关系用矩阵可表示为：\(Y=A\cdot X\)

若现已知存在矩阵\(Y、X、X^{-1}\)，则在n=N的情况下可求得矩阵A：

\[A=Y\cdot X^{-1} \]

以上内容在《8.矩阵的逆-相关性质&特殊矩阵&算法应用》中已进行过初步分析

现在此基础上，进一步分析\(n\neq N\)的情形下，求解需满足的条件：

19.2.1 N>n的情形下求解需满足的条件

若\(N>n\)，方阵\((x^T\cdot x)\)可作为X的n阶子式，由线性回归算法相关过程可得：

\[（过程略） \]

\[\tag{1} a=(x^T\cdot x)^{-1}\cdot x^T\cdot Y \]

(1)式中，\(x\)为\(1\times n\)的行向量；\((x^T\cdot x)\)为\(n\times n\)的可逆方阵

以下对\((x^T\cdot x)\)的可逆性进行分析：

由向量线性相关性可知：

\[向量组(x\cdot x^T)线性无关 \Rightarrow R(x\cdot x^T)=n \]

由矩阵的秩相关性质可知：

\[R(x\cdot x^T)=n \quad\Rightarrow \quad|x\cdot x^T|\neq0 \]

\[\Rightarrow (x\cdot x^T)可逆 \]

由上可得，在\(N>n\)的情形下，(1)式成立的条件为：

\[向量组(x\cdot x^T)线性无关 \]

19.2.2 N<n的情形下求解需满足的条件

若\(N<n\)，方阵\((x^T\cdot x)\)不可作为X的n阶子式，故\((x^T\cdot x)\)不可逆

由线性回归算法相关过程可得：

\[（过程略） \]

\[\tag{2} a=(x^T\cdot x+\lambda \cdot I)^{-1}\cdot x^T \cdot Y \]

(2)式中，\(x\)为\(1\times n\)的行向量；\((x^T\cdot x)\)为\(n\times n\)的方阵，需加入\(\lambda \cdot I\)变为可逆矩阵

以下验证\((x^T\cdot x+\lambda \cdot I)\)的可逆性：

由二次型对角化的性质可知，若二次型\(f(x)\)存在，则有：

\[f(x)=a \cdot (x^T\cdot x+\lambda \cdot I) \cdot a^T \]

\[\qquad\qquad=a\cdot x \cdot (a\cdot x)^T + \lambda \cdot a \cdot a^T \]

\[上式中若x=O，且a \neq O，\lambda>0则有： \]

\[f(x)=\lambda \cdot a \cdot a^T > 0 \]

\[\Rightarrow f(x)为正定二次型 \]

由正定二次型相关定理可知：

\[(x^T\cdot x+\lambda \cdot I)的特征值均大于0 \]

由对角阵及特征值相关性质可知：

\[|x^T\cdot x+\lambda \cdot I|>0 \]

由矩阵可逆相关性质可知：

\[(x^T\cdot x+\lambda \cdot I)可逆 \]

由上可得，在\(N<n\)的情形下，(2)式成立的条件为：

\[a\neq 0 \land \lambda >0 \]

来源链接：https://www.cnblogs.com/efancn/p/18754046