特征矩阵(机器学习基础知识学习-线性代数之矩阵的特征向量和特征值)

作者:访客 时间:2023年07月27日 19:12:49 阅读数:1人阅读

线性代数比高等数学容易理解一些,但是学到矩阵的特征向量和特征值,有些公式、结论的证明比较复杂了,运用前面学到的知识的同时还要学习新知识,感觉有一些吃力了。看来还需要花更多的时间去多练,熟能生巧、融会贯通。


矩阵的特征值和特征向量(一)

特征值和特征向量的定义:矩阵A是n阶方阵,存在数

和非零列向量

,使A

=

。则称

为特征值,

对应于

成为特征向量。注意:

可以为0 特征向量不能为0


由上面的公式A

=

继续推解:

-A

= 0

(

-A)

= 0

∵单位矩阵E=1且数值不能和方阵相运算,因此特征值×单位矩阵

∴(

E-A)

= 0

为非零的列向量

∴ |

E-A | = 0

|

E-A |称做特征值、特征根

|

E-A | = 0称作特征方程


结论:

(1)

是A的特征值,

对应的特征向量,则 c

也是

的特征向量

证明:A

=

cA

= c

A(c

) =

(c

)

即c

也是

的特征向量

(2)特征值可以对应多个特征向量,但特征向量只能对应一个特征值

证明:用反推法证明,假设

(

≠ 0)是

(

)的特征向量,

A

=

A

=

=

(

-

)

= 0 ∵

是非零列向量 ∴

-

= 0

又∵

∴(

-

)

= 0矛盾 即

(

≠ 0)是

(

)的特征向量不成立。反推出特征值可以对应多个特征向量,但特征向量只能对应一个特征值

(3)

的特征向量,则

的特征向量

证明:A(

) =

=

=

(

)

的特征向量

矩阵的特征向量与特征值(二)

看下图求特征值

的例子:


特征矩阵(机器学习基础知识学习-线性代数之矩阵的特征向量和特征值)

A的特征值求解

根据上图的求解,总结下求解的思路和过程:

(1)对

E-A= 0进行运算,得一矩阵

(2)尽可能将某行/列转化为零,按行展开

(3)若行/列可提公因子,提公因子(含

)

(4)充分运用相反数、相同数、行和/列和相同的特殊形式

如上图提取某行元素,该元素所在列除该元素外其余数均为0

(5)运用对角线乘积(适用于上三角矩阵、下三角矩阵),某行元素*该元素的代数余子式(适用于所有矩阵)等方式求矩阵

(6)求出

解时要注意:线性代数中重根也要写


再看下图示例,可推出两条结论:

(1)

只在主对角线存在

(2) A所有元素都取相反数

特征矩阵(机器学习基础知识学习-线性代数之矩阵的特征向量和特征值)

矩阵运算示例


看下图的例子,已知矩阵A,求矩阵A的特征值

对应的特征向量

该题的求解用到了行简化阶梯形、上三角形矩阵、初等行变换、齐次线性方程组求解等知识点。该题看宋浩老师的视频讲解花了五六分钟,在下面演算求解时用了五个多小时,经过多次演算终于接近正确值。难点就在

的求解,比较繁琐的运算是在运用齐次线性方程组求解特征值和特征向量这块

特征矩阵(机器学习基础知识学习-线性代数之矩阵的特征向量和特征值)

求解矩阵的特征值和特征值对应的特征向量


n阶对角形矩阵的特征值就是它主对角线上对应的特征元素

特征矩阵(机器学习基础知识学习-线性代数之矩阵的特征向量和特征值)

n阶对角形矩阵的特征值就是它主对角线上对应的特征元素

特征向量可以取多个,特征向量不能等于0

特征向量基础解系取值时,有可能左边没有一个未知量:∵参照行简化阶梯形,首非零元是1的未知量放左边,其余在右边的都是自由未知量

取基础解析做特征向量的同解

看下图感受一下上面说的三点结论:


特征矩阵(机器学习基础知识学习-线性代数之矩阵的特征向量和特征值)

未知量全在右边,都是自由未知量

特征值、特征向量的基本性质

(1) A和

有相同的特征值


特征矩阵(机器学习基础知识学习-线性代数之矩阵的特征向量和特征值)

矩阵和矩阵的转置有相同的特征值

注意:特征值相等,但是特征向量不一定相等

(2)若方阵A有n个特征值

,则①

= |A|

= |A|证明很繁琐难懂,再证明这两个公式之前,先证明两个引例,加深理解

引例1:设

的根为1,2,3,则(x-1)(x-2)(x-3)=0

引例2:

=

看下图对

= |A|详细的证明:


特征矩阵(机器学习基础知识学习-线性代数之矩阵的特征向量和特征值)

由上图证明求解可知:

①方阵A的主对角线上的元素相加叫迹,用tr(A)表示

②若

= |A|中

有一个常量等于0则A不可逆;若

中所有常量都不等于0,则A可逆

回忆一下方阵可逆的条件有哪些:A≠0;r(A)=行秩=列秩=满秩;Ax=0只有零解

(3)互不相同的特征值

对应的特征向量

线性无关


特征矩阵(机器学习基础知识学习-线性代数之矩阵的特征向量和特征值)

不同特征值对应的特征向量线性无关

(4)方阵A的特征值都相异,则特征值之间、特征值对应的特征向量都线性无关

注:互不相同且均不为零的数就叫互为相异数

(5)K重特征根对应的线性无关的特征向量的个数≤k

(6)

是A的特征值,

则k

是kA的特征值

证明:∵ A

=

∴ (3A)

= (3

)

的特征值

证明:∵ A

=

∴ A A

=

A

=


看一个例题:2是A的特征值,求

的特征值


特征矩阵(机器学习基础知识学习-线性代数之矩阵的特征向量和特征值)

利用特征值的性质求解特征值


看上图大的例题解析有些繁琐,有没有快速求解的方法呢?看下图:


特征矩阵(机器学习基础知识学习-线性代数之矩阵的特征向量和特征值)

特征值快速求解


继续例题分析:

是A的特征值,则

的特征值,

的特征值


特征矩阵(机器学习基础知识学习-线性代数之矩阵的特征向量和特征值)


补充一个公式:

,看一个和

相关的求解例题

已知:A是四阶方阵, |3E A|=0

|A|≤0 求

的一个特征值

简要分析:求

的特征值,首先要求A和

,求

用到了公式A

=

;求A用

;求

的特征值用到了

的特征值。看下图详细求解


特征矩阵(机器学习基础知识学习-线性代数之矩阵的特征向量和特征值)


如若用

= |A|求解比较繁琐,有没有其他方法进行求解呢?看下图求解示例:



特征矩阵(机器学习基础知识学习-线性代数之矩阵的特征向量和特征值)

当特征值为 -4, -1 -1时,根据

得 tr(A) = (-4) (-1) (-1) = -6

根据

= |A| 得 |A| = (-4)*(-1)*(-1) = -4

再看几个

是A的特征值,则

,

的例子:



特征矩阵(机器学习基础知识学习-线性代数之矩阵的特征向量和特征值)


到这里,跟着宋浩老师学习的线性代数就结束了。机器学习初学者还要学习线性代数的范数,在网上再找大佬分享的资料学习总结。