这就是数学。让我们重写上面的方程——这将有助于找出答案。表示由
X的
N×P由数据向量按列堆叠而成的矩阵
X=[x1x2⋯xP].那么上面可以等价地写成
p=1∑P(xpTc1)2=∥XTc1∥22=c1TXXTc1.
这里我们需要线性代数的一个基本事实特征值分解矩阵的对称矩阵的谱定理.利用这个事实,我们可以分解矩阵
XXT作为
XXT=p=1∑PdpepepT,其中每个
dp是实数特征值,
d1≥d2≥⋯≥dP的集合
N×1特征向量
e1,...,eP是标准正交的(即正交且具有单位长度)。替换
XXT通过上面方程中的特征分解,我们得到了等价的
c1TXXTc1=c1T(p=1∑PdpepepT)c1=p=1∑Pdpc1TepepTc1=p=1∑Pdp(epTc1)2.
现在,因为
d1是最大的特征值,我们可以看到它一定是这个量可能的最小上界
p=1∑Pdp(epTc1)2≤p=1∑Pd1(epTc1)2=d1p=1∑P(epTc1)2=d1.
这里最后一个等式是由特征向量构成了一组基我们可以在上面分解
c1作为
c1=p=1∑Pαpep因此
αp=epTc1,自从
c1有单位长度的假设吗
∥c1∥22=∑p=1P(epTc1)2=1.
现在,因为
c1特征向量都是单位长度,如果我们设置
c1=e1,我们可以求出这个上界
(由于特征向量是标准正交的,即。
epTe1=0当
p=1,而且
epTe1=1当
p=1)因为我们有
p=1∑Pdp(epTc1)2=p=1∑Pdp(epTe1)2=d1.
因此,第一个主成分是
c1=e1,即与矩阵最大特征值相关联的特征向量
XXT.