协方差矩阵是由各个变量的方差和变量之间的协方差构成的矩阵。它是一个对称矩阵,其对角线元素是各个变量的方差,非对角线元素是各个变量之间的协方差。
假设有n个变量,它们的样本数据分别为X_1,X_2,...,X_n。则可以通过以下步骤求得协方差矩阵:
1. 计算每个变量的平均值:
ar{X}=frac{1}{n}sum_{i=1}^nX_i
2. 计算每个变量的方差:
egin{align*} S_i^2&=frac{1}{n-1}sum_{j=1}^n(X_i-ar{X})^2\ &=frac{1}{n-1}sum_{j=1}^nX_i^2-2ar{X}X_i+ar{X}^2 end{align*}
3. 计算变量之间的协方差:
egin{align*} C_{ij}&=frac{1}{n-1}sum_{k=1}^n(X_i-ar{X})(X_j-ar{X})\ &=frac{1}{n-1}sum_{k=1}^nX_iX_j-(ar{X})^2 end{align*}
4. 将方差和协方差按顺序排列成一个n imes n的矩阵,得到协方差矩阵:
egin{align*} C&=egin{bmatrix} S_1^2&C_{12}&C_{13}&cdots&C_{1n}\ C_{12}&S_2^2&C_{23}&cdots&C_{2n}\ C_{13}&C_{23}&S_3^2&cdots&C_{3n}\ vdots&vdots&vdots&cdots&vdots\ C_{1n}&C_{2n}&C_{3n}&&cdots&S_n^2 end{bmatrix}