主成分分析 PCA 与奇异值分解 SVD- 高维数据可视化以及参数 n_components

PCA(    ['n_components=None', 'copy=True', 'whiten=False', "svd_solver='auto'", 'tol=0.0', "iterated_power='auto'", 'random_state=None'],)# n_components:降维后维度的数量，可填正整数、[0,1]浮点数、mle

import matplotlib.pyplot as pltfrom sklearn.datasets import load_irisfrom sklearn.decomposition import PCAimport pandas as pd
iris = load_iris()X = iris.datay = iris.targetX.shape---(150, 4)
pd.DataFrame(X).head()---    0  1  2  30  5.1  3.5  1.4  0.21  4.9  3.0  1.4  0.22  4.7  3.2  1.3  0.23  4.6  3.1  1.5  0.24  5.0  3.6  1.4  0.2
set(y)---{0, 1, 2}
pca = PCA(n_components=2) # 实例化# 这里n_components=2，就是说降维以后需要留下2个维度的特征pca = pca.fit(X) # 拟合模型X_dr = pca.transform(X) # 获取新矩阵# 也可以一步到位 X_dr = PCA(2).fit_transform(X)X_dr[:5,:]---array([[-2.68412563,  0.31939725],       [-2.71414169, -0.17700123],       [-2.88899057, -0.14494943],       [-2.74534286, -0.31829898],       [-2.72871654,  0.32675451]])
plt.figure()plt.scatter(X_dr[y==0,0], X_dr[y==0,1],c="red",label=iris.target_names[0],alpha=0.7)plt.scatter(X_dr[y==1,0], X_dr[y==1,1],c="black",label=iris.target_names[1],alpha=0.7)plt.scatter(X_dr[y==2,0], X_dr[y==2,1],c="orange",label=iris.target_names[1],alpha=0.7)# alpha:透明度plt.legend()plt.title("PCA of IRIS dataset")plt.show() # 降维后数据可视化

pca.explained_variance_# 属性explained_variance_，查看降维后每个新特征向量上所带的信息量大小（可解释方差的大小）# 往往第一个特征上信息量最大，即方差最大，向后逐渐减小---array([4.22824171, 0.24267075])
pca.explained_variance_ratio_# 属性explained_variance_ratio_，查看将为后每个新特征向量所占的信息量和原始数据总信息量的百分比# 又叫可解释方差贡献率# 大部分信息都被有效的集中在了第一个特征上---array([0.92461872, 0.05306648])
pca.explained_variance_ratio_.sum() # 新矩阵带有原矩阵的数据量---0.977685206318795
pca_line = PCA().fit(X) # 默认返回min(X.shape)个特征pca_line.explained_variance_ratio_# 因为对协方差矩阵进行分解后就可以得到最优的p个方向向量# 将数据代入求解即可以得到每个方向上数据的方差占比---array([0.92461872, 0.05306648, 0.01710261, 0.00521218])

import numpy as np
plt.figure()plt.plot([1,2,3,4],np.cumsum(pca_line.explained_variance_ratio_))plt.xticks([1,2,3,4])plt.xlabel("number of components after dimension reduction") # 降维后维度数量plt.ylabel("cumulative explained variance ratio") # 累计可解释方差比

pca_mle = PCA(n_components='mle')pca_mle = pca_mle.fit(X)X_mle = pca_mle.transform(X)X_mle.shape # MLE自动选择了三个特征---(150, 3)

pca_f = PCA(n_components=0.97,svd_solver="full")# 浮点数指定降维后携带的信息量pca_f = pca_f.fit(X)X_f = pca_f.transform(X)pca_f.explained_variance_ratio_---array([0.92461872, 0.05306648])
pca_f.explained_variance_ratio_.sum()---0.977685206318795
pca_f = PCA(n_components=0.99,svd_solver="full")pca_f = pca_f.fit(X)X_f = pca_f.transform(X)pca_f.explained_variance_ratio_.sum()---0.9947878161267247

PCA(    ['n_components=None', 'copy=True', 'whiten=False', "svd_solver='auto'", 'tol=0.0', "iterated_power='auto'", 'random_state=None'],)# svd_solver:在降维过程中，用来控制矩阵分解的一些细节的参数。有四种模式可选："auto", "full", "arpack", "randomized"，默认”auto"。