数据计算机软件处理,[计算机软件及应用]数据处理2.ppt

[计算机软件及应用]数据处理2

概念： 主成分分析是一种通过降维技术把多个指标约化为少数几个综合指标的综合统计分析方法，而这些综合指标能够反映原始指标的绝大部分信息，它们通常表现为原始几个指标的线性组合。 基本思想及意义 哲学理念：抓住问题的主要矛盾。 主成分分析将具有一定相关性的众多指标重新组合成新的无相互关系的综合指标来代替。通常数学上的处理就是将这P个指标进行线性组合作为新的综合指标。 问题是：这样的线性组合会很多，如何选择如果将选取的第一个线性组合即第一个综合指标记为F1 ，希望它能尽可能多地反映原来指标的信息，即var(F1) 越大，所包含的原指标信息就越多， F1的方差应该最大，称F1为第一主成分。 如果第一主成分F1不足以代表原来p个指标的信息，再考虑选取F2即选择第二个线性组合。为了有效地反映原来的信息， F1中已包含的信息，无须出现在F2中，即cov(F1, F2)，称F2为第二主成分。 仿此可以得到p个主成分。 一、实际应用中主成分分析的出发点 R=corrcoef(X) 这里我们需要进一步强调的是，从相关阵求得的主成分与协差阵求得的主成分一般情况是不相同的。实际表明，这种差异有时很大。我们认为，如果各指标之间的数量级相差悬殊，特别是各指标有不同的物理量纲的话，较为合理的做法是使用R代替∑。对于研究经济问题所涉及的变量单位大都不统一，采用R代替∑后，可以看作是用标准化的数据做分析，这样使得主成分有现实经济意义，不仅便于剖析实际问题，又可以避免突出数值大的变量。 设有n个样品，每个样品观测p个指标，将原始数据写成矩阵形式 1、将原始数据标准化 2、建立变量的相关系数阵 3、求R的特征根及相应的单位特征向量a1,a2,…..ap 4、写出主成分 一般取累计贡献率达85—95%的特征值 所对应的第一、第二，…，第m(m≤p)个主成分。 特征值大的贡献大。 贡献率=特征值/所有特征值和 计算步骤 例 设 的协方差矩阵为 解得特征根为 ， ， 第一个主成分的贡献率为5.83/(5.83+2.00+0.17)=72.875%，尽管第一个主成分的贡献率并不小，但在本题中第一主成分不含第三个原始变量的信息，所以应该取两个主成分。 X1，X2，……XP各有多少信息分别被F1，F2，……，Fm提取什么指标来度量信息提取率 平方 Xi与F2的相关系数 平方 Xi与F1的相关系数 1 1 1 0 0 3 0.996 0 0 0.996 -0.998 2 0.855 0 0 0.855 0.925 1 xi 如果有m个主成分，则第i 原始变量信息的被提取率为： 二、如何利用主成分分析进行综合评价 人们在对某个单位或某个系统进行综合评价时都会遇到如何选择评价指标体系和如何对这些指标进行综合的困难。一般情况下，选择评价指标体系后通过对各指标加权的办法来进行综合。但是，如何对指标加权是一项具有挑战性的工作。指标加权的依据是指标的重要性，指标在评价中的重要性判断难免带有一定的主观性，这影响了综合评价的客观性和准确性。由于主成分分析能从选定的指标体系中归纳出大部分信息，根据主成分提供的信息进行综合评价，不失为一个可行的选择。这个方法是根据指标间的相对重要性进行客观加权，可以避免综合评价者的主观影响，在实际应用中越来越受到人们的重视。 对主成分进行加权综合。我们利用主成分进行综合评价时，主要是将原有的信息进行综合，因此，要充分的利用原始变量提供的信息。将主成分的权数根据它们的方差贡献率来确定，因为方差贡献率反映了各个主成分的信息含量多少。 主成分分析实例 表1是某市工业部门13个行业的8项重要经济指标的数据，这8项经济指标分别是： X1：年末固定资产净值，单位：万元； X2：职工人数据，单位：人； X3：工业总产值，单位：万元； X4：全员劳动生产率，单位：元/人年； X5：百元固定资产原值实现产值，单位：元； X6：资金利税率，单位：%； X7：标准燃料消费量，单位：吨； X8：能源利用效果，单位：万元/吨。 表1 某市工业部门13个行业8项指标 clear clc sj1=load(‘zcf.txt’) xfc1=cov(sj1); xgxs=corrcoef(sj1); [t1 t2]=eig(xfc1) [T1,T2]=eig(xgxs) -0.05503 -0.27274 0.89116 -0.07186 -0.3222 -0.12217 0.067111 -0.0033 -0.21483 0.37741 -0.14046 -0.75817 -0.4182 -0.19359 0.052842

相关资源：本草纲目下载李时珍本草纲目查询软件版v1.4_本草纲目pdf彩图版…

来源：酷coo豆