第二章聚类分析2.1 聚类分析的相关概念定义 对一批没有标出类别的模式样本集，根据样本之间的相似程度分类，相似的归为一类，不相似的归为另一类，这种分类称为聚类分析，也称为无监督分类。模式相似/分类的依据 把整个模式样本集的特征向量看成是分布在特征空间中的一些点，点与点之间的距离即可作为模式相似性的测量依据。聚类分析是按不同对象之间的差异，根据距离函数的规律（大小）进行模式分类的。聚类分析的有效性 聚类分析方法是否有效，与模式特征向量的分布形式有很大关系。若向量点的分布是一群一群的，同一群样本密集（距离很近），不同群样本距离很远，则很容易聚类；若样本集的向量分布聚成一团，不同群的样本混在一起，则很难分类；对具体对象做聚类分析的关键是选取适宜的特征。特征选取得好，向量分布容易区分，选取得不好，向量分布很难分开。两类模式分类的实例：一摊黑白围棋子 选颜色作为特征进行分类，用“1”代表白，“0”代表黑，则很容易分类；选大小作为特征进行分类，则白子和黑子的特征相同，不能分类（把白子和黑子分开）。特征选择的维数在特征选择中往往会选择一些多余的特征，它增加了维数，从而增加了聚类分析的复杂度，但对模式分类却没有提供多少有用的信息。在这种情况下，需要去掉相关程度过高的特征（进行降维处理）。降维方法设有 N 个样本，它们的特征维数是 n，则有 n*n 维的相关矩阵 R = [ rij ]nxn 其中，rij是第 i 维与第 j 维特征之间的相关系数： 这里：σii和 σjj分别是第 i 个和第 j个重量的标准差，λij是第 i 个和第 j 个重量的协方差。分析：（1）根据相关系数的性质：（利用柯西不等式证明）（2）rij=0：表示两个重量完全不相关（3）rij=1：表示两个重量完全相关结论：若 rij->1，则说明第 i 维特征与第 j 维特征所反映的特征规律接近，因此可以略去其中的一个特征，或将它们合并为一个特征，从而使维数降低一维。模式对象特征测量的数字化计算机只能处理离散的数值，因此根据识别对象的不同，要进行不同的数据化处理。连续量的量化：用连续量来度量的特性，如长度、重量、面积等等，仅需取其量化值；量级的数量化：度量时不需要详尽的数值，而是相应地划分成一些有次序的量化等级的值。病人的病程 0 ~ 代表病程 <= 1 个月 1 ~ 代表 1 个月< 病程 <= 6 个月2 ~ 代表 6 个月< 病程 <= 12 个月 3 ~ 代表病程 > 12 个月名义...
