机器学习算法优缺点改进总结VIP免费

Lecture1IntroductiontoSupervisedLearning（1）ExpectatinMaximization(EM)Algorithm(期望值最大)（2）LinearRegressionAlgorithm(线性回归)（3）LocalWeightedRegression(局部加权回归)（4）k-NearestNeighborAlgorithmforRegression(回归k近邻)（5）LinearClassifier(线性分类)（6）PerceptronAlgorithm(线性分类)（7）FisherDiscriminantAnalysisorLinearDiscriminantAnalysis(LDA)（8）k-NNAlgorithmforClassifier(分类k近邻)（9）BayesianDecisionMethod(贝叶斯决策方法)Lecture2Feed-forwardNeuralNetworksandBPAlgorithm（1）MultilayerPerceptron(多层感知器)（2）BPAlgorithmLecture3RudimentsofSupportVectorMachine（1）SupportVectorMachine(支持向量机)（此算法是重点，必考题）此处有一道必考题Lecture4IntroductiontoDecisionRuleMining（1）DecisionTreeAlgorithm（2）ID3Algorithm（3）C4.5Algorithm（4）粗糙集……Lecture5ClassifierAssessmentandEnsembleMethods（1）Bagging（2）Booting（3）AdaboostingLecture6IntroductiontoAssociationRuleMining（1）AprioriAlgorithms（2）FP-treeAlgorithmsLecture7IntroductiontoCusteringAnalysis（1）k-meansAlgorithms（2）fuzzyc-meansAlgorithms（3）k-modeAlgorithms（4）DBSCANAlgorithmsLecture8BasicsofFeatureSelection（1）ReliefAlgorithms（2）ReliefFAlgorithms1（3）mRMRAlgorithms最小冗余最大相关算法（4）attributereductionAlgorithms比较了几种分类算法性质。（以下两个表格来自两篇该领域经典论文）2Lecture1IntroductiontoSupervisedLearning（1）ExpectatinMaximization(EM)Algorithm(期望值最大)①算法思想：EM算法又称期望最大化算法，是对参数极大似然估计的一种迭代优化策略，它是一种可以从非完整的数据集中对参数进行极大似然估计的算法,应用于缺损数据，截尾数据，带有噪声的非完整数据。最大期望算法经过两个步骤交替进行计算：第一步计算期望（E）：也就是将隐藏的变量对象能够观察到的一样包含在内，从而计算最大似然的期望值；另外一步是最大化（M），也就是最大化在E步上找到的最大似然期望值，从而计算参数的似然估计。M步上找到的参数然后用于另一个E步计算。重复上面2步直至收敛。②优点：1）Ｍ步仅涉及完全数据极大似然，通常计算比较简单2）收敛是稳定的，因为每次迭代的似然函数是不断增加的。③缺点：1）表现在对缺失数据较多或是多维高斯分布的情形下，计算量大，收敛速度较慢。2）对于某些特殊的模型，要计算算法中的M步，即完成对似然函数的估计是比较困难的。3）在某些情况下，要获得EM算法中E步的期望显式是非常困难的。4）EM算法的收敛速度，非常依赖初始值的设置，设置不当，计算代价相当大。5）EM算法中的M-Step依然是采用求导函数的方法,所以它找到的是极值点,即局部最优解,而不一定是全局最优解。④改进：针对1）改进：扩大参数空间来加快收敛3针对2）改进：ECM算法，该算法通过在Ｍ步构建计算比较简单的小循环对EM算法进行了改进，从而使期望函数极大化更加容易和有效，从而解决这一问题。针对3）改进：MCEM算法，将E步积分求期望用蒙特卡洛模拟方法来实现，使得E步求期望更容易实现。针对4）初始值的获取可以通过k-means算法，层次聚类算法或是数据数据进行随机分割，然后重复EM效果进行初始点选择。针对5）结合遗传算法的全局搜索能力，扩大EM算法的搜索空间，有效降低EM算法对初始值的依赖度，改善局部最优值的缺陷。（2）LinearRegressionAlgorithm(线性回归)①算法思想：线性回归(LinearRegression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。回归模型：其中和C是未知参数，对于每个训练样本(，)可得到，用来预测真实值。损失函数：即误差值的平方。1：对于训练集，求取θ，使得损失函数最小。（使用最小二乘法，梯度下降法）2：对于新输入x，其预测输出为θTx②优点...