最优化方法最速下降法VIP免费

最优化技术第三章7节最速下降法主要内容原理1计算步骤2例题分析3评价4原理定义：用来求解无约束多元函数minf（x）极小化问题的一种迭代算法。拓展：最速下降法又称梯度法，是1847年由著名数学家Cauchy给出的，它是解析法中最古老的一种，其他解析方法或是它的变形，或是受它的启发而得到的，因此它是最优化方法的基础。原理基本格式：=？PXXkkkk1)(XPkkf即搜索方向取为出发点的最速下降方向。k原理！注意：最速下降方向的下降趋势只是局部的性质。为保证下降，可以取为较小值，但这就会使下降速度放慢。即求解如下一维搜索问题)(PXfkkk0..ts)(minPXfkkk计算步骤设是可微函数，精度要求为，为初始点。(1)计算梯度，初始k=0；(2)(3)求解设是一维搜索的最优解；(4)求下一个点；(5)若满足终止准则(通常取为)，令，输出，计算终止；否则，k=k+1，转(2)。)(Xf)(kXf)(XPkkf)(minPXfkk0..tsPXXkkkk1)(1XKf)(1XKfkkX0XXk1X举例分析用最速下降法求解无约束优化问题：xxxxxxXf2122212122)(min初始点,迭代终止准则为)1,1(0TX01.0)(2Xfk举例分析详细步骤：1-梯度函数，带入求得2-最速下降方向3-最优步长应用一维搜索技术，解得函数最小值点=0.2122124)(2121xxxxXf)1,1(0TX)1,1()(0TXf)1,1()(00TXPf1205)()(020000PXf0举例分析4-下一搜索点==5-检验令k=k+1=1，转步骤2-迭代……X1PX000)2.1,8.0(T08.0)1(2Xf评价由例题中可以发现两次迭代的搜索方向满足：即相邻两个搜索方向与正交，这是最速下降法的搜索方向的基本形质。因此，最速下降法的迭代路线呈锯齿形，尤其是在极小点附近，锯齿现象尤为严重，从而影响了迭代速度。,...,0,02110PPPPTTPKPK1评价锯齿现象评价最速下降法不可能对任意二次正定函数都在有限部内达到精确的极小点，即最速下降法不具备有限收敛性。因此，常常在计算开始时使用最速下降法，而在迭代一段时间后，改用其他算法。评价优点：工作量少，存储变量少，初始点要求不低；缺点：收敛慢，效率不高，有时达不到最优解。