常用的无约束优化方法VIP免费

第四章常用的无约束优化方法王桂从#无约束优化问题的数学模型12min()[]nnFxxxxxR求上述问题最优解(x*,F*)的方法称为无约束优化方法无约束优化方法理论研究开展的比较早，构成的优化方法已很多，也比较成熟。使用无约束优化方法，不仅可以直接求无约束优化设计问题的最优解，而且通过对无约束优化方法的研究给约束优化方法建立明确的概念及提供良好的基础，某些优化设计方法就是先把优化设计问题转化为无约束问题后，再直接用无约束优化方法求解。#无约束优化问题的求解方法间接法直接法坐标轮换法鲍威尔法梯度法共轭梯度法牛顿法变尺度法解析法(间接法)：用函数的一阶、二阶导数进行求解的算法直接搜索法(直接法)：只利用函数值求最优解的解法解析法的收敛速率较高，直接法的可靠性较高。#无约束优化方法的基本过程从选定的某初始点x(k)出发，沿着以一定规律产生的搜索方向S(k)，取适当的步长a(k)，逐次搜寻函数值下降的新迭代点x(k+1)，使之逐步逼近最优点x*。初始点x(k)、搜索方向S(k)、迭代步长a(k)称为优化方法算法的三要素。其中以搜索方向S(k)更为突出和重要，它从根本上决定着一个算法的成败、收敛速率的快慢等所以，一个算法的搜索方向成为该优化方法的基本标志，分析、确定搜索方向S(k)是研究优化方法的最根本的任务之一#4.1坐标轮换法坐标轮换法由D’esopo于1959年提出；坐标轮换法是每次搜索只允许一个变量变化，其余变量保持不变，即沿坐标方向轮流进行搜索的寻优方法；坐标轮换法把多变量的优化问题轮流地转化成了单变量的优化问题。属于直接搜索法。即只需要目标函数的数值信息而不需要目标函数的导数；#4.1坐标轮换法-基本原理既可以用于无约束优化问题的求解，又可以经过适当的处理用于约束优化问题；基本特征：将迭代方向S取为一系列按序号排列的坐标轴方向，通常都用单位矢量ei作为迭代的方向矢量。对于n维优化问题，当n个坐标轴方向依次取过一次后，称为完成了一轮迭代。基本原理：将一个n维的无约束最优化问题转化为一系列沿坐标轴方向的一维搜索问题来求解。在每一次迭代中，只改变n个变量中的一个，其余变量固定不动，因此常称为单变量法或变量交错法或降维法#4.1坐标轮换法-迭代步长的确定在沿坐标轴方向的搜索中，利用一维优化方法来确定沿该方向上具有最小目标函数值的步长，即：先选择一个不大的初始步长a0，在每次一维搜索中都是先沿正向从a到a0，开始做试探计算函数值，若函数值下降，则以倍增的速度加大步长，步长序列为a0,2a0,4a0…直到函数值保持下降的最后一个步长为止。()()()()()min()()kkkkkFxaSFxaS(1)最优步长(2)加速步长在无约束优化问题求解中采用最优步长方法是方便的。#4.1坐标轮换法-迭代过程第一轮迭代：(2)以x1(1)为新起点，沿第二坐标轴的方向e2=[01]T作一维搜索，确定步长2(1)，得第一轮的第二个迭代点：x2(1)=x1(1)+1(1)e2(1)任取一初始点x(0)作为初始点x0(1)，先沿第一坐标轴的方向e1=[10]T作一维搜索，用一维优化方法确定最优步长1(1)，得第一轮的第一个迭代点：x1(1)=x0(1)+1(1)e1#4.1坐标轮换法-迭代过程x0(2)x2(1)x1(2)=x0(2)+1(2)e1x2(2)=x1(2)+2(2)e2第二轮迭代：依次类推,可进行第三轮、第四轮…迭代注意：右上角括号内的数字表示轮数，右下角数字表示该轮中的第几个迭代点号#4.1坐标轮换法-终止准则采用点距准则注意：若采用点距准则或函数值准则，其中采用的点应该是一轮迭代的始点和终点，而不是某搜索方向的前后迭代点。)(0)(kxknx#4.1坐标轮换法-计算步骤⑴任选初始点Tnxxxx)0()0(2)0(1)0(作为第一轮的起点，置n个坐标轴方向矢量为单位坐标矢量：)1(0x00011e00102e1000ne#⑵按照下面迭代公式进行迭代计算ikikikiexx)()(1)(k为迭代轮数的序号，取k=1，2，……；i为该轮中一维搜索的序号，取i=1，2，……n步长α一般通过一维优化方法求出其最优步长⑶按下式判断是否终止迭代?)(0)(kknxx如满足，迭代...