第四章无约束优化方法VIP免费

1第四章常用的第四章常用的无约束优化方法无约束优化方法4.1坐标轮换法4.2鲍威尔(Powell)法4.3梯度法4.5牛顿法4.6DFP变尺度法4.7BFGS变尺度法无约束优化方法的评价准则及选用2若存在则称X*点为无约束最优点，F(X)为无约束最优值。直接搜索法：坐标轮换法、鲍威尔法方法间接法：梯度法、牛顿法、变尺度法直接搜索法：只需进行函数值的计算与比较来确定迭代方向和步长间接法：利用函数的一阶或二阶偏导数矩阵来确定迭代方向和步长**,min()()XFXFX使对于无约束优化问题:12min...TnnFXXxxxR34.1坐标轮换法2xo1x*X基本思想：把一个n维无约束最优化问题转化为依次沿n个坐标轴方向的一维最优化问题。即迭代方向依次为:,1,2,...,iein12100...0010...0............000...1TTTneee(0)X(1)0X(1)1X(1)2X(2)0X(2)1X(2)2X(3)0X第一轮:任取一初始点X(0)(0)X(1)0X1210,01TTee(1)(1)(1)1011XXe(1)1一维搜索求得(1)1X(1)(1)(1)2122XXe(1)2一维搜索求得(1)2X第二轮:(1)(2)20XX(2)(2)(2)1011XXe(2)(2)(2)2122XXe4终止准则:()()0kknXX*()knXX2xo1x*X(0)X(1)0X(1)1X(1)2X(2)0X(2)1X(2)2X(3)0X上式点距准则中的两点应是一轮迭代的始点与终点利用一维优化方法确定沿该方向上具有最小目标函数值的步长，即:min{F(X(k)+αS(k))}=F(X(k)+α(k)S(k))迭代步长α的确定:5坐标轮换法的流程图()kiX()knX()knX()kiX()1kiX6坐标轮换法的特点:具有程序结构简单，易于掌握等优点。但收敛慢，适用于n<10的低维优化问题。另收敛速度与等值线的形状有关7例题4.1用坐标轮换法求目标函数的无约束最优解。给定初始点精度要求ε=0.122121212()10460FXxxxxxx(0)00,TX解：作第一轮迭代计算。沿e1方向进行一维搜索按最优步长原则确定步长α1，即极小化此问题可用某种一维优化方法求出α1。在这里，我们暂且借用微分学求导解出，令其一阶导数为零，α1=5)1(1x以为新起点，沿e2方向一维搜索以最优步长原则确定α2，即极小化得α2=4.5，对于第一轮按终止条件检验8例题4.1对于第一轮按终止条件检验:继续第二轮迭代计算。以下各轮的计算结果列于表4.1。9例题4.1计算五轮后有故近似优化解为F*＝F(x*)=7.9502522121212()10460FXxxxxxx10例题4.1用解析法验证22121212()10460FXxxxxxx12212100()240xxFXxx解:令*86X""*1112""212221()312xxxxxxxxFFHXFF正定114.2鲍威尔(Powell)法鲍威尔法是直接搜索法中一个十分有效的算法。该算法是沿着逐步产生的共轭方向进行搜索的，因此本质上是一种共轭方向法，鲍威尔法的收敛速率较快。以共轭方向作为搜索方向，不只限于鲍威尔法，也用于其他一些较为有效的方法，可以统称为共轭方向法。因此，共轭方向的概念在优化方法研究中占有重要的地位。共轭方向在最优化问题中的应用是基于其具有一个重要性质，即：设S1、S2、…、Sn是关于A的n个互相共轭的向量，则对于求正定二次函数的极小点，从任意初始点出发，依次沿Si（i=1，2，…，n)方向进行一维最优化搜索，至多n步便可以收敛到极小点．1()2TTFXcbXXAX122.5关于优化方法中搜寻方向的理论基础2.5.2共轭方向(见第二章)一、共轭方向的基本概念若有两个n维矢量S1、S2，对n×n阶对称正定矩阵A能满足:T12SAS=0称n维空间矢量S1与S2对A共轭共轭矢量所代表的方向称为共轭方向。正交:可以看作是共轭的特例121200TTSSSES例:(1)122111,,1211ASS12211110,121TSAS1211101TSS共轭并正交13例:(2)122111,,1202ASS12211100,122TSAS12110102TSS共轭但不正交设A为n×n阶实对称正定矩阵，有一组非零的n维矢量S1、S2、…、Sq，若满足i≠j则称矢量系Si(i＝1，2，…，q≤n)对于...