2025年无约束优化方法最速下降法牛顿法VIP免费

第四章无约束优化办法——最速下降法，牛顿型办法概述在求解目的函数的极小值的过程中，若对设计变量的取值范畴不加限制，则称这种最优化问题为无约束优化问题。尽管对于机械的优化设计问题，多数是有约束的，无约束最优化办法仍然是最优化设计的基本构成部分。由于约束最优化问题能够通过对约束条件的解决，转化为无约束最优化问题来求解。为什么要研究无约束优化问题?（1）有些实际问题，其数学模型本身就是一种无约束优化问题。（2）通过熟悉它的解法可觉得研究约束优化问题打下良好的基础。（3）约束优化问题的求解能够通过一系列无约束优化办法来达成。因此无约束优化问题的解法是优化设计办法的基本构成部分，也是优化办法的基础。根据构成搜索方向所使用的信息性质的不同，无约束优化办法能够分为两类。一：间接法——要使用导数的无约束优化办法，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等。二：直接法——只运用目的函数值的无约束优化问题，如坐标轮换法、鲍威尔法单纯形法等。无约束优化问题的普通形式可描述为：求n维设计变量使目的函数现在已研究出诸多个无约束优化办法，它们的重要不同点在于构造搜索方向上的差别。无约束优化问题的求解：1、解析法能够运用无约束优化问题的极值条件求得。即将求目的函数的极值问题变成求方程的解。也就是求Ｘ＊使其满足解上述方程组，求得驻点后，再根据极值点所需满足的充足条件来鉴定与否为极小值点。但上式是一种含有ｎ个未知量，ｎ个方程的方程组，在实际问题中普通是非线性的，很难用解析法求解，要用数值计算的办法。由第二章的讲述我们懂得，优化问题的普通解法是数值迭代的办法。因此，与其用数值办法求解非线性方程组，还不如用数值迭代的办法直接求解无约束极值问题。2、数值办法数值迭代法的基本思想是从一种初始点出发，按照一种可行的搜索方向搜索，拟定最佳的步长使函数值沿方向下降最大，得到点。依此一步一步地重复数值计算，最后达成最优点。优化计算所采用的基本迭代公式为（4.2）在上式中，是第是k+1次搜索或迭代方向，称为搜索方向（迭代方向）。由上面的迭代公式能够看出，采用数值法进行迭代求优时，需要拟定初始点、搜索方向和迭代步长，称为优化办法迭代算法的三要素。第三章我们已经讨论了如何在搜索方向上拟定最优步长的办法，本章我们将讨论如何拟定搜索方向。最惯用的数值办法是搜索办法，其基本思想以下图所示：无约束优化办法能够分为两类。一类是通过计算目的函数的一阶或二阶导数值拟定搜索方向的办法，称为间接法，如最速下降法、牛顿法、变尺度法和共轭梯度法。另一类是直接运用目的函数值拟定搜索方向的办法，称为直接法，如坐标轮换法、鲍威尔法和单形替代法。多个无约束优化办法的区别在于拟定其搜索方向0d的办法不同。4．1最速下降法最速下降法是一种求解极值问题的古老算法，1847年由柯西（Cauchy）提出。4.1.1最速下降法的基本原理由第二章优化设计的数学基础可知，梯度方向是函数增加最快的方向，负梯度方向是函数下降最快的方向，因此最速下降法以负梯度方向为搜索方向，每次迭代都沿着负梯度方向进行一维搜索，直到满足精度规定为止。因此，最速下降法又称为梯度法。由公式（4.2）可知，若某次选代中己获得点，从该点出发，取负梯度方向为搜索方向。则最速下降法的迭代公式为（4.3）当第ｋ次的迭代初始点和搜索方向已经拟定的状况下，原目的函数成为有关步长的一维函数。即最优步长能够运用一维搜索的办法求得根据一元函数极值的必要条件和多元复合函数的求导公式，得或写成由此可知，在最速下降法中相邻两个搜索方向互相正交。也就是说在用最速下降法迭代求优的过程中，走的是一条波折的路线，该次搜索方向与前一次搜索方向垂直，形成“之”字形的锯齿现象，如图4.1所示。最速下降法刚开始搜索步长比较大，愈靠近极值点其步长愈小，收敛速度愈来愈慢。特别是对于二维二次目的函数的等值线是较扁的椭圆时，这种缺点更加明显。因此所谓最速下降是指目的函数在迭代点附近出现的局部性质，从迭代过程的全局来看，负梯度方向并非是目的函数的最快搜索方向。图4.1最速下降法的搜索...