实用标准文案精彩文档第一节，概述无约束优化问题：求n维设计变量x=（x1，x2，⋯，xn）T，使目标函数f（x）→min，而对x没有任何限制。用数学方法求解方程▽f=0的问题/，。该方程为非线性方程，不宜直接求解，选择搜索法。给定初始点x0，沿着某一方向d0进行搜索，确定最佳步长α0，使得沿着d0方向下降最大；xk+1=xk+αkdk。根据d的构成分类：一类为利用目标函数一阶和二阶导数的无约束优化方法【最速下降法】，【共轭梯度法】，【牛顿法】，【变尺度法】，另一类只利用目标函数值【坐标轮换法】，【单形替换法】，【鲍威尔法】。第二节，最速下降法又称梯度法，以负梯度方向作为搜索方向。d=-▽f（x）；xk+1=xk-αk▽f（xk）α为步长因子，取一维搜索的最佳步长：f（xk+1）=f（xk-αk▽f（xk））=minαf（xk-αk▽f（xk））=minαφ（α）→φ'（α）=-（▽f（xk-αk▽f（xk）））▽f（xk）=0→▽f（xk+1）▽f（xk）=0相邻两次迭代方向垂直。【重点】第三节，牛顿法牛顿迭代公式：xk+1=xk-′多元函数f（x），设xk为f（x）极小点x*的一个近似点，在xk处将f（x）进行泰勒展开，保留二次项，得到：f（x）≈f（xk）+▽f（xk）T（x-xk）+;整理出牛顿迭代公式：xk+1=xk-（▽2f（xk））-1▽f（xk）阻尼牛顿法：引入阻尼因子αk，故有xk+1=xk-αk（▽2f（xk））-1▽f（xk），其中αk可由极小化求解：f（xk+1）=f（xk+αkdk）=minαf（xk+αdk），其理论意义为沿着dk方向一维搜索的最佳步长。第四节，共轭方向法共轭方向：dk和dk+1满足（dk）TG（dk+1）=0原则和步骤：选定初始点x0，下降方向d0和收敛精度ε；沿着d0方向一维搜索，x1=x0+αd0；判断（），不满足则反复迭代演算，其中新方向dk+1满足（dk）TGdk+1=0【第五节】共轭梯度法每一个共轭矢量都是依赖于迭代点处的负梯度构造的。共轭方向与梯度之间的关系:xk+1-xk=αkdk在xk和xk+1处的梯度为gk，gk+1，设二次函数f（x）=1/2xTGx+bTx+c,gk=Gxk+b;gk+1=Gxk+1+b;gk+1-gk=G(xk+1-xk)=αkGdk若dj和dk共轭，则有（dj）T（gk+1-gk）=0意义：沿着dj方向一维搜索其终点xk+1与始点xk的梯度之差gk+1-gk与dk的共轭方向dj正交。计算过程：设初值点x0，第一个搜索方向取x0的负梯度方向-g0，一维搜索后得x1，g1，要求x1为以d0为切线和某等值曲线的切点，g1和d0正交，g1Tg0=0；求d0的共个方向d1，改写d1=-g1+β0d0其中：β0=，d1=，计算x2、g2；计算d2⋯直到迭代点梯度的实用标准文案精彩文档模小于允许值。得到共轭方向的递推公式：dk+1=第六节，变尺度法放大或缩小各个坐标，通过尺度变换可以把函数的偏心程度降低到最低限度，显著地改善收敛性质。尺度变换矩阵Q，尺度矩阵H=QTQ；变尺度法步骤：x0，ε→g0，H0（可取I）→dk=-Hkgk→一维搜索求x1，g1→判断迭代终止条件，若不满足则取Hk=I，x0=xk+1重新迭代第七节，坐标轮换法每次搜索只允许一个变量变化，其余变量保持不便，及沿着坐标方向轮流进行搜索的寻优方法。当目标函数为二元二次函数其等值线为圆或长短轴平行于坐标的椭圆时此方法有效。【重点】第八节，鲍威尔法直接利用函数值来构造共轭方向的一种共轭方向法。对于二次函数：f（x）=1/2xTGx+bTx+c；G正定，在逐次迭代中构造G的共轭方向。构造共轭方向原理：设xk和xk+1为从不同点出发沿着不同方向dj进行一位搜素得到的两个极小值点，xk和xk+1，梯度gk，gk+1，梯度与等值线垂直，故（dj）Tgk=0，（dj）Tgk+1=0；同时gk=Gxk+b，gk+1=Gxk+1+b，有gk+1-gk=G（xk+1-xk），（dj）T（gk+1-gk）=0=（dj）TG（xk+1-xk）取dk=xk+1-xk，djdk共轭，即沿着dj方向对函数做两次一维搜索得到的两个极小值的连线就是与dj一起对G共轭的方向。基本算法：x0，两个线性无关矢量e1，e2做为搜索方向→得到x10和x20→d1=x20-x10→d1代替e1，新搜索方向：e2，d1⋯改进算法：考虑到原始的矢量组的好坏是否需要替换。第九节，单形替换法基本原理：单形替换法指在n维空间中建立≥n+1个顶点的多面体（单纯形）。计算其各顶点函数值并加以比较，从中确定搜索方向和步长，找到一个较好的点取代单纯形中较差的顶点，组成的新单纯形更加靠近目标函数的极小点。可通过反射、远探、近探和缩边等方式不断地更新单纯形，逐渐逼近极小点，直到足够接近为止。
