最优化方法结课作业年级数学 121 班学号201200144209 姓名李强1、几种方法比较无约束优化： 不对定义域或值域做任何限制的情况下，求解目标函数的最小值
这是因为实际应用中， 许多情形被抽象为函数形式后均为凸函数，对于凸函数来说局部最小值点即为全局最小值点，因此只要能求得这类函数的一个最小值点，该点一定为全局最小值
（直接法： 又称数值方法，它只需计算目标函数驻点的函数数值，而不是求其倒数，如坐标轮换法，单纯型法等
间接法：又称解析法，是应用数学极值理论的解析方法
首先计算出目标函数的一阶或一阶、二阶导数， 然后根据梯度及海赛矩阵提供的信息，构造何种算法， 从而间接地求出目标函数的最优解，如牛顿法、最速下降法共轭梯度法及变尺度法
）在优化算法中保证整体收敛的重要方法就是线搜索法与信赖域法,这两种算法既相似又有所不同
根据不同的线搜索准则就延伸出不同的线搜索算法,譬如比较常见和经典的最速下降法 ,牛顿法 ,拟牛顿法以及共辄梯度法等
一维搜索又称线性搜索(Line Search),就是指单变量函数的最优化,它是多变量函数最优化的基础 ,是求解无约束非线性规划问题的基本方法之一
一维搜索技术既可独立的用于求解单变量最优化问题,同时又是求解多变量最优化问题常用的手段 ,虽然求解单变量最优化问题相对比较简单,但其中也贯穿了求解最优化问题的基本思想
由于一维搜索的使用频率较高,因此努力提高求解单变量问题算法的计算效率具有重要的实际意义
在多变量函数的最优化中,迭代格式Xk+1=Xk+akdk 其关键就是构造搜索方向dk 和步长因子 ak 设Φ (a)=f(xk+adk) 这样从凡出发 ,沿搜索方向dk,确定步长因子ak,使Φ (a)0)则称这样的一维搜索为最优一维搜索,或精确一维搜索 ,ak 叫最优步长因子;如果选取 ak 使目标函数f 得到可接受的下降量,即使得下降量f (
