最优化方法-习题解答张彦斌计算机学院2014年10月20日Contents1第一章最优化理论基础-P 13习题1(1)、2(3)(4)、3、412第二章线搜索算法-P 27习题2、4、643第三章最速下降法和牛顿法P 41习题1，2，374第四章共轭梯度法P 51习题1，3，6(1)105第五章拟牛顿法P 73-2126第六章信赖域方法P 86-8147第七章非线性最小二乘问题P 98-1，2，6188第八章最优性条件P 112-1，2,5,6239第九章罚函数法P 132，1-(1)、2-(1)、3-(3),62610 第十一章二次规划习题11 P 178-1（1），5291第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、41.验证下列各集合是凸集:(1) S={(x1,x2)|2x1+x2≥1,x1 − 2x2 ≥ 1};需要验证：根据凸集的定义，对任意的x(x1, x2), y(y1, y2) ∈ S及任意的实数λ ∈ [0, 1],都有λ x + (1 − λ)y ∈ S.即,(λ x1 + (1 − λ)y1, λ x2 + (1 − λ)y2) ∈ S证：由x(x1, x2), y(y1, y2) ∈ S得到，{2x1 + x2 ≥ 1, x1 − 2x2 ≥ 12y1 + y2 ≥ 1, y1 − 2y2 ≥ 1(1)1把(1)中的两个式子对应的左右两部分分别乘以λ和1 − λ,然后再相加，即得λ(2x1 + x2) + (1 − λ)(2y1 + y2) ≥ 1,λ(x1 − 2x2) + (1 − λ)(y1 − 2y2) ≥ 1(2)合并同类项，2(λx1 + (1 − λ)y1) + (λx2 + (1 − λ)y2) ≥ 1,(λx1 + (1 − λ)y1) − 2(λx2 + (1 − λ)y2) ≥ 1(3)证毕.2.判断下列函数为凸（凹）函数或严格凸（凹）函数：(3)f(x) = x21 − 2x1x2 + x22 + 2x1 + 3x2首先二阶导数连续可微，根据定理1.5，f在凸集上是（I）凸函数的充分必要条件是∇2f(x)对一切x为半正定；（II）严格凸函数的充分条件是∇2f(x)对一切x为正定。∇2f(x) =(2−2−22)(4)半正定矩阵（4）∇2f(x) =41−3120−304(5)正定矩阵3.证明f(x) = 12xT Gx + bT x为严格凸函数当且仅当Hesse矩阵G正定。证明：根据严格凸函数定义证明。对任意x = y,及任意实数λ ∈(0, 1)都有f(λx+(1−λ)y) < λf(x)+(1−λ)f(y).充分性：Hesse矩阵G正定=》严格凸函数.f(λx + (1 − λ)y)=12(λx + (1 − λ)y)T G(λx + (1 − λ)y) + bT (λx + (1 − λ)y)λf(x) + (1 − λ)f(y)=λ( 12xT Gx + bT x)+(1− λ)(12yT Gy + bT y)λf(x) + (1 − λ)f(y) − f(λx + (1 − λ)y)=λ( 12xT Gx)+(1 − λ)(1...
