共轭梯度法及其基本性质 预备知识 定义1 设 是对称正定矩阵。称是A-共轭的，是指 性质 1 设有是彼此共轭的维向量，即 则一定是线性无关的。 ［证明］若有一组数满足 则对一切一定有 注意到，由此得出：即所有的＝０．因此，是线性无关的． 性质２ 设向量是线性无关的向量组，则可通过它们的线性组合得出一组向量，而是两两共轭的． ［证明］我们用构造法来证实上面的结论． Ｓ０：取 ； Ｓ１：令，取． „„ Ｓm：令 取 容易验证：符合性质２的要求． 性质３设是两两Ａ－共轭的， 是任意指定的向量，那么从出发，逐次沿方向搜索求的极小值，所得序列，满足： ． ［证明］由下山算法可知，从出发，沿方向搜索，获得 从而 性质４设是两两Ａ共轭的，则从任意指定的 出发，依次沿搜索，所得序列满足： （１） （２） ，其中是方程组(5.1.1)的解． ［证明］（１）是性质３的直接推论，显然成立． （２）由于是两两Ａ共轭的，故是线性无关的．所以对于向量可用线性表出，即存在一组数使 由于及，得出 ， 于是，再由得出 于是，与得出一样地，我们可以陆续得出： 对比和的表达式可知， 证明完毕 性质４是性质３的直接推论．但它给出了一种求（５.１.１）的算法，这种算法称之为共轭方向法．结合性质２，我们可以得到如下的性质５． 性质５设是上的一组线性无关的向量，则从任意指定的出发，按以下迭代产生的序列： Ｓ１：取，，； Ｓ２：计算，取； 计算，得出； 如此进行下去，直到第 n步： Ｓn：计算取 计算，得出． 显然： 根据性质４可知，不论采用什么方法，只要能够构造个两两Ａ共轭的向量作为搜索方向，从任一初始向量出发，依次沿两两Ａ共轭的方向进行搜索，经步迭代后，便可得到正定方程组的解． 共轭梯度法 算法步骤如下： ［预置步］任意，计算，并令取：指定算法终止常数，置，进入主步； ［主步］（１）如果，终止算法，输出；否则下行； （２）计算： （３）计算： （４）置，转入（１）． 定理５.2.1 由共轭梯度法得到的向量组和具有如下性质： （１） （２） （３） （４），其中 （5.2.1） 通常称之为 Krylov子空间． ［证明］用归纳法．当时，因为 ， 因此定理的结论成立．现在假设定理的结论对成立，我们来证明其对也成立． 利用等式及归纳假设，有 又由于 ， 故定理的结论（１）对成立． 利用归纳假定有 而由（１）所证知，与上述子空间正交，从而有定理...
