Accelerating procedures for methods of conjugate directions

Abstract

Methods of conjugate directions and reset versions of the conjugate gradient method have ann-step quadratic rate of convergence when they are applied to the unconstrained minimization of a function ofn variables. A set ofn consecutive directions of descent generated by one of these methods contains information on the function to be minimized which is used to accelerate the convergence by perorming simple special steps. Under appropriate assumptions the rate of convergence of an accelerated reset version of the conjugate gradient method is (n+1)-step cubic. Depending on the frequency of the special step the rate of convergence of the method of conjugate directions is (n+1)-step cubic or 2-step superlinear.

Zusammenfassung

Es ist bekannt, daß die Anwendung von Methoden der konjugierten Richtungen sowie von geeigneten Modifikationen der Methode der konjugierten Gradienten zur Bestimmung des Minimums einer Funktion vonn Variablen einen-Schritt quadratische Konvergenzgeschwindigkeit ergibt. Eine Menge vonn aufeinanderfolgenden Richtungsvektoren, die von einer dieser Methoden erzeugt worden sind, enthalten Information über die zu minimierende Funktion, die dazu benutzt werden kann, die Konvergenzgeschwindigkeit zu erhöhen durch Ausführung besonderer Iterationsschritte. Unter geeigneten Voraussetzungen ergibt sich für die beschleunigte Methode der konjugierten Gradienten eine (n+1)-Schritt kubische Konvergenzgeschwindigkeit. Die Konvergenzgeschwindigkeit der beschleunigten Methode der konjugierten Richtungen ist in Abhängigkeit von der Häufigkeit der besonderen Iterationsschritte entweder (n+1)-Schritt kubisch oder 2-Schritt superlinear.