Numerically stable computation of step-sizes for descent methods. The nonconvex case

Abstract

The computation of step-sizes which guarantee convergence in unconstrained minimization by descent methods is considered. The use of a “control” or “range” function is highly attractive for this purpose because of its simplicity. Since the Armijo-Goldstein test may fail prematurely due to numerical instability near the minimizer, we consider a range function based on gradient values alone as has been done forg convex in [8]. Numerical algorithms are given for the computation of step-sizes whose behaviour under roundoff is shown to be benign in the sense of F. L. Bauer [5].

Zusammenfassung

Es wird die Berechnung konvergenzerzeugender Schrittweiten bei Abstiegsverfahren zur unrestringierten Minimierung betrachtet. Die Verwendung einer „Kontroll-” oder „Bereichs”-Funktion ist in diesem Zusammenhang wegen ihrer Einfachheit besonders attraktiv. Da der Test nach Armijo und Goldstein in der Nähe eines Minimums aufgrund numerischer Instabilität vorzeitig versagen kann, betrachten wir eine Bereichsfunktion, in die nur Gradientenwerte eingehen, wie dies in [8] für den konvexen Fall geschehen ist. Es werden numerische Algorithmen zur Schrittweitenberechnung angegeben, deren Verhalten unter Rundungsfehlereinfluß gutartig ist im Sinne von F. L. Bauer [5].