Steplength algorithms for minimizing a class of nondifferentiable functions

Abstract

Four steplength algorithms are presented for minimizing a class of nondifferentiable functions which includes functions arising froml ₁ andl _∞ approximation problems and penalty functions arising from constrained optimization problems. Two algorithms are given for the case when derivatives are available wherever they exist and two for the case when they are not avaible. We take the view that although a simple steplength algorithm may be all that is required to meet convergence criteria for the overall algorithm, from the point, of view of efficiency it is important that the step achieve as large a reduction in the function value as possible, given a certain limit on the effort to be expended. The algorithms include the facility for varying this limit, producing, anything from an algorithm requiring a single function evaluation to one doing an exact linear search. They are based on univariate minimization algorithms which we present first. These are normally at least quadratically convergent when derivatives are used and superlinearly convergent otherwise, regardless of whether or not the function is differentiable at the minimum.

Zusammenfassung

Wir stellen vier “step-length”-Algorithmen zur Minimierung einer Klasse von nicht-differenzierbaren Funktionen vor. Diese Klasse enthält sowohl Funktionen, die bei Approximationsproblemen unter Verwendung derl ₁- undl-Norm auftreten, als auch Straf-Funktionen, wie sie bei Optimierungsproblemen mit Nebenbedingungen benützt werden. Zwei Algorithmen betreffen den Fall, wo die Ableitungen überall da numerisch berechenbar sind, wo sie existieren, und weitere den Fall, wo diese Ableitungen nicht berechenbar sind. Obwohl ein einfacher “step-length”-Algorithms ausreichend sein mag, um bloße Konvergenz zu erzielen, vertreten wir die Auffassung, daß es aus Effizienzgründen wichtig ist, für eine vorgegebene feste Grenze des Aufwandes bei jedem Schritt die größtmögliche Reduktion des Funktionswertes zu erreichen. Unsere Algorithmen beinhalten die Möglichkeit, die Grenze des Aufwandes so zu verändern, daß sie als Spezialfälle sowohl die Algorithmen enthalten, die mit einer einzigen Funktionsauswertung auskommen, als auch diejenigen, die ein lineares Suchen durchführen. Die Algorithmen beruhen auf einem eindimensionalen Minimierungsverfahren, welches am Anfang beschrieben wird. Unsere Algorithmen besitzen im Normfall mindestens superlineare Konvergenz; wenn Ableitungen verwendet werden, so ist die Konvergenz quadratisch; beides gilt unabhängig davon, ob die Funktion an der Minimalstelle differenzierbar ist oder nicht.