Numerical experience with newton-like methods for nonlinear algebraic systems

Abstract

In this paper we present an extensive computational experience with several Newton-like methods, namely Newton’s method, the ABS Huang method, the ABS row update method and six Quasi-Newton methods. The methods are first tested on 31 families of problems with dimensionsn=10, 50, 100 and two starting points. Newton’s method appears to be the best in terms of number of solved problems, followed closely by the ABS Huang method. Broyden’s “bad” method and Greenstadt’s second method show a very poor performance. The other four Quasi-Newton methods perform similarly, strongly suggesting that Greenstadt’s first method and Martínez’ column update method are locally and superlinearly convergent, a result that has yet to be proven theoretically. Thomas’ method appears to be marginally more robust and fast and provides moreover a better approximation to the Jacobian. An interesting and somewhat unexpected observation is that the number of iterations for satisfying the convergence test increases very little with the dimension of the problem. In a second set of experiments we look at the structure of the regions of convergence/nonconvergence by starting the methods from all nodes of a regular grid and assigning to each node a number according to the outcome of the iteration. The obtained regions have clearly a fractal type structure, which, on the two tested problems, is much simpler for Newton’s method than for the other methods. Newton’s method also is the one with the smallest nonconvergence region. Among the Quasi-Newton methods Thomas’ method shows a definitely smaller nonconvergence region.

Zusammenfassung

Wir berichten über umfangreiche rechnerische Erfahrungen mit verschiedenen Newtonartigen Verfahren, nämlich dem klassischen Newton-Verfahren, dem ABS-Huang-Verfahren, dem AMS Zeilen-Update-Verfahren und 6 verschiedenen Quasi-Newton-Verfahren. Die Verfahren werden zuerst on 31 Problemfamilien mit Dimension 10, 50, 100, und zwei Startwerten getestet. Das Newton-Verfahren erweist sich am besten in Bezug auf die Anzahl gelöster Probleme, dicht gefolgt vom ABS-Huang-Verfahren. Broydens “schlechtes” Verfahren und Greenstadts zweites Verfahren erweisen sich als ungünstig. Die anderen vier Quasi-Newton-Verfahren sind gleichwertig, wobei sich Greenstadts erstes Verfahren und das Spalten-Update-Verfahren von Martínez als lokal superlinear konvergent herausstellen, ein theoretisch noch nicht bewiesenes Resultat. Das Verfahren von Thomas scheint ein wenig robuster zu sein und die Jacobimatrix besser zu approximieren. Interessant und etwas unerwartet ist die Beobachtung, daß die Iterationszahl bis zur Erfüllung des Konvergenztests nur schwach mit der Dimension des Systems steigt. In einer zweiten Versuchsreihe beobachten wir die Struktur der Konvergenz/Nichtkonvergenz-Bereiche bei Start von Punkten eines regulären Gitters. Die erhaltenen Bereiche haben eine fraktale Struktur, die — bei den beiden verwendeten Problemen — für das Newton-Verfahren viel einfacher ist als für die anderen Verfahren; es hat auch den kleinsten Nichtkonvergenz-Bereich. Unter den Quasi-Newton-Verfahren zeigt das Verfahren von Thomas klar einen kleineren Nichtkonvergenz-Bereich.