Verallgemeinerte Radiale Basisfunktionen zur Approximation höherdimensionaler Funktionen

Zusammenfassung.

Radiale Basisfunktionen (RBF) sind eine Methode zur Funktionsapproximation. Sie finden im Gebiet der Neuronalen Netze breite Verbreitung. Nicht immer jedoch wird die radialsymmetrische Form der Basisfunktionen der zu approximierenden Funktion gerecht. Hängt der Funktionswert unterschiedlich stark von unterschiedlichen Eingabedimensionen ab, so ermöglicht erst eine Generalisierung von radialen zu ellipsoiden Basisfunktionen (GRBF) eine adäquate Modellierung. Freie Orientierungen der GRBF sind sinnvoll, falls starke Variationen nicht nur entlang der Komponenten des Eingaberaumes, sondern auch entlang beliebiger Linearkombinationen liegen. Existierende Adaptionsalgorithmen für GRBF-Netze ziehen meist Gradientenabstieg oder unüberwachtes Lernen heran, und erfordern somit sehr viele Trainingsiterationen und damit lange Laufzeiten. In diesem Artikel stellen wir den neuartigen neuronalen Adaptionsalgorithmus Growing Ellipsoids vor, der auf einer geometrischen Anschauung beruht, indem die ellipsoide Form der Units explizit betrachtet wird. Neue Units werden sequentiell am Ort großer Approximationsfehler eingefügt. Die Parameter der neuen Units werden mit dem Ziel adaptiert, lokal den Approximationsfehler zu minimieren. Der Algorithmus arbeitet off-line auf einem vorhandenen Datensatz.

Abstract.

Radial Basis Functions (RBF) are a popular method of function approximation with neural networks. However, the radial shape of the basis functions does not always reflect the function's characteristics adequately. Whenever a function's output varies differently according to different input variables, generalizing the radial shape to an ellipsoidal shape (GRBF) is appropriate. Free orientations of the ellipsoids are useful whenever variations occur not only along the input variables, but also along their linear combinations. Since existing adaptation algorithms for GRBFs usually use gradient descent or unsupervised learning to adjust the parameters of the GRBFs, they need a vast number of training iterations. In this article, we propose the new adaptation algorithm Growing Ellipsoids for GRBFs. It is based on a geometric concept, considering the elliptical shape of the GRBFs explicitly. New units are inserted sequentially at data points with high approximation error. The new unit's parameters are adapted immediately trying to eliminate the approximation error locally. The algorithm operates off-line on an available data set.