Lernen mit Kernen

Zusammenfassung.

Dieser Beitrag erläutert neue Ansätze und Ergebnisse der statistischen Lerntheorie. Nach einer Einleitung wird zunächst das Lernen aus Beispielen vorgestellt und erklärt, dass neben dem Erklären der Trainingdaten die Komplexität von Lernmaschinen wesentlich für den Lernerfolg ist. Weiterhin werden Kern-Algorithmen in Merkmalsräumen eingeführt, die eine elegante und effiziente Methode darstellen, verschiedene Lernmaschinen mit kontrollierbarer Komplexität durch Kernfunktionen zu realisieren. Beispiele für solche Algorithmen sind Support-Vektor-Maschinen (SVM), die Kernfunktionen zur Schätzung von Funktionen verwenden, oder Kern-PCA (principal component analysis), die Kernfunktionen zur Extraktion von nichtlinearen Merkmalen aus Datensätzen verwendet. Viel wichtiger als jedes einzelne Beispiel ist jedoch die Einsicht, dass jeder Algorithmus, der sich anhand von Skalarprodukten formulieren lässt, durch Verwendung von Kernfunktionen nichtlinear verallgemeinert werden kann.

Die Signifikanz der Kernalgorithmen soll durch einen kurzen Abriss einiger industrieller und akademischer Anwendungen unterstrichen werden. Hier konnten wir Rekordergebnisse auf wichtigen praktisch relevanten Benchmarks erzielen.

Abstract.

We describe recent developments and results of statistical learning theory. In the framework of learning from examples, two factors control generalization ability: explaining the training data by a learning machine of a suitable complexity. We describe kernel algorithms in feature spaces as elegant and efficient methods of realizing such machines. Examples thereof are Support Vector Machines (SVM) and Kernel PCA (Principal Component Analysis). More important than any individual example of a kernel algorithm, however, is the insight that any algorithm that can be cast in terms of dot products can be generalized to a nonlinear setting using kernels.

Finally, we illustrate the significance of kernel algorithms by briefly describing industrial and academic applications, including ones where we obtained benchmark record results.