Convergence of matrix LMS algorithms with applications to LMS/Newton

Abstract

Necessary and sufficient conditions for convergence of a general matrix LMS algorithm are derived in the case where the adaptation matrix and the input correlation matrix commute. It is shown that the LMS/Newton algorithm is an important special case of the introduced algorithm. From this fact we deduce that the bounds on adaptation gain commonly quoted in the literature for LMS/Newton and sequential regression algorithms are not strict enough and must be reduced to provide convergence of the weight vector covariance matrix. The steady-state performance of the algorithm as well as its performance in a nonstationary environment are also discussed. Previous results in this area are extended while using fewer assumptions. Finally, a class of nonlinear processes is introduced. Performance on an example process is given to show that our algorithm performs well in this environment which naturally has large eigenvalue spreads.

Zusammenfassung

Notwendige und hinreichende Bedingungen für die Konvergenz eines allgemeinen LMS-Algorithmus werden für den Fall hergeleitet, in dem Adaptionsmatrix und Korrelationsmatrix des Eingangssignals kommutieren. Es wird gezeigt, daβ der LMS/Newton-Algorithmus einen wichtigen Spezialfall des beschriebenen Algorithmus darstellt. Hieraus läβt sich schlieβen, daβ die in der Literatur gemeinhin angegebenen Schranken für die Adaptionsverstärkung von LMS/Newton-Algorithmus und Sequentiellem Regressions-Algorithmus nicht streng genug sind und reduziert werden müssen, um Konvergenz der Kovarianzmatrix des Gewichtsvektors zu gewährleisten. Sowohl das stationäre Verhalten des Algorithmus als auch sein Verhalten in einer nichtstationären Umgebung werden diskutiert. Bekannte Resultate werden erweitert, notwendige Annahmen eingeschränkt. Schlieβlich wird eine Klasse nichtlinearer Prozesse eingeführt. Anhand eines Beispielprozesses wird gezeigt, wie gut sich der vorgestellte Algorithmus in einer Umgebung verhält, die sich durch weit auseinanderliegende Eigenwerte auszeichnet.

Résumé

Dans cet article, des conditions nécessaires et suffisantes pour la convergence d'un algorithme LMS matriciel général sont dérivées dans le cas où la matrice d'adaptation et la matrice de corrélation de l'entrée commutent. Il est montré que l'algorithme LMS/Newton est un cas particulier important de l'algorithme introduit. A partir de ce fait nous déduisons que les valeurs limites sur le gain d'adaptation communément citées dans la littérature pour les algorithmes LMS/Newton et de régression séquentielle ne sont pas assez strictes et doivent être réduites afin de garantir la convergence de la matrice de covariance du vecteur de pondération. Les performances en régime établi de l'algorithme ainsi que ses performances en milieu non-stationnaire sont également discutées. Des résultats antérieurs dans ce domaine sont étendus alors qu'un nombre restreint d'hypothèses est pris en compte. Enfin, une classe de processus non-linéaires est introduite. Les performances sur un exemple de processus sont données pour montrer que notre algorithme se comporte bien dans cet environnement qui naturellement présente une large dispersion des valeurs propres.