Fuzzy-Q-learning-based autonomic management of macro-diversity algorithm in UMTS networks

Abstract

Third generationUmts network has come with significant high-quality services that considerably increase the complexity of its management. Autonomic management has been introduced to alleviate these complex lengthy tasks. In this paper, we propose an autonomic management of macro-diversity algorithm inUmts networks. The new approach allows to dynamically adapt macro-diversity parameters to varying network situations. The online adaptation of these parameters is made by an intelligent controller calledfuzzy-Q-Learning. The combination of Fuzzy Inference System (Fis) and Q-learning algorithm allows to determine the best on-line parameterization of base stations and to deal with large number of continuous states and actions. The proposed scheme improves the system capacity up to 30% compared to a classical network with fixed parameters, balances the load between base stations and minimizes human interventions in the network management. However, the reactivity of the controller should be chosen with a special care since it impacts the frequency of active set updates and hence signalling messages in the radio interface as well as in the core network.

Résumé

Les réseaux mobilesUmts de troisième génération offrent un haut niveau de qualité de service qui complique de plus en plus le management des ressources radios. L’introduction du processus de management autonome dans ces réseaux permet de réduire considérablement cette complexité. Dans cet article, nous proposons une nouvelle méthode pour le réglage autonome des paramètres de macro-diversité d’un réseauUmts. Cette nouvelle approche permet d’adapter dynamiquement les paramètres en fonction de la situation du réseau en termes de fluctuations de trafic et de types de mobilité. Le réglage automatique et autonome de ces paramètres est réalisé par un contrôleur de typefuzzy-Q-Learning. Ce contrôleur combine un système d’inférence floue (Sif) et un algorithme d’apprentissage par renforcement. Cette combinaison permet au contrôleur de trouver dynamiquement le meilleur paramétrage pour chaque station de base et de traiter des états et des actions continus. Cette méthode augmente la capacité du système jusqu ’à 30 % par rapport à un réseau classique, permet d’équilibrer la charge entre les stations de base et diminue l’intervention humaine dans la tache de management du réseau. Cependant, La réactivité du contrôleur doit être prudemment choisie car elle influe la fréquence des mises à jour de l’active set du mobile qui se traduit par une augmentation des messages de signalisation au niveau de l’interface radio ainsi que du réseau cœur.