On a control of a Markov chain under conditions with respect to the absolute stationary probabilities and cost

Summary

We consider a homogeneous Markov chain with discrete parameter and a finite set of states. At every state we suppose a finite set of possible controls. The optimal policy securing the minimum, respectively maximum sum of certain stationary absolute probabilities will be searched under the condition that certain cost associated with a control stays at given boundaries. It is shown that the optimal policy does not belong necessarily to the class of pure policies. This problem is applicable, e.g. in a control of the quality of products through a financial reward of the workers.

Zusammenfassung

Wir betrachten eine homogene Markoffkette (MK) mit diskretem Zeitparameter und endlichem Zustandsraum. Die MK kann gesteuert werden, und zwar stehen in jedem Zustand endlich viele Aktionen zur Wahl, eine Strategie (Politik) ist gegeben durch die Angabe einer Aktion für jeden Zustand. Unter entsprechenden Voraussetzungen besitzen die den Strategien zugeordneten MK jeweils eine eindeutig bestimmte stationäre Verteilung. Ziel ist die Bestimmung einer Strategie, die eine Summe von Wahrscheinlichkeiten für vorgegebene Zustände bzgl. der zugehörigen stationären Verteilung minimiert (oder maximiert) unter der Nebenbedingung, daß mit der Kontrolle verbundene Kosten eine vorgegebene Schranke nicht überschreiten. Die Lösung erfolgt mittels linearer Optimierung. Ein Beispiel zeigt, daß die optimale Strategie i.a. eine gemischte Strategie ist.