RR-5414 : Control of Buffer and Energy of a Wireless Device: Closed and Open Loop Approaches

Abstract :

We consider a decision problem faced by an energy limited wireless device that operates in discrete time. There is some external arrival to the device's transmit buffer. The possible decisions are a) to serve some of the buffer content, b) to reorder a new battery after serving the maximum possible amount that it can, and c) to remain idle so that the battery charge can increase owing to diffusion process (possible in some commercially available battery). We look at both open-loop and closed-loop control of the system. For the closed-loop control, we view the problem in the framework of Markov Decision Processes and address finite and infinite horizon discounted costs as well as average cost minimization problems. Without using any second order characteristics, we obtain results that include i) optimality of bang-bang control, ii) the optimality of threshold based policies, iii) parameteric monotonicity of the threshold, and iv) uniqueness of the threshold. For the open-loop control setting we use recent advances in application of multimodular functions to establish optimality of bracket sequence based control.

Résumé :

Nous étudions un problème de décision en temps discret qui peut se poser pour un système mobile avec une source d'énergie limitée. Pendant chaque slot, il y a des paquets qui arrivent dans la file d'attente de cet système. Au début de chaque slot, l'système peut choisir parmi les décisions suivantes: a) envoyer quelques paquets, b) envoyer tous les paquets possible et commander une nouvelle batterie, et c) rester inactif, ce qui permet d'augmenter l'énergie résiduelle. Cette formulation mène à un compromis énergie/ performance pour l'appraeil. Nous étudions le contrôle de ce système en boucle ouverte et en boucle fermée. Dans le cas d'un contrôle en boucle fermée, nous utilisons le cadre des processus de décision markoviens. L'objectif est de minimiser le coût actualisé sur un horizon de gestion fini et infini, et le coût moyen par unité de temps. Nous montrons, sans utiliser les caractéristiques de second ordre, i) l'optimalité de commande par tout ou rien, ii) l'optimalité de contrôle à seuil, iii) la monotonie paramétrique de ce seuil, et iv) l'unicité de ce seuil. Enfin, nous utilisons les progres récents dans les applications des fonctions multimodulaires pour établir l'optimalité du contrôle basé sur des "bracket sequeunces".

RR-5414 - Control of Buffer and Energy of a Wireless Device: Closed and Open Loop Approaches