no. 7
Optimal Control
Consistency of a simple multidimensional scheme for Hamilton–Jacobi–Bellman equations
[Consistance d'un schéma multidimensionnel simple pour les équations de Hamilton–Jacobi–Bellman]

Présenté par : Pierre-Louis Lions

Munos, Rémi1 ; Zidani, Hasnaa2
1 Centre de mathématiques appliquées, École polytechnique, 91128 Palaiseau cedex, France
2 Laboratoire de mathématiques appliquées, ENSTA, 32, boulevard Victor, 75739 Paris cedex 15, France
Comptes Rendus. Mathématique, Tome 340 (2005) no. 7, pp. 499-502.

Cette Note présente un schéma d'approximation pour les équations de Hamilton–Jacobi–Bellman qui apparaissent en contrôle optimal stochastique. Le schéma est construit selon une méthode d'approximation par chaîne de Markov. Il s'implémente facilement en n'importe quelle dimension. La consistance du schéma est prouvée, ce qui garantit sa convergence.

This Note presents an approximation scheme for second-order Hamilton–Jacobi–Bellman equations arising in stochastic optimal control. The scheme is based on a Markov chain approximation method. It is easy to implement in any dimension. The consistency of the scheme is proved, which guarantees its convergence.

Reçu le :
Accepté le :
Publié le :
DOI : 10.1016/j.crma.2005.02.001
Munos, Rémi 1 ; Zidani, Hasnaa 2

1 Centre de mathématiques appliquées, École polytechnique, 91128 Palaiseau cedex, France
2 Laboratoire de mathématiques appliquées, ENSTA, 32, boulevard Victor, 75739 Paris cedex 15, France 
@article{CRMATH_2005__340_7_499_0,
     author = {Munos, R\'emi and Zidani, Hasnaa},
     title = {Consistency of a simple multidimensional scheme for {Hamilton{\textendash}Jacobi{\textendash}Bellman} equations},
     journal = {Comptes Rendus. Math\'ematique},
     pages = {499--502},
     publisher = {Elsevier},
     volume = {340},
     number = {7},
     year = {2005},
     doi = {10.1016/j.crma.2005.02.001},
     language = {en},
     url = {http://www.numdam.org/articles/10.1016/j.crma.2005.02.001/}
}
TY  - JOUR
AU  - Munos, Rémi
AU  - Zidani, Hasnaa
TI  - Consistency of a simple multidimensional scheme for Hamilton–Jacobi–Bellman equations
JO  - Comptes Rendus. Mathématique
PY  - 2005
SP  - 499
EP  - 502
VL  - 340
IS  - 7
PB  - Elsevier
UR  - http://www.numdam.org/articles/10.1016/j.crma.2005.02.001/
DO  - 10.1016/j.crma.2005.02.001
LA  - en
ID  - CRMATH_2005__340_7_499_0
ER  - 
%0 Journal Article
%A Munos, Rémi
%A Zidani, Hasnaa
%T Consistency of a simple multidimensional scheme for Hamilton–Jacobi–Bellman equations
%J Comptes Rendus. Mathématique
%D 2005
%P 499-502
%V 340
%N 7
%I Elsevier
%U http://www.numdam.org/articles/10.1016/j.crma.2005.02.001/
%R 10.1016/j.crma.2005.02.001
%G en
%F CRMATH_2005__340_7_499_0
Munos, Rémi; Zidani, Hasnaa. Consistency of a simple multidimensional scheme for Hamilton–Jacobi–Bellman equations. Comptes Rendus. Mathématique, Tome 340 (2005) no. 7, pp. 499-502. doi : 10.1016/j.crma.2005.02.001. http://www.numdam.org/articles/10.1016/j.crma.2005.02.001/

[1] Bonnans, F.; Zidani, H. Consistency of generalized finite difference schemes for the stochastic HJB equation, SIAM J. Numer. Anal., Volume 41 (2003) no. 3, pp. 1008-1021

[2] Bonnans, F.; Ottenwaelter, E.; Zidani, H. A fast algorithm for the two dimensional HJB equation of stochastic control, Math. Model. Numer. Anal., Volume 38 (2004) no. 4, pp. 723-735

[3] Camilli, F.; Falcone, M. An approximation scheme for the optimal control of diffusion processes, Math. Model. Numer. Anal., Volume 29 (1995) no. 1, pp. 97-122

[4] Kushner, H.J.; Dupuis, P.G. Numerical Methods for Stochastic Control Problems in Continuous Time, Appl. Math., vol. 24, Springer-Verlag, New York, 2001

[5] Lions, P.-L.; Mercier, B. Approximation numérique des équations de Hamilton–Jacobi–Bellman, RAIRO Anal. Numér., Volume 14 (1980) no. 14, pp. 369-393

[6] Munos, R.; Moore, A. Variable resolution discretization in optimal control, Mach. Learn., Volume 49 (2002) no. 2–3, pp. 291-323

Cité par Sources :