Statistique
Un usage de l'approximation stochastique pour l'estimation récursive
[On the use of stochastic approximation in recursive estimation]
Comptes Rendus. Mathématique, Volume 344 (2007) no. 3, pp. 199-204.

We propose in this Note a way to study the convergence of statistical recursive estimates. As an illustration, we provide a convergence proof for the well-known recursive density estimate introduced by Wagner and Wolverton. This alternative proof is based on results on Hilbert-valued stochastic approximation schemes, and provides an insight on recursive density estimation seen as minimization problems. Indeed, recursive statistical estimates such as Wagner–Wolverton's estimate can be seen as stochastic algorithms with values in a functional space which turns out to be here an Hilbert space. Hence, we can embed the field of recursive statistical estimation into the field of Hilbert-valued stochastic approximation and propose a systematic approach to prove the convergence of statistical recursive estimates, like density estimates or regression function estimates. Moreover, this systematic approach enables to take into account various constraints on the estimates like bounds or measurability.

Cette Note a pour objet de présenter une technique générique de démonstration de la convergence d'une large classe d'estimateurs récursifs, par l'usage de techniques d'approximation stochastique. À titre d'illustration de cette méthode, on donne une preuve alternative de convergence de l'estimateur de densité introduit par Wagner et Wolverton. La preuve proposée part de résultats généraux sur les algorithmes stochastiques à valeurs dans un espace de Hilbert. Puis, on montre comment cette nouvelle preuve peut être facilement réutilisée pour montrer la convergence d'estimateurs récursifs de la densité ou de fonctions de régression y compris en présence de contraintes.

Received:
Accepted:
Published online:
DOI: 10.1016/j.crma.2006.11.007
Barty, Kengy 1; Roy, Jean-Sébastien 2; Strugarek, Cyrille 2

1 CERMICS, École nationale des ponts et chaussées, 6–8, avenue Blaise-Pascal, cité Descartes, 77455 Marne la Vallée cedex 2, France
2 EDF R&D, 1, avenue du Général de Gaulle, 92141 Clamart cedex, France
@article{CRMATH_2007__344_3_199_0,
     author = {Barty, Kengy and Roy, Jean-S\'ebastien and Strugarek, Cyrille},
     title = {Un usage de l'approximation stochastique pour l'estimation r\'ecursive},
     journal = {Comptes Rendus. Math\'ematique},
     pages = {199--204},
     publisher = {Elsevier},
     volume = {344},
     number = {3},
     year = {2007},
     doi = {10.1016/j.crma.2006.11.007},
     language = {fr},
     url = {http://www.numdam.org/articles/10.1016/j.crma.2006.11.007/}
}
TY  - JOUR
AU  - Barty, Kengy
AU  - Roy, Jean-Sébastien
AU  - Strugarek, Cyrille
TI  - Un usage de l'approximation stochastique pour l'estimation récursive
JO  - Comptes Rendus. Mathématique
PY  - 2007
SP  - 199
EP  - 204
VL  - 344
IS  - 3
PB  - Elsevier
UR  - http://www.numdam.org/articles/10.1016/j.crma.2006.11.007/
DO  - 10.1016/j.crma.2006.11.007
LA  - fr
ID  - CRMATH_2007__344_3_199_0
ER  - 
%0 Journal Article
%A Barty, Kengy
%A Roy, Jean-Sébastien
%A Strugarek, Cyrille
%T Un usage de l'approximation stochastique pour l'estimation récursive
%J Comptes Rendus. Mathématique
%D 2007
%P 199-204
%V 344
%N 3
%I Elsevier
%U http://www.numdam.org/articles/10.1016/j.crma.2006.11.007/
%R 10.1016/j.crma.2006.11.007
%G fr
%F CRMATH_2007__344_3_199_0
Barty, Kengy; Roy, Jean-Sébastien; Strugarek, Cyrille. Un usage de l'approximation stochastique pour l'estimation récursive. Comptes Rendus. Mathématique, Volume 344 (2007) no. 3, pp. 199-204. doi : 10.1016/j.crma.2006.11.007. http://www.numdam.org/articles/10.1016/j.crma.2006.11.007/

[1] K. Barty, J.-S. Roy, C. Strugarek, Hilbert valued perturbed subgradient algorithms, Math. Oper. Res. (2005), in press

[2] Deheuvels, P. Sur l'estimation séquentielle de la densité, C. R. Acad. Sci. Paris Ser. A-B, Volume 276 (1973), pp. 1119-1121

[3] Deheuvels, P. Conditions nécessaires et suffisantes de convergence ponctuelle presque sûre et uniforme presque sûre des estimateurs de la densité, C. R. Acad. Sci. Paris Ser. A, Volume 278 (1974), pp. 1217-1220

[4] Deheuvels, P. Sur une famille d'estimateurs de la densité d'une variable aléatoire, C. R. Acad. Sci. Paris Ser. A, Volume 276 (1974), pp. 1013-1015

[5] Deheuvels, P. Estimation séquentielle de la densité, Contribuciones en Probabilidad y Estadistica Matematica Enseñanza de la Matematica y Analysis, Grindley, Granada, Espagne, 1979, pp. 156-168

[6] Devroye, L. On the pointwise and the integral convergence of recursive kernel estimates of probability densities, Utilitas Mathematica, Volume 15 (1979), pp. 113-128

[7] Devroye, L. A Course in Density Estimation, Birkhäuser, Boston, 1987

[8] Hiriart-Urruty, J.-B. Algorithmes de résolution d'équations et d'inéquations variationnelles, Z. Wahr. Verw. Gebiete, Volume 33 (1975), pp. 167-186

[9] Parzen, E. On estimating of a probability density and mode, Ann. Math. Statist., Volume 35 (1962), pp. 1065-1076

[10] Révész, P. Robbins-Monro procedure in a Hilbert space and its application in the theory of learning processes, I, Studia Sci. Math. Hungar., Volume 8 (1973), pp. 391-398

[11] Révész, P. Robbins–Monro procedure in a Hilbert space, II, Studia Sci. Math. Hungar., Volume 8 (1973), pp. 469-472

[12] Révész, P. How to apply the method of stochastic approximation in the non-parametric estimation of a regression function, Math. Operationsforsch. Statist. Ser. Statistics, Volume 8 (1977) no. 1, pp. 119-126

[13] Rosenblatt, M. Remarks on some nonparametric estimates of a density function, Ann. Math. Statist., Volume 27 (1956), pp. 832-837

[14] Tsybakov, A. Introduction à l'estimation non-paramétrique, Springer-Verlag, 2004

[15] Wagner, T.J.; Wolverton, C.T. Recursive estimates of probability densities, IEEE Trans. Syst. Man. Cybern., Volume 5 (1969), p. 307

[16] Yin, G.; Zhu, Y.M. On H-valued Robbins–Monro processes, J. Multivariate Anal., Volume 34 (1990), pp. 116-140

Cited by Sources: