Cette Note a pour objet de présenter une technique générique de démonstration de la convergence d'une large classe d'estimateurs récursifs, par l'usage de techniques d'approximation stochastique. À titre d'illustration de cette méthode, on donne une preuve alternative de convergence de l'estimateur de densité introduit par Wagner et Wolverton. La preuve proposée part de résultats généraux sur les algorithmes stochastiques à valeurs dans un espace de Hilbert. Puis, on montre comment cette nouvelle preuve peut être facilement réutilisée pour montrer la convergence d'estimateurs récursifs de la densité ou de fonctions de régression y compris en présence de contraintes.
We propose in this Note a way to study the convergence of statistical recursive estimates. As an illustration, we provide a convergence proof for the well-known recursive density estimate introduced by Wagner and Wolverton. This alternative proof is based on results on Hilbert-valued stochastic approximation schemes, and provides an insight on recursive density estimation seen as minimization problems. Indeed, recursive statistical estimates such as Wagner–Wolverton's estimate can be seen as stochastic algorithms with values in a functional space which turns out to be here an Hilbert space. Hence, we can embed the field of recursive statistical estimation into the field of Hilbert-valued stochastic approximation and propose a systematic approach to prove the convergence of statistical recursive estimates, like density estimates or regression function estimates. Moreover, this systematic approach enables to take into account various constraints on the estimates like bounds or measurability.
Accepté le :
Publié le :
@article{CRMATH_2007__344_3_199_0,
author = {Barty, Kengy and Roy, Jean-S\'ebastien and Strugarek, Cyrille},
title = {Un usage de l'approximation stochastique pour l'estimation r\'ecursive},
journal = {Comptes Rendus. Math\'ematique},
pages = {199--204},
publisher = {Elsevier},
volume = {344},
number = {3},
year = {2007},
doi = {10.1016/j.crma.2006.11.007},
language = {fr},
url = {http://www.numdam.org/articles/10.1016/j.crma.2006.11.007/}
}
TY - JOUR AU - Barty, Kengy AU - Roy, Jean-Sébastien AU - Strugarek, Cyrille TI - Un usage de l'approximation stochastique pour l'estimation récursive JO - Comptes Rendus. Mathématique PY - 2007 SP - 199 EP - 204 VL - 344 IS - 3 PB - Elsevier UR - http://www.numdam.org/articles/10.1016/j.crma.2006.11.007/ DO - 10.1016/j.crma.2006.11.007 LA - fr ID - CRMATH_2007__344_3_199_0 ER -
%0 Journal Article %A Barty, Kengy %A Roy, Jean-Sébastien %A Strugarek, Cyrille %T Un usage de l'approximation stochastique pour l'estimation récursive %J Comptes Rendus. Mathématique %D 2007 %P 199-204 %V 344 %N 3 %I Elsevier %U http://www.numdam.org/articles/10.1016/j.crma.2006.11.007/ %R 10.1016/j.crma.2006.11.007 %G fr %F CRMATH_2007__344_3_199_0
Barty, Kengy; Roy, Jean-Sébastien; Strugarek, Cyrille. Un usage de l'approximation stochastique pour l'estimation récursive. Comptes Rendus. Mathématique, Tome 344 (2007) no. 3, pp. 199-204. doi : 10.1016/j.crma.2006.11.007. http://www.numdam.org/articles/10.1016/j.crma.2006.11.007/
[1] K. Barty, J.-S. Roy, C. Strugarek, Hilbert valued perturbed subgradient algorithms, Math. Oper. Res. (2005), in press
[2] Sur l'estimation séquentielle de la densité, C. R. Acad. Sci. Paris Ser. A-B, Volume 276 (1973), pp. 1119-1121
[3] Conditions nécessaires et suffisantes de convergence ponctuelle presque sûre et uniforme presque sûre des estimateurs de la densité, C. R. Acad. Sci. Paris Ser. A, Volume 278 (1974), pp. 1217-1220
[4] Sur une famille d'estimateurs de la densité d'une variable aléatoire, C. R. Acad. Sci. Paris Ser. A, Volume 276 (1974), pp. 1013-1015
[5] Estimation séquentielle de la densité, Contribuciones en Probabilidad y Estadistica Matematica Enseñanza de la Matematica y Analysis, Grindley, Granada, Espagne, 1979, pp. 156-168
[6] On the pointwise and the integral convergence of recursive kernel estimates of probability densities, Utilitas Mathematica, Volume 15 (1979), pp. 113-128
[7] A Course in Density Estimation, Birkhäuser, Boston, 1987
[8] Algorithmes de résolution d'équations et d'inéquations variationnelles, Z. Wahr. Verw. Gebiete, Volume 33 (1975), pp. 167-186
[9] On estimating of a probability density and mode, Ann. Math. Statist., Volume 35 (1962), pp. 1065-1076
[10] Robbins-Monro procedure in a Hilbert space and its application in the theory of learning processes, I, Studia Sci. Math. Hungar., Volume 8 (1973), pp. 391-398
[11] Robbins–Monro procedure in a Hilbert space, II, Studia Sci. Math. Hungar., Volume 8 (1973), pp. 469-472
[12] How to apply the method of stochastic approximation in the non-parametric estimation of a regression function, Math. Operationsforsch. Statist. Ser. Statistics, Volume 8 (1977) no. 1, pp. 119-126
[13] Remarks on some nonparametric estimates of a density function, Ann. Math. Statist., Volume 27 (1956), pp. 832-837
[14] Introduction à l'estimation non-paramétrique, Springer-Verlag, 2004
[15] Recursive estimates of probability densities, IEEE Trans. Syst. Man. Cybern., Volume 5 (1969), p. 307
[16] On H-valued Robbins–Monro processes, J. Multivariate Anal., Volume 34 (1990), pp. 116-140
Cité par Sources :
