On considère des modèles de régression impliquant des perceptrons multicouches (MLP) avec une couche cachée et un bruit gaussien. L'estimation des paramètres du MLP peut être faite en maximisant la vraisemblance du modèle. Dans ce cadre, il est difficile de déterminer le vrai nombre d'unités cachées parce que la matrice d'information de Fisher n'est pas inversible si ce nombre est surestimé. Cependant, si les paramètres du MLP sont dans un ensemble compact, nous prouvons que la minimisation d'un critère d'information convenable permet l'estimation consistante du vrai nombre d'unités cachées.
We consider regression models involving multilayer perceptrons (MLP) with one hidden layer and Gaussian noise. The estimation of the parameters of the MLP can be made by maximizing the likelihood of the model. In this framework, it is difficult to determine the true number of hidden units because the information matrix of Fisher is not invertible if this number is overestimated. However, if the parameters of the MLP are in a compact set, we prove that the minimization of a suitable information criteria leads to consistent estimation of the true number of hidden units.
Accepté le :
Publié le :
@article{CRMATH_2006__342_9_697_0,
author = {Rynkiewicz, Joseph},
title = {Estimation consistante de l'architecture des perceptrons multicouches},
journal = {Comptes Rendus. Math\'ematique},
pages = {697--700},
publisher = {Elsevier},
volume = {342},
number = {9},
year = {2006},
doi = {10.1016/j.crma.2006.03.007},
language = {fr},
url = {http://www.numdam.org/articles/10.1016/j.crma.2006.03.007/}
}
TY - JOUR AU - Rynkiewicz, Joseph TI - Estimation consistante de l'architecture des perceptrons multicouches JO - Comptes Rendus. Mathématique PY - 2006 SP - 697 EP - 700 VL - 342 IS - 9 PB - Elsevier UR - http://www.numdam.org/articles/10.1016/j.crma.2006.03.007/ DO - 10.1016/j.crma.2006.03.007 LA - fr ID - CRMATH_2006__342_9_697_0 ER -
%0 Journal Article %A Rynkiewicz, Joseph %T Estimation consistante de l'architecture des perceptrons multicouches %J Comptes Rendus. Mathématique %D 2006 %P 697-700 %V 342 %N 9 %I Elsevier %U http://www.numdam.org/articles/10.1016/j.crma.2006.03.007/ %R 10.1016/j.crma.2006.03.007 %G fr %F CRMATH_2006__342_9_697_0
Rynkiewicz, Joseph. Estimation consistante de l'architecture des perceptrons multicouches. Comptes Rendus. Mathématique, Tome 342 (2006) no. 9, pp. 697-700. doi : 10.1016/j.crma.2006.03.007. http://www.numdam.org/articles/10.1016/j.crma.2006.03.007/
[1] Testing the order of a model using locally conic parametrization: Population mixtures and stationary ARMA processes, Ann. Statist., Volume 27 (1999), pp. 1178-1209
[2] Likelihood ratio of unidentifiable models and multilayer neural networks, Ann. Statist., Volume 31 (2003), pp. 833-851
[3] A regularity condition of the information matrix of a multilayer perceptron network, Neural Networks, Volume 9 (1996) no. 5, pp. 871-879
[4] Likelihood ratio inequalities with applications to various mixtures, Ann. Inst. H. Poincaré, Volume 38 (2002), pp. 897-906
[5] Consistent estimation of the order of mixture models, Sankhyä A, Volume 62 (2000) no. 1, pp. 49-66
[6] Asymptotics for likelihood ratio tests under loss of identifiability, Ann. Statist., Volume 31 (2003), pp. 807-832
[7] Uniqueness of the weights for minimal feed-forward nets with a given input–output map, Neural Networks, Volume 5 (1992), pp. 589-593
[8] Asymptotic Statistics, Cambridge University Press, Cambridge, 1998
Cité par Sources :
