[On uncertainty analysis in an industrial context: Or, how to combine available information with decisional stakes]
Uncertainty analysis aims to quantify the degree of knowledge affecting the value of a quantity of interest, characteristic of the behavior of a physical system, and related to decisional stakes. The approaches most encountered in engineering practice involve statistical inference, and fall into three broad classes.
So-called “plug-in” techniques provide a point estimate of the quantity of interest, which is only valid in presence of a large number of observations. When the data are scarce, one may favor Bayes procedures, which deduce an optimal value of the quantity of interest from an a priori distribution, characterizing the uncertainty on the model parameters, and a cost function, formalizing the stakes motivating the analysis. Finally, purely descriptive approaches aim at describing the uncertainty affecting the quantity of interest, rather than providing a point estimate.
Many heuristics have been proposed to avoid the choice of a cost function for point estimation in a Bayesian context. In particular, we consider the approach that consists in replacing, inside the definition of the quantity of interest, the true distribution of the output variable of the physical system, which is generally unknown, by its predictive distribution. We show that this approach leads implicitly to adopt a Bayesian estimator, relative to a cost function that depends entirely on the expression of the quantity of interest at hand. Thus, this result demonstrates that point estimation under uncertainty necessarily requires the choice, conscious or not, of a cost function.
Our argument is illustrated on a real dataset of height and discharge measures from a river section. More generally, we discuss the relevance of the above-cited approaches, in relation to the stakes motivating the study, and the amount of information available to the analyst.
L’analyse d’incertitudes a pour objet de quantifier le degré de connaissance affectant la valeur d’une quantité d’intérêt, caractéristique du fonctionnement d’un système physique, et liée à des enjeux décisionnels. La plupart des approches rencontrées en ingénierie font appel à l’inférence statistique, et se divisent en trois grandes classes.
Les techniques dites “plug-in” fournissent une estimation ponctuelle de la quantité d’intérêt, valable uniquement en présence d’un grand nombre de données. Lorsque le nombre de données est réduit, il est préférable de faire appel aux procédures de Bayes, qui déduisent une valeur optimale de la grandeur d’intérêt d’une loi a priori décrivant l’incertitude sur les paramètres du modèle et d’une fonction de coût formalisant les enjeux décisionnels. Enfin, les approches purement descriptives visent à décrire l’incertitude sur la quantité d’intérêt, plutôt qu’à en fournir une estimation ponctuelle.
De nombreuses heuristiques ont été proposées pour contourner le problème du choix d’une fonction de coût pour l’estimation de la quantité d’intérêt dans un cadre bayésien. Nous considérons en particulier celle qui consiste à remplacer dans la définition de la quantité d’intérêt la distribution réelle de la variable de sortie du système, qui est en général inconnue, par sa distribution prédictive. Nous montrons que cette approche amène implicitement à utiliser un estimateur bayésien, relatif à une fonction de coût qui dépend entèrement de l’expression de la quantité d’intérêt. Ce résultat démontre qu’une estimation ponctuelle sous incertitude repose nécessairement sur le choix, conscient ou non, d’une fonction de coût.
Nous illustrons notre propos sur un jeu de données réelles de hauteurs et débits d’un cours d’eau, et discutons plus généralement la pertinence de chaque approche en fonction des enjeux de l’étude, et de la connaissance plus ou moins explicite dont dispose l’analyste.
Keywords: uncertainty analysis, decision theory, epistemic uncertainty, Bayesian estimation, predictive estimation
@article{JSFS_2011__152_4_60_0, author = {Keller, Merlin and Pasanisi, Alberto and Parent, Eric}, title = {R\'eflexions sur l{\textquoteright}analyse d{\textquoteright}incertitudes dans un contexte industriel~: information disponible et enjeux d\'ecisionnels}, journal = {Journal de la soci\'et\'e fran\c{c}aise de statistique}, pages = {60--77}, publisher = {Soci\'et\'e fran\c{c}aise de statistique}, volume = {152}, number = {4}, year = {2011}, zbl = {1316.62183}, language = {fr}, url = {http://www.numdam.org/item/JSFS_2011__152_4_60_0/} }
TY - JOUR AU - Keller, Merlin AU - Pasanisi, Alberto AU - Parent, Eric TI - Réflexions sur l’analyse d’incertitudes dans un contexte industriel : information disponible et enjeux décisionnels JO - Journal de la société française de statistique PY - 2011 SP - 60 EP - 77 VL - 152 IS - 4 PB - Société française de statistique UR - http://www.numdam.org/item/JSFS_2011__152_4_60_0/ LA - fr ID - JSFS_2011__152_4_60_0 ER -
%0 Journal Article %A Keller, Merlin %A Pasanisi, Alberto %A Parent, Eric %T Réflexions sur l’analyse d’incertitudes dans un contexte industriel : information disponible et enjeux décisionnels %J Journal de la société française de statistique %D 2011 %P 60-77 %V 152 %N 4 %I Société française de statistique %U http://www.numdam.org/item/JSFS_2011__152_4_60_0/ %G fr %F JSFS_2011__152_4_60_0
Keller, Merlin; Pasanisi, Alberto; Parent, Eric. Réflexions sur l’analyse d’incertitudes dans un contexte industriel : information disponible et enjeux décisionnels. Journal de la société française de statistique, Volume 152 (2011) no. 4, pp. 60-77. http://www.numdam.org/item/JSFS_2011__152_4_60_0/
[1] Foundations of Risk Analysis, Wiley, 2003 | Zbl
[2] Comparative Statistical Inference, New York : John Wiley, 1982 | Zbl
[3] Décisions et comportement des décideurs face au risque hydrologique / Decisions and attitude of decision makers facing hydrological risk., Hydrological Sciences Journal, Volume 43 (2003) no. 3, pp. 301-316
[4] Statistical Decision Theory and Bayesian Analysis, Springer, 1985 | MR
[5] Bayesian Point Estimation Using the Predictive Distribution, The American Statistician, Volume 39 (1985) no. 4, pp. 319-321 | MR | Zbl
[6] 9, Subjective Probability and Bayesian Methodology (Handbooks in Operations Research and Management Science), Volume 13, Elsevier (2006), pp. 225-257
[7] An Introduction to Statistical Modelling of Extreme Values, Springer-Verlag, 2001 | MR | Zbl
[8] La maîtrise des incertitude dans un contexte industriel, Seconde partie : revue des méthodes de modélisation statistique, physique et numérique, Journal de la SFdS, Volume 147 (2006) no. 3, pp. 73-106 | MR | Zbl
[9] Analysis of structural reliability under parameter uncertainties, Probabilistic Engineering Mechanics, Volume 23 (2008) no. 4, pp. 351-358
[10] An Introduction to the Bootstrap, Chapman & Hall, New York, 1993 | MR | Zbl
[11] Different methods are needed to propagate ignorance and variability, Reliability Engineering and System Safety, Volume 54 (1996), pp. 133-144
[12] Predictive inference : an introduction, Chapman and Hall, 1993 | MR | Zbl
[13] Probability, conditional probability and complementary cumulative distribution functions in performance assessment for radioactive waste disposal, Reliability Engineering and System Safety, Volume 54 (1996) no. 3, pp. 145-163
[14] Bayesian Calibration of Computer Models, Journal of the Royal Statistical Society, Series B, Methodological, Volume 63 (2001) no. 3, pp. 425-464 | MR | Zbl
[15] Theory of Point Estimation, Springer, 1998 | MR | Zbl
[16] Bayesian reanalysis of the Challenger O-ring data., Risk Analysis, Volume 28 (2008) no. 4, pp. 1053-1067
[17] Le raisonnement Bayésien (in French) , Springer, 2007
[18] Monte Carlo Statistical Methods, Springer-Verlag, New York, 1998 | MR | Zbl
[19] Simulation and the Monte Carlo Method, Wiley, New York, 1981 | MR | Zbl
[20] The Bayesian choice : A Decision theoretic Motivation, Springer, 2007 | MR | Zbl
[21] Rare Event Simulation using Monte Carlo Methods, John Wiley & Sons, Chichester, 2008 | MR | Zbl
[22] A Mathematical Theory of Evidence, Princeton University Press, 1976 | MR | Zbl
[23] Design and Analysis of Computer Experiments, Statistical Science, Volume 4 (1989) no. 4, pp. 409-423 | MR | Zbl
[24] Éléments de décision statistique (in French) , PUF, 1973 | Zbl
[25] Asymptotic Statistics (Cambridge Series in Statistical and Probabilistic Mathematics), Cambridge University Press, 2000 | Zbl
[26] Determining environmental standards using bootstrapping, bayesian and maximum likelihood techniques : a comparative study, Analytica Chimica Acta, Volume 446 (2001) no. 1–2, pp. 429-438
[27] Contributions to the Theory of Statistical Estimation and Testing Hypotheses, The Annals of Mathematical Statistics, Volume 10 (1939) no. 4, pp. 299-326 | JFM | MR
[28] All of Statistics : A Concise Course in Statistical Inference, Springer-Verlag, 2004 | MR | Zbl
[29] All of Nonparametric Statistics, Springer-Verlag, 2006 | MR | Zbl
[30] Toward a generalized theory of uncertainty (GTU)–an outline, Inf. Sci, Volume 172 (2005) no. 1–2, pp. 1-40 | MR | Zbl