M-estimateur

Cet article est une ébauche concernant les mathématiques et les probabilités et la statistique.

Vous pouvez partager vos connaissances en l’améliorant (comment ?) selon les recommandations des projets correspondants.

M-estimateur

En statistique, les M-estimateurs constituent une large classe de statistiques obtenues par la minimisation d'une fonction dépendant des données et des paramètres du modèle. Le processus du calcul d'un M-estimateur est appelé M-estimation. De nombreuses méthodes d'estimation statistiques peuvent être considérées comme des M-estimateurs. Dépendant de la fonction à minimiser lors de la M-estimation, les M-estimateurs peuvent permettre d'obtenir des estimateurs plus robustes que les méthodes plus classiques, comme la méthode des moindres carrés.

Définition

Les M-estimateurs ont été introduits en 1964 par Peter Huber sous la forme d'une généralisation de l'estimation par maximum de vraisemblance à la minimisation d'une fonction ρ sur l'ensemble des données. Ainsi, le (ou les) M-estimateur associé aux données et à la fonction ρ est estimé par

θ ^ = argmin θ ⁡ ( ∑ i = 1 n ρ ( x i , θ ) ) {\displaystyle {\hat {\theta }}=\operatorname {argmin} _{\theta }\left(\sum _{i=1}^{n}\rho (x_{i},\theta )\right)}

Le M de M-estimateur provient donc du maximum de vraisemblance (maximum likelihood-type en anglais) et les estimateurs par maximum de vraisemblance sont un cas particulier des M-estimateurs.

Types

La résolution du problème de minimisation passe couramment par une différentiation de la fonction cible. En effet, pour chercher θ ^ {\displaystyle {\hat {\theta }}} , une méthode simple consiste à chercher les valeurs telles que

∂ ∂ θ ( ∑ i = 1 n ρ ( x i , θ ) ) = 0. {\displaystyle {\frac {\partial }{\partial \theta }}\left(\sum _{i=1}^{n}\rho (x_{i},\theta )\right)=0.}

Dans le cas où cette différentiation est possible, le M-estimateur est dit de type ψ ; sinon, il est dit de type ρ.

Exemples de M-estimateurs

Parmi les exemples connus de M-estimateurs, on peut citer :

  • ρ ( x ) = x 2 {\displaystyle \rho (x)=x^{2}} , ce qui revient à appliquer la méthode des moindres carrés
  • ρ ( x ) = | x | {\displaystyle \rho (x)=|x|}
  • ρ k ( x ) = { x 2 2  si  | x | < k k ( | x | − k 2 )  si  | x | ⩾ k {\displaystyle \rho _{k}(x)={\begin{cases}{\frac {x^{2}}{2}}&{\text{ si }}|x|<k\\k(|x|-{\frac {k}{2}})&{\text{ si }}|x|\geqslant k\end{cases}}} (fonction de Huber (en))
  • ρ c ( x ) = c 2 2 ln ⁡ ( 1 + ( x c ) 2 ) {\displaystyle \rho _{c}(x)={\frac {c^{2}}{2}}\ln \left(1+\left({\frac {x}{c}}\right)^{2}\right)} (fonction de Lorentz)
  • ρ c ( x ) = x 2 2 ( 1 − x 2 2 c 2 + x 4 6 c 4 ) {\displaystyle \rho _{c}(x)={\frac {x^{2}}{2}}\left(1-{\frac {x^{2}}{2c^{2}}}+{\frac {x^{4}}{6c^{4}}}\right)} (bipoids de Tukey)

Articles connexes

Références

  • Peter J. Huber, Robust Statistics, Wiley, 1981, 2004
  • icône décorative Portail des probabilités et de la statistique