\documentclass[11pt]{article} % Packages gestion des caractères, du français et de la mise en page \usepackage[french]{babel} \usepackage[utf8]{inputenc} \usepackage[T1]{fontenc} \usepackage{fancyhdr} \usepackage[margin=2.5cm]{geometry} \usepackage[pdftex,pdfborder={0 0 0},hypertexnames=false]{hyperref} \setlength{\parindent}{0pt} \setlength{\headheight}{4ex} \setlength{\headsep}{2ex} \renewcommand{\FrenchLabelItem}{\textbullet} \usepackage{comment} \usepackage{enumitem} \usepackage{tabularx} % Graphiques et Figures \usepackage{subfig} \usepackage{pgf,tikz} \usetikzlibrary{arrows} \usepackage[figurename=Figure]{caption} % Packages pour les maths \usepackage{mathtools} \usepackage{amsthm} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{stmaryrd} % Nouveaux environnements \theoremstyle{plain} \newtheorem{thm}{Théorème} \newtheorem{cor}[thm]{Corollaire} \newtheorem{lem}[thm]{Lemme} \newtheorem{prop}[thm]{Proposition} \theoremstyle{definition} \newtheorem*{dfn}{Définition} \newtheorem{exo}{Exercice} \newtheorem*{ntn}{Notation} \newtheorem*{ntns}{Notations} \theoremstyle{remark} \newtheorem*{hint}{Indication} \newtheorem*{rem}{Remarque} \newtheorem*{ex}{Exemple} \newtheorem*{exs}{Exemples} % Commandes et opérateurs utiles \newcommand{\C}{\mathbb{C}} \newcommand{\N}{\mathbb{N}} \renewcommand{\P}{\mathbb{P}} \newcommand{\Q}{\mathbb{Q}} \newcommand{\R}{\mathbb{R}} \renewcommand{\S}{\mathbb{S}} \newcommand{\Z}{\mathbb{Z}} \newcommand{\cA}{\mathcal{A}} \newcommand{\cB}{\mathcal{B}} \newcommand{\cC}{\mathcal{C}} \newcommand{\cE}{\mathcal{E}} \newcommand{\cF}{\mathcal{F}} \newcommand{\cG}{\mathcal{G}} \newcommand{\cN}{\mathcal{N}} \newcommand{\cP}{\mathcal{P}} \newcommand{\cU}{\mathcal{U}} \newcommand{\cX}{\mathcal{X}} \newcommand{\Poisson}{\; \propto \hspace{-0.96em} \cdot \hspace{0.5em}} \renewcommand{\bar}{\overline} \renewcommand{\epsilon}{\varepsilon} \renewcommand{\geq}{\geqslant} \renewcommand{\leq}{\leqslant} \renewcommand{\tilde}{\widetilde} \renewcommand{\hat}{\widehat} \newcommand{\cov}[2]{\Cov\parentheses*{#1, #2}} \newcommand{\CVL}[1]{\xrightarrow[#1]{\text{loi}}} \newcommand{\CVP}[1]{\xrightarrow[#1]{\P}} \newcommand{\CVps}[1]{\xrightarrow[#1]{\text{p.s.}}} \newcommand{\dx}{\dmesure\!} \newcommand{\esp}[2][]{\mathbb{E}_{#1}\squarebrackets*{#2}} \newcommand{\espcond}[3][]{\mathbb{E}_{#1}\squarebrackets*{#2 \mvert #3}} \newcommand{\gauss}[2]{\mathcal{N}\parentheses*{#1,#2}} \newcommand{\mvert}{\mathrel{}\middle|\mathrel{}} \newcommand{\one}{\mathbf{1}} \newcommand{\trans}[1]{\,\prescript{\text{t}}{}{\! #1}} \newcommand{\var}[2][]{\Var_{#1}\parentheses*{#2}} \newcommand{\vol}[1]{\Vol\parentheses*{#1}} \DeclareMathOperator{\card}{Card} \DeclareMathOperator{\Cov}{Cov} \DeclareMathOperator{\dist}{dist} \DeclareMathOperator{\dmesure}{d} \DeclareMathOperator{\Id}{Id} \DeclareMathOperator{\vect}{Vect} \DeclareMathOperator{\sym}{Sym} \DeclareMathOperator{\Var}{Var} \DeclareMathOperator{\Vol}{Vol} \DeclarePairedDelimiter{\ang}{\langle}{\rangle} \DeclarePairedDelimiter{\brackets}{\{}{\}} \DeclarePairedDelimiter{\ceil}{\lceil}{\rceil} \DeclarePairedDelimiter{\floor}{\lfloor}{\rfloor} \DeclarePairedDelimiter{\norm}{\lvert}{\rvert} \DeclarePairedDelimiter{\Norm}{\lVert}{\rVert} \DeclarePairedDelimiter{\parentheses}{(}{)} \DeclarePairedDelimiterX{\prsc}[2]{\langle}{\rangle}{#1\,, #2} \DeclarePairedDelimiter{\squarebrackets}{[}{]} \DeclarePairedDelimiterX{\ssquarebrackets}[2]{\llbracket}{\rrbracket}{#1;#2} %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % Gestion de l'affichage des solutions avec le package comment % Nouveaux compteurs pour avoir une numérotation des équations indépendante dans les solutions \newcounter{aux} \newcounter{soleq} % Définition d'un environnement sol qui peut être commenté à loisir ci-dessous % La numération des équations est indépendantes et en chiffres romains dans les solutions \specialcomment{sol}{ \setcounter{aux}{\value{equation}} \setcounter{equation}{\value{soleq}} \renewcommand{\theequation}{\roman{equation}} \par\begingroup\color{violet} } { \endgroup \setcounter{soleq}{\value{equation}} \setcounter{equation}{\value{aux}} \renewcommand{\theequation}{\arabic{equation}} } % Le contenu des environnements sol est visible par défaut, décommenter la ligne suivante le cache %\excludecomment{sol} %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % Informations du document \author{Thomas Letendre} \date{2025 -- 2026} \title{Feuille 5 -- Estimateurs ponctuels} \begin{document} %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % Mise en page de l'en-tête %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% \thispagestyle{fancy} \lhead{Université de Rennes, 2025--2026} \rhead{Probabilités et Statistiques pour la Science des Données} \makeatletter \begin{center} \begin{Large} \@title \end{Large} \end{center} \hrule \vspace{1ex} \makeatother %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % Début du corps du texte %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% Dans cette feuille, toutes les variables aléatoires sont définies sur un espace de probabilité $\parentheses*{\Omega,\cA,\P}$. %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% \begin{exo}[Comparaison d'estimateurs] On considère le modèle statistique $\parentheses*{\cB(\theta)}_{\theta \in [0;1]}$. Pour tout $n \in \N^*$, on définit deux estimateurs de $\theta$ basés sur le $n$-échantillon $\parentheses*{X_1,\dots,X_n}$: \begin{align*} \bar{X}_n &= \frac{1}{n}\sum_{k=1}^n X_k & &\text{et} & T_n &= \frac{1}{n+2}\parentheses*{1+\sum_{k=1}^n X_k}. \end{align*} \begin{enumerate} \item Pour tout $n \in \N^*$ et $\theta \in [0;1]$, déterminer les biais de $\bar{X}_n$ et $T_n$ en $\theta$. \begin{sol} Soient $n \in \N^*$ et $\theta \in [0;1]$, on a \begin{align*} \esp[\theta]{\bar{X}_n} &= \frac{1}{n}\sum_{k=1}^n \esp[\theta]{X_k} = \frac{1}{n}\sum_{k=1}^n \theta = \theta,\\ \esp[\theta]{T_n} &= \frac{1}{n+2} \esp[\theta]{1+\sum_{k=1}^n X_k} =\frac{1}{n+2}\parentheses*{\esp[\theta]{1}+\sum_{k=1}^n \esp[\theta]{X_k}} = \frac{1+n\theta}{n+2}. \end{align*} Donc $b_{\bar{X}_n}(\theta) = \esp[\theta]{\bar{X}_n}-\theta = 0$ et $b_{T_n}(\theta)=\esp[\theta]{T_n}-\theta = \frac{1+n\theta}{n+2}-\theta = \frac{1-2\theta}{n+2}$. On voit que $\bar{X}_n$ est sans biais, mais pas $T_n$. \end{sol} \item Pour tout $n \in \N^*$ et $\theta \in [0;1]$, déterminer les risques de $\bar{X}_n$ et $T_n$ en $\theta$. \begin{sol} On utilise la relation liant risque, biais et variance. Soient $n \in \N^*$ et $\theta \in [0;1]$, on a \begin{equation*} R_{\bar{X}_n}(\theta) = \var[\theta]{\bar{X}_n} + b_{\bar{X}_n}(\theta)^2 = \var[\theta]{\frac{1}{n}\sum_{k=1}^n X_k} = \frac{1}{n^2}\sum_{k=1}^n\var[\theta]{X_k}=\frac{\theta(1-\theta)}{n}, \end{equation*} où on a utilisé l'indépendance des $(X_k)_{1 \leq k \leq n}$. Pour $T_n$, on peut faire un calcul direct ou remarquer que $T_n = \frac{1}{n+2} + \frac{n}{n+2}\bar{X}_n$. On a alors \begin{align*} R_{T_n}(\theta) &= \var[\theta]{T_n} + b_{T_n}(\theta)^2 = \var[\theta]{\frac{1}{n+2} + \frac{n}{n+2}\bar{X}_n} + \parentheses*{\frac{1-2\theta}{n+2}}^2\\ &= \parentheses*{\frac{n}{n+2}}^2 \var[\theta]{\bar{X}_n} + \parentheses*{\frac{1-2\theta}{n+2}}^2 = \frac{n\theta(1-\theta)}{(n+2)^2}+\parentheses*{\frac{1-2\theta}{n+2}}^2\\ &= \frac{1}{(n+2)^2}\parentheses*{n\theta(1-\theta)+1-4\theta+4\theta^2} = \frac{1+(n-4)\theta(1-\theta)}{(n+2)^2}. \end{align*} \end{sol} \item Parmi les estimateurs $\bar{X}_n$ et $T_n$, l'un domine-t-il l'autre? Si oui, lequel? \begin{sol} Pour tout $n \in \N^*$, on a $R_{\bar{X}_n}(0)=0 < \frac{1}{(n+2)^2} = R_{T_n}(0)$. Par ailleurs, pour $\theta=\frac{1}{2}$, on a \begin{align*} R_{\bar{X}_n}\parentheses*{\frac{1}{2}} &= \frac{1}{4n} & &\text{et} & R_{T_n}\parentheses*{\frac{1}{2}} &= \frac{1+(n-4)\frac{1}{4}}{(n+2)^2} = \frac{n}{4(n+2)^2}. \end{align*} Comme $\frac{1}{(n+2)^2} < \frac{1}{n^2}$, on a $R_{T_n}\parentheses*{\frac{1}{2}} =\frac{n}{4(n+2)^2}<\frac{1}{4n}= R_{\bar{X}_n}\parentheses*{\frac{1}{2}}$, et aucun des deux estimateurs ne domine l'autre. Plus généralement, si $n \in \N^*$ est fixé, on remarque que pour tout $\theta \in [0;1]$, \begin{align*} R_{T_n}(\theta) < R_{\bar{X}_n}(\theta) &\iff \frac{1+(n-4)\theta(1-\theta)}{(n+2)^2} < \frac{\theta(1-\theta)}{n}\\ &\iff n+n(n-4)\theta(1-\theta) < (n+2)^2\theta(1-\theta) \iff n < (8n+4)\theta(1-\theta) \\ &\iff \frac{n}{4(2n+1)} < \theta(1-\theta) \iff \theta^2-\theta + \frac{n}{4(2n+1)}<0. \end{align*} Le dernier terme étant un polynôme de degré $2$ en $\theta$, on peut déterminer ses racines et vérifier qu'il est strictement négatif si et seulement si $\theta \in \left]\frac{1}{2}-\sqrt{\frac{n+1}{4(2n+1)}};\frac{1}{2}+\sqrt{\frac{n+1}{4(2n+1)}}\right[$. \end{sol} \item Les estimateurs $\bar{X}_n$ et $T_n$ sont-ils consistants? Fortement consistants? \begin{sol} Soit $(X_k)_{k \geq 1}$ une suite de v.a.i.i.d. de loi $\cB(\theta)$. Ces variables sont $L^1$ d'espérance $\theta$. Par la loi forte des grands nombres, on a donc $\bar{X}_n \CVps{n \to +\infty}\theta$, et $T_n = \frac{1}{n+2}+\frac{n}{n+2}\bar{X}_n \CVps{n \to +\infty}\theta$. Les deux estimateurs sont donc fortement consistants, en particulier consistants. \end{sol} \item Étudier la normalité asymptotique de $\bar{X}_n$. \begin{sol} Comme les $(X_k)_{k \geq 1}$ sont en fait $L^2$ et de variance $\theta(1-\theta)$, le théorème central limite nous dit que $\sqrt{n}\parentheses*{\frac{\bar{X}_n - \theta}{\sqrt{\theta(1-\theta)}}} =\frac{1}{\sqrt{n}}\sum_{k=1}^n \frac{X_k-\theta}{\sqrt{\theta(1-\theta)}} \CVL{n \to +\infty} \gauss{0}{1}$. Donc \begin{equation*} \sqrt{n}\parentheses*{\bar{X}_n - \theta}\CVL{n \to+\infty} \gauss{0}{\theta(1-\theta)}, \end{equation*} et donc $\bar{X}_n$ est asymptotiquement normal si on se restreint à $\theta \in ]0;1[$. Si $\theta=0$ alors la suite $(X_k)_{k\geq 1}$ est constante à $0$ presque sûrement. Donc $(\bar{X}_n - \theta)_{n \geq 1}$ aussi. Quelle que soit la suite positive $(R_n)_{n \geq 1}$ on a donc $\parentheses*{R_n(\bar{X}_n - \theta)}_{n \geq 1}$ qui est la suite nulle presque sûrement. En particulier $R_n(\bar{X}_n - \theta) \CVps{n \to +\infty}0$ donc $R_n(\bar{X}_n - \theta) \CVL{n \to +\infty}0$. Cela empêche la suite $(\bar{X}_n)_{n \geq 1}$ d'être asymptotiquement normale. Si $\theta=1$ alors la suite $(X_k)_{k\geq 1}$ est constante à $1$ presque sûrement. Donc $(\bar{X}_n - \theta)_{n \geq 1}$ est presque sûrement nulle. Comme précédemment, cela empêche la suite $(\bar{X}_n)_{n \geq 1}$ d'être asymptotiquement normale. \end{sol} \end{enumerate} \end{exo} %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% \begin{exo}[Estimations de gaussiennes] \label{exo: gaussiennes} On considère le modèle $\parentheses*{\gauss{\mu}{\sigma^2}}_{\mu \in \R, \sigma >0}$. Pour tout $n \in \N^*$, on définit les estimateurs $\bar{X}_n = \frac{1}{n}\sum_{k=1}^n X_k$ de $\mu$ et $\tilde{S}_n = \frac{1}{n}\sum_{k=1}^n (X_k-\bar{X}_n)^2$ de $\sigma^2$, basés sur le $n$-échantillon $(X_1,\dots,X_n)$. \begin{enumerate} \item Déterminer le biais et le risque de $\bar{X}_n$. \begin{sol} Soient $n \in \N^*$ et $\theta=(\mu,\sigma) \in \R \times \R_+^* = \Theta$. Les $(X_k)_{1 \leq k \leq n}$ sont des v.a.i.i.d. $\gauss{\mu}{\sigma^2}$. D'après le cours, $\bar{X}_n \sim \gauss{\mu}{\frac{\sigma^2}{n}}$. Donc $b_{\bar{X}_n}(\mu,\sigma)=\esp[(\mu,\sigma)]{\bar{X}_n}-\mu= 0$ et \begin{equation*} R_{\bar{X}_n}(\mu,\sigma) = \var[(\mu,\sigma)]{\bar{X}_n} + b_{\bar{X}_n}(\mu,\sigma)^2= \frac{\sigma^2}{n}. \end{equation*} \end{sol} \item Étudier la consistance et la normalité asymptotique de $\bar{X}_n$. \begin{sol} Soit $(X_k)_{k \geq 1}$ une suite de v.a.i.i.d. de loi $\gauss{\mu}{\sigma^2}$. Ces variables sont $L^1$ d'espérance $\mu$. Par la loi forte des grands nombres, on a $\bar{X_n} \CVps{n \to +\infty} \mu$. Donc l'estimateur $\bar{X}_n$ est fortement consistant, en particulier consistant. On a vu que, pour tout $n \in \N^*$, $\bar{X}_n \sim \gauss{\mu}{\frac{\sigma^2}{n}}$. Donc $\sqrt{n}\parentheses*{\bar{X}_n - \mu} \sim \gauss{0}{\sigma^2}$. C'est vrai à $n$ fixé, l'estimateur est non-asymptotiquement normal. En particulier, il est aussi asymptotiquement normal: $\sqrt{n}\parentheses*{\bar{X}_n - \mu} \CVL{n \to +\infty} \gauss{0}{\sigma^2}$. \end{sol} \item Calculer le biais de $\tilde{S}_n$. Montrer que, si $n \geq 2$, $S_n = \frac{n}{n-1}\tilde{S}_n$ est un estimateur sans biais de~$\sigma^2$. \begin{sol} Soient $n \in \N^*$ et $(\mu,\sigma) \in \R \times \R_+^*$. Soit $k \in \ssquarebrackets{1}{n}$, on a \begin{equation*} X_k - \bar{X}_n = X_k-\frac{1}{n}\sum_{i=1}^n X_i = \frac{n-1}{n}X_k + \sum_{i\neq k} \parentheses*{-\frac{1}{n}}X_i. \end{equation*} Par combinaison linéaire $X_k-\bar{X}_n$ est $L^2$, donc $(X_k-\bar{X}_n)^2$ est $L^1$, donc $\tilde{S}_n$ est~$L^1$. Ensuite, \begin{equation*} \esp[(\mu,\sigma)]{X_k - \bar{X}_n} = \frac{n-1}{n}\esp[(\mu,\sigma)]{X_k} - \sum_{i\neq k} \frac{1}{n}[(\mu,\sigma)]{X_i} = \parentheses*{\frac{n-1}{n}-(n-1)\frac{1}{n}}\mu=0. \end{equation*} Donc $\var[(\mu,\sigma)]{X_k - \bar{X}_n}=\esp[(\mu,\sigma)]{\parentheses*{X_k - \bar{X}_n}^2}$ et, par indépendance, on a \begin{align*} \var[(\mu,\sigma)]{X_k - \bar{X}_n} &= \var[(\mu,\sigma)]{\frac{n-1}{n}X_k} + \sum_{i \neq k}\var[(\mu,\sigma)]{-\frac{1}{n}X_i}\\ &= \parentheses*{\frac{(n-1)^2}{n^2}+\frac{n-1}{n^2}}\sigma^2= \frac{n-1}{n}\sigma^2. \end{align*} Donc $\esp[(\mu,\sigma)]{\tilde{S}_n} = \frac{1}{n}\sum_{k=1}^n \esp[(\mu,\sigma)]{\parentheses*{X_k - \bar{X}_n}^2} =\frac{n-1}{n}\sigma^2$ et $b_{\tilde{S}_n}(\mu,\sigma)=-\frac{1}{n}\sigma^2$. Ensuite, si $n \geq 2$, $\esp[(\mu,\sigma)]{S_n} = \esp[(\mu,\sigma)]{\frac{n}{n-1}\tilde{S}_n} = \frac{n}{n-1}\esp{\tilde{S}_n} =\sigma^2$, donc $S_n$ est un estimateur non biaisé. \end{sol} \item On admet que, pour tout $n \geq 2$, $\var{S_n} = \frac{2\sigma^4}{n-1}$. Déterminer les risques de $S_n$ et $\tilde{S}_n$. \begin{sol} Soient $n \geq 2$ et $(\mu,\sigma) \in \R \times \R_+^*$. Comme $S_n$ est non biaisé, $R_{S_n}(\mu,\sigma) = \var[(\mu,\sigma)]{S_n} = \frac{2\sigma^4}{n-1}$. Par ailleurs, \begin{align*} R_{\tilde{S}_n}(\mu,\theta) &= \var[(\mu,\sigma)]{\tilde{S}_n} + b_{\tilde{S}_n}(\mu,\theta)^2 = \parentheses*{\frac{n-1}{n}}^2 \var[(\mu,\sigma)]{S_n} + \frac{\sigma^4}{n^2} = \frac{\sigma^4}{n^2}\parentheses*{2(n-1)+1}\\ &= \frac{2n-1}{n^2}\sigma^4. \end{align*} \end{sol} \item Parmi les estimateurs $S_n$ et $\tilde{S}_n$, l'un domine-t-il l'autre? Si oui, lequel? \begin{sol} Soit $n \geq 2$, pour tout $(\mu,\sigma) \in \R \times \R_+^*$ on a \begin{align*} R_{S_n}(\mu,\sigma) - R_{\tilde{S}_n}(\mu,\theta) &= \sigma^4 \parentheses*{\frac{2}{n-1}- \frac{2n-1}{n^2}} = \frac{\sigma^4}{n^2(n-1)}\parentheses*{2n^2-(2n-1)(n-1)}\\ &= \frac{\sigma^4(3n-1)}{n^2(n-1)}>0. \end{align*} Donc $\tilde{S}_n$ domine $S_n$. On voit que $\tilde{S}_n$ est en un sens un meilleur estimateur de $\sigma^2$ que $S_n$, même si $\tilde{S}_n$ est biaisé et pas $S_n$. \end{sol} \end{enumerate} \end{exo} %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% \begin{exo}[Estimation de Bernoullis] On considère le modèle $\parentheses*{\cB(\theta)}_{\theta \in [0;1]}$. Soient $n \in \N^*$ et $(X_1,\dots,X_n)$ un $n$-échantillon de loi-mère $\cB(\theta)$, où $\theta \in [0;1]$. On introduit aussi $X \sim \cB(\theta)$. \begin{enumerate} \item Expliciter l'espace d'observations $\cX$, sa tribu $\cB$ et l'espace de paramètres $\Theta$ pour ce modèle. \begin{sol} L'espace $\cX$ est celui dans lequel les variables $\cB(\theta)$ sont susceptibles de prendre leurs valeurs. Ici $\cX= \brackets{0;1}$, on l'équipe de $\cB = \cP\parentheses*{\brackets{0;1}}$. L'espace de paramètre est $\Theta=[0;1]$. \end{sol} \item Déterminer la fonction $\mu_1:\theta \mapsto \esp[\theta]{X}$. \begin{sol} Pour tout $\theta \in [0;1]$, on a $\mu_1(\theta) = \esp[\theta]{X} = \theta$. \end{sol} \item En déduire l'estimateur $T_n$ de $\theta$ par la méthode des moments. \begin{sol} On a $\mu_1 : \theta \mapsto \theta$ de $[0;1]$ dans lui-même. C'est l'identité, en particulier un sympathique homéomorphisme. Pour tout $n \in \N^*$, les variables $(X_k)_{1 \leq k \leq n}$ sont à valeurs dans $[0;1]$, donc $\bar{X}_n = \frac{1}{n}\sum_{k=1}^n X_k$ aussi. Donc l'estimateur de $\theta$ par la méthode des moments est bien défini, et c'est $T_n = \mu_1^{-1}(\bar{X}_n) = \bar{X}_n$. \end{sol} \item Déterminer la fonction de probabilité $\parentheses*{p_n(\theta,k_1,\dots,k_n)}_{0 \leq k_1,\dots,k_n \leq 1}$ de $(X_1,\dots,X_n)$ sous $\cB(\theta)$. \begin{sol} Pour tout $\theta \in [0;1]$, la fonction de probabilité de $X \sim \cB(\theta)$ est $\parentheses{p(\theta,k)}_{0 \leq k \leq 1}$ où $p(\theta,1)=\theta$ et $p(\theta,0)=1-\theta$. C'est-à-dire $p:(\theta,k) \mapsto \theta^k (1-\theta)^{1-k}$ de $[0;1] \times \brackets{0;1}$ vers $[0;1]$. La loi d'un échantillon $(X_1,\dots,X_n)$ de loi-mère $\cB(\theta)$ est donc décrite par la fonction de probabilité $\parentheses*{p_n(\theta,k_1,\dots,k_n)}_{0 \leq k_1,\dots,k_n \leq 1}$ où, pour tout $k_1,\dots,k_n \in \brackets{0;1}$, \begin{equation*} p_n(\theta,k_1,\dots,k_n) = \prod_{i=1}^n p(\theta,k_i) = \prod_{i=1}^n \theta^{k_i}(1-\theta)^{1-k_i} = \theta^{\sum_{i=1}^n k_i}(1-\theta)^{n -\sum_{i=1}^n k_i}. \end{equation*} \end{sol} \item Pour tout $k=(k_1,\dots,k_n) \in \brackets{0;1}^n$, déterminer la fonction de vraisemblance $V_k$ associée. \begin{sol} Soit $k=(k_1,\dots,k_n) \in \brackets{0;1}^n$, la fonction de vraisemblance associée est \begin{equation*} V_k : \theta \longmapsto p_n(\theta,k_1,\dots,k_n) = \theta^{\sum_{i=1}^n k_i}(1-\theta)^{n -\sum_{i=1}^n k_i} = \theta^{\Norm{k}_1}(1-\theta)^{n-\Norm{k}_1}, \end{equation*} où on a noté $\Norm{k}_1 = \sum_{i=1}^n k_i$. \end{sol} \item En déduire l'estimateur $S_n$ de $\theta$ par la méthode du maximum de vraisemblance. \begin{sol} Soit $k=(k_1,\dots,k_n) \in \brackets*{0;1}$, la fonction $V_k$ est un polynôme de degré $n$. Cette fonction est continue sur $[0;1]$ donc y admet un maximum. On a $V_k(0)=0=V_k(1)$ mais $V_k\parentheses*{\frac{1}{2}}=\frac{1}{2^n} >0$. Donc le maximum de $V_k$ est strictement positif, donc atteint sur $]0;1[$. Comme $V_k$ est $\cC^1$ et atteint son maximum sur $]0;1[$, ce maximum est atteint en un point critique. Pour tout $\theta \in [0;1]$, \begin{align*} V_k'(\theta)& = \Norm{k}_1 \theta^{\Norm{k}_1-1}(1-\theta)^{n-\Norm{k}_1}-(n-\Norm{k}_1)\theta^{\Norm{k}_1}(1-\theta)^{n-\Norm{k}_1-1}\\ &= \parentheses*{\Norm{k}_1(1-\theta)-(n-\Norm{k}_1)\theta} \theta^{\Norm{k}_1-1}(1-\theta)^{n-\Norm{k}_1-1}\\ &= \parentheses*{\Norm{k}_1-n\theta} \theta^{\Norm{k}_1-1}(1-\theta)^{n-\Norm{k}_1-1} \end{align*} Si $\theta \in ]0;1[$ on a \begin{equation*} V_k'(\theta) = 0 \iff \Norm{k}_1-n\theta = 0 \iff \theta = \frac{\Norm{k}_1}{n} = \frac{1}{n}\sum_{i=1}^n k_i. \end{equation*} Donc $V_k$ a un unique point critique dans $]0;1[$, qui est nécessairement son maximum. Ainsi, la fonction $V_k$ admet un unique maximum, et $\arg\max_{\theta \in [0;1]} V_k(\theta) = \frac{1}{n}\sum_{i=1}^n k_i$. Soit $h_n:(k_1,\dots,k_n) \mapsto \frac{1}{n}\sum_{i=1}^n k_i$ de $\brackets*{0;1}^n$ vers $[0;1]$. L'estimateur du maximum de vraisemblance de $\theta$ est bien défini et est $S_n = h_n(X_1,\dots,X_n) = \frac{1}{n}\sum_{i=1}^n X_i=\bar{X}_n$. On remarque que la méthode des moments et celle du maximum de vraisemblance donne le même estimateur de $\theta$, qui est la moyenne empirique $\bar{X}_n$. \end{sol} \end{enumerate} \end{exo} %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% \begin{exo}[Pile ou face] On joue une infinité de fois à pile ou face avec une probabilité de succès $\theta \in\, ]0;1]$ inconnue. On note $X$ le nombre d'essais nécessaires pour obtenir un premier succès. On répète $n$ fois l'expérience précédente indépendamment et on note $X_1,\dots,X_n$ les résultats obtenus. \begin{enumerate} \item Proposer un modèle $\parentheses*{\cX,\cA,(\P_\theta)_{\theta \in \Theta}}$ décrivant cette expérience. \begin{sol} L'espace d'observations $\cX$ est celui dans lequel les variables $X_1,\dots,X_n$ prennent leurs valeurs, ici $\cX=\N^*$. Comme il est discret, on le munit de la tribu de ses parties $\cA = \cP(\N^*)$. L'espace des paramètres est $\Theta=]0;1]$. Pour $\theta \in ]0;1]$, la v.a. $X$ est l'indice du premier succès dans une expérience de Bernoulli, donc $X \sim \cG(\theta)$. On a donc $\P_\theta=\cG(\theta)$ pour tout $\theta \in ]0;1]$. Finalement, le modèle est $\parentheses*{\N^*,\cP(\N^*),(\cG(\theta))_{\theta \in ]0;1]}}$, ce que l'on peut abréger en $(\cG(\theta))_{\theta \in ]0;1]}$. \end{sol} \item Déterminer l'estimateur $T_n$ de $\theta$ par la méthode des moments. \begin{sol} On considère la fonction $\mu_1:\theta \mapsto \esp[\theta]{X}$. Pour tout $\theta \in ]0;1]$, on sait que sous $\cG(\theta)$ la variable $X$ est $L^1$ et $\mu_1(\theta ) = \esp[\theta]{X} = \frac{1}{\theta}$. Donc $\mu_1:\theta \mapsto \frac{1}{\theta}$ est une bijection de $]0;1]$ vers $[1;+\infty[$ dont la réciproque est $\mu_1^{-1}:x \mapsto \frac{1}{x}$. Comme les $(X_k)_{1 \leq k \leq n}$ sont à valeurs dans $[1;+\infty[$, c'est aussi le cas de $\bar{X}_n = \frac{1}{n}\sum_{k=1}^n X_k$. Donc l'estimateur de $\theta$ par la méthode des moments est bien défini et c'est \begin{equation*} T_n = \mu_1^{-1}(\bar{X}_n) = \frac{1}{\bar{X}_n} = \frac{n}{\sum_{k=1}^n X_k}. \end{equation*} \end{sol} \item Déterminer l'estimateur $S_n$ de $\theta$ par la méthode du maximum de vraisemblance. \begin{sol} Soit $p:(\theta,k) \mapsto (1-\theta)^{k-1}\theta$ de $]0;1] \times \N^*$ vers $[0;1]$, de sorte que, pour tout $\theta \in ]0;1]$, $\parentheses*{p(\theta,k)}_{k \geq 1}$ est la fonction de probabilité de $\cG(\theta)$. La fonction de probabilité d'un $n$-échantillon de loi-mère $\cG(\theta)$ est donc $\parentheses*{p_n(\theta,k_1,\dots,k_n)}_{1 \leq k_1,\dots, k_n}$ où \begin{equation*} p_n : \parentheses*{\theta,k_1,\dots,k_n} \longmapsto \prod_{i=1}^n p(\theta,k_i) = \prod_{i=1}^n \squarebrackets{(1-\theta)^{k_i-1}\theta} = \theta^n (1-\theta)^{\Norm{k}_1 - n}. \end{equation*} Ici on a noté $k=(k_1,\dots,k_n)$ et $\Norm{k}_1 = \sum_{i=1}^n k_i$. Soit $k =(k_1,\dots,k_n) \in (\N^*)^n$, la fonction de vraisemblance associée est $V_k:\theta \mapsto \theta^n (1-\theta)^{\Norm{k}_1 - n}$ de $]0;1]$ vers $\R$. C'est un polynôme en $\theta$, en particulier elle s'étend en une fonction continue sur $[0;1]$. Par continuité, le prolongement admet un maximum sur $[0;1]$. Comme le prolongement s'annule en $0$ et $1$, et est à valeurs strictement positives ailleurs, ce maximum est atteint sur $]0;1[$. C'est donc aussi un maximum pour $V_k$. Ainsi, $V_k$ atteint un maximum sur $]0;1[$ où elle est strictement positive. Soit $l_k = \ln \circ V_k$ de $]0;1[$ vers $\R$. Par stricte croissance du $\ln$, les points où $V_k$ atteint son maximum sont exactement les points où $l_k$ atteint son maximum. Il suffit donc de déterminer les points où $l_k$ est maximum. La fonction $l_k$ atteint un maximum sur $]0;1[$ et c'est en un point critique puisqu'elle est $\cC^1$. Pour tout $\theta \in ]0;1[$, on a \begin{align*} l_k(\theta) &= n \ln(\theta) + (\Norm{k}_1-n) \ln(1-\theta),\\ l_k'(\theta) &= \frac{n}{\theta} - \frac{\Norm{k}_1-n}{1-\theta}, \end{align*} donc $l_k'(\theta)=0 \iff \frac{n}{\theta} = \frac{\Norm{k}_1-n}{1-\theta}\iff (1-\theta)n = \theta(\Norm{k}_1-n) \iff n = \theta \Norm{k}_1 \iff \theta = \frac{n}{\Norm{k}_1}$. Ainsi, $l_k$ a un unique point critique dans $]0;1[$, qui est nécessairement un maximum. Donc $l_k$ admet un unique maximum, en $\frac{n}{\Norm{k}_1} = \frac{n}{\sum_{i=1}^n k_i}$, et c'est aussi le cas de $V_k$. Soit $h_n:(k_1,\dots,k_n) \mapsto \arg\max_{\theta\in ]0;1]}V_k(\theta)= \frac{n}{\sum_{i=1}^n k_i}$ de $(\N^*)^n$ vers $\R$. L'estimateur du maximum de vraisemblance de $\theta$ est bien défini et est $S_n = h_n(X_1,\dots,X_n) = \frac{1}{\bar{X}_n}$. On remarque de nouveau que $T_n= S_n$. Attention, ce n'est pas un phénomène général. \end{sol} \item Montrer que $T_n$ est un estimateur fortement consistants. \begin{sol} Ici $\Theta = ]0;1]$ est un intervalle, $\mu_1:\theta \mapsto \frac{1}{\theta}$ est bien définie, continue et injective. De plus $T_n$ est bien défini pour tout $n \in \N^*$. D'après le cours, $(T_n)_{n \in \N^*}$ et une suite fortement consistante d'estimateurs de $\theta$. À la main, sous $\cG(\theta)$ on a $\bar{X}_n \CVps{n\to+\infty} \frac{1}{\theta}$ par la loi forte des grands nombres. Comme $x \mapsto \frac{1}{x}$ est continue sur $\R_+^*$, on a $T_n = \frac{1}{\bar{X}_n} \CVps{n \to +\infty} \theta$. \end{sol} \item Étudier la normalité asymptotique de $T_n$. \begin{sol} Commençons par nous restreindre au cas $\theta \in \, ]0;1[$. Pour tout $\theta \in \, ]0;1[$, sous $\cG(\theta)$ la variable $X$ est $L^2$ et $\var[\theta]{X} = \frac{1-\theta}{\theta^2}$. L'espace de paramètres $]0;1[$ est un intervalle ouvert sur lequel $\mu_1$ est $\cC^1$ et $\mu_1':\theta \mapsto -\frac{1}{\theta^2}$ ne s'annule pas. D'après le cours, pour tout $\theta \in\, ]0;1[$ on a \begin{equation*} \sqrt{n}(T_n - \theta) \CVL{n \to +\infty} \gauss{0}{\sigma_\theta^2}, \end{equation*} où $\sigma_\theta^2 = \frac{\var[\theta]{X}}{\mu_1'(\theta)^2} = \theta^4\frac{1-\theta}{\theta^2} = \theta^2(1-\theta)>0$. Donc $T_n$ est asymptotiquement normal si $\theta \in ]0;1[$. Lorsque $\theta=1$, alors presque sûrement $X_k=1$ pour tout $k \geq 1$, et donc $\bar{X}_n=1$ pour tout $n \in \N^*$. Dans ce cas, presque sûrement, pour tout $n \in \N^*$, $T_n = 1 = \theta$. Pour toute suite $(R_n)_{n \in \N^*}$ positive on a donc presque sûrement, $R_n(T_n-\theta)=0$ pour tout $n \in \N^*$. Donc $R_n(T_n-\theta) \CVps{n \to +\infty}0$, et donc $R_n(T_n-\theta) \CVL{n \to +\infty}0$. Dans ce cas, on n'a aucune chance d'avoir normalité asymptotique. \end{sol} \end{enumerate} \end{exo} %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% \begin{exo}[Blitzkrieg] Au début de la seconde guerre mondiale, les allemands numérotaient les chars produits un mois donné de $1$ à $N$. Un espion se place au bord d'une route et relève les numéros des chars qui passent. Il cherche à en déduire le nombre $N$ de chars produit ce mois-ci. Un même char peut repasser plusieurs fois, et on suppose les passages indépendants. On note $n \in \N^*$ le nombre d'observations. \begin{enumerate} \item Proposer un modèle statistique pour cette expérience. \begin{sol} Le paramètre que l'on cherche à observer est $N \in \N^*$. On prend donc $\Theta = \N^*$. Si le nombre de chars produit ce mois-ci est $N \in \N^*$, alors on peut observer des numéros entiers entre $1$ et $N$. L'espace d'observations $\cX$ doit donc contenir $\ssquarebrackets{1}{N}$. Comme on ne connait pas $N$, cela doit être vrai pour tout $N \in \N^*$. Il est donc naturel de considérer $\cX = \N^*$. Cet espace contient bien tous les résultats d'observations envisageables. Comme $\cX$ est discret, on le munit de la tribu de ses parties. Une observation consiste à relever le numéro d'un char choisi au hasard. Tous les chars étant a priori équivalents, il est naturel de supposer que, connaissant $N$, la loi est uniforme $\cU\parentheses*{\ssquarebrackets{1}{N}}$. Ici c'est une hypothèse de modélisation, donc discutable\dots Finalement, on obtient le modèle $\parentheses*{\N^*,\cP(\N^*), \parentheses*{\cU\parentheses*{\ssquarebrackets{1}{N}}}_{N \in \N^*}}$, ou $\parentheses*{\cU\parentheses*{\ssquarebrackets{1}{N}}}_{N \in \N^*}$ en abrégé. \end{sol} \item Déterminer l'estimateur $M_n$ de $N$ par la méthode du maximum de vraisemblance. \begin{sol} On se place dans le $\parentheses*{\cU\parentheses*{\ssquarebrackets{1}{N}}}_{N \in \N^*}$. Soit $n \in \N^*$ et soit $(X_1,\dots,X_n)$ un $n$-échantillon de loi-mère $\cU\parentheses*{\ssquarebrackets{1}{N}}$. La loi $\cU\parentheses*{\ssquarebrackets{1}{N}}$ est déterminée par la fonction de probabilité $\parentheses*{p(N,k)}_{k \in \N^*}$, où pour tout $N$ et $k \in \N^*$ on a $p(N,k) = \frac{1}{N}$ si $k \in \ssquarebrackets{1}{N}$ et $p(N,k)=0$ sinon. C'est-à-dire $p(N,k) = \frac{1}{N} \one_{\ssquarebrackets{1}{N}}(k)$. Pour tout $k=(k_1,\dots,k_n) \in (\N^*)^n$, on note $\Norm{k}_\infty=\max_{1 \leq i \leq n} k_i$ et on pose \begin{equation*} p_n(N,k_1,\dots,k_n) = \prod_{i=1}^n p(N,k_i) = \frac{1}{N^n} \prod_{i=1}^n \one_{\ssquarebrackets{1}{N}}(k_i) = \frac{1}{N^n} \one_{[\Norm{k}_\infty;+\infty[}(N) \end{equation*} de sorte que $\parentheses*{p_n(N,k_1,\dots,k_n)}_{k_1,\dots,k_n \in \N^*}$ est la fonction de probabilité de notre $n$-échantillon. Soit $k=(k_1,\dots,k_n) \in (\N^*)^n$, la vraisemblance associée est $V_k:N \mapsto \frac{1}{N^n} \one_{[\Norm{k}_\infty;+\infty[}(N)$ de $\N^*$ vers $[0;1]$. On a $V_k(N)=0$ pour tout $N< \Norm{k}_\infty$. Si $N \geq \Norm{k}_\infty$, alors $V_k(N) = \frac{1}{N^n}$ et c'est une suite strictement décroissante avec $N$. Donc $V_k$ atteint un unique maximum, en $\Norm{k}_\infty = \max_{1 \leq i \leq n}k_i$. Soit $h_n:(k_1,\dots,k_n) \mapsto \arg\max_{N \in \N^*}V_k(N)= \max_{1 \leq i \leq n}k_i$ de $(\N^*)^n$ vers $\N^*$. L'estimateur du maximum de vraisemblance de $N$ est bien défini et est $M_n = h_n(X_1,\dots,X_n) = \max_{1 \leq i \leq n}X_i$. \end{sol} \item Soient $n$ et $N \in \N^*$, calculer $\P\parentheses*{M_n \neq N}$. \begin{sol} On travaille sous la loi-mère $\cU\parentheses*{\ssquarebrackets{1}{N}}$. Pour tout $i \in \ssquarebrackets{1}{n}$, la variable $X_i$ est à valeurs dans $\ssquarebrackets*{1}{N}$, donc $M_n$ aussi. On a donc \begin{equation*} M_n \neq N \iff M_n \in \ssquarebrackets{1}{N-1} \iff \forall i \in \ssquarebrackets{1}{n}, X_i \in \ssquarebrackets{1}{N-1}. \end{equation*} Comme les $(X_i)_{1 \leq i \leq n}$ sont indépendantes, \begin{equation*} \P\parentheses*{M_n \neq N} = \P\parentheses*{\forall i \in \ssquarebrackets{1}{n}, X_i \in \ssquarebrackets{1}{N-1}} = \prod_{i=1}^n \P\parentheses*{X_i \in \ssquarebrackets{1}{N-1}} = \parentheses*{\frac{N-1}{N}}^n. \end{equation*} \end{sol} \item Soit $(R_n)_{n \in \N^*}$ une suite positive, montrer que $R_n(M_n-N) \CVP{n \to +\infty}0$. \begin{sol} Soit $N \in \N^*$, on travaille sous la loi-mère $\cU\parentheses*{\ssquarebrackets{1}{N}}$. Soit $\epsilon>0$, si $\norm{R_n(M_n-N)}>\epsilon$, alors en particulier $M_n \neq N$. Donc $\brackets*{\omega \in \Omega \mvert \norm{R_n(M_n(\omega)-N)}>\epsilon} \subset \brackets*{\omega \in \Omega \mvert M_n(\omega) \neq N}$ et \begin{equation*} \P\parentheses*{\norm{R_n(M_n-N)}>\epsilon} \leq \P\parentheses*{M_n \neq N} = \parentheses*{\frac{N-1}{N}}^n \xrightarrow[n \to +\infty]{}0, \end{equation*} car $0 \leq \frac{N-1}{N} <1$. C'est valable pour tout $\epsilon>0$, d'où le résultat souhaité. \end{sol} \item L'estimateur $M_n$ est-il consistant? Est-il asymptotiquement normal? \begin{sol} Appliquons le résultat de la question précédente avec $R_n =1$ pour tout $n \in \N^*$, on obtient que, sous la loi-mère $\cU\parentheses*{\ssquarebrackets{1}{N}}$, on a $M_n-N \CVP{n \to +\infty}0$. Donc $M_n \CVP{n \to +\infty}N$. C'est valable pour tout $N \in \N^*$, donc $(M_n)_{n \in \N^*}$ est une suite consistante d'estimateurs de $N$. En revanche, pour toute suite positive $(R_n)_{n \in \N^*}$, on a $R_n(M_n-N) \CVP{n \to +\infty}0$, ce qui implique $R_n(M_n-N) \CVL{n \to +\infty}0$. On n'a donc aucune chance d'avoir de la normalité asymptotique. \end{sol} \item Peut-on définir un estimateur $T_n$ de $N$ par la méthode des moments? \begin{sol} Pour $N \in \N^*$, on note $X \sim \cU\parentheses*{\ssquarebrackets{1}{N}}$ et $(X_1,\dots,X_n)$ un $n$-échantillon de loi-mère $\cU\parentheses*{\ssquarebrackets{1}{N}}$. Soit $\mu_1: N \mapsto \esp[N]{X} =\frac{N+1}{2}$ de $\N^*$ vers $\R$. La suite $\parentheses*{\mu_1(N)}_{N \in \N^*}$ est bien définie et strictement croissante, en particulier injective. En revanche, son image est $\brackets*{1;\frac{3}{2};2;\frac{5}{2};\dots}$. Soit $n \geq 3$, si $N\geq 2$, alors avec probabilité positive on aura $(X_1,\dots,X_n)=(2;1;\dots;1)$ et $\bar{X}_n = 1+\frac{1}{n} \in\, ]1;\frac{3}{2}[$. Avec probabilité positive, on a $\bar{X}_n \notin \mu_1(\N^*)$. Ça n'a donc pas de sens de considérer $\mu_1^{-1}(\bar{X}_n)$ car cette quantité n'est pas bien définie, même presque sûrement. Ici, $\mu_1$ est la restriction à $\N^*$ de $t \mapsto \frac{1+t}{2}$ qui est bijective de $\R$ dans $\R$, et de réciproque $x \mapsto 2x-1$. Il est donc quand même très tentant de définir un estimateur de type méthode des moments en posant $T_n = \floor{2\bar{X}_n -1}$, où on prend la partie entière pour arriver dans $\N^*$. \end{sol} \end{enumerate} \end{exo} %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% \begin{exo}[Exemple à densité] On étudie le modèle $\parentheses*{\R,\cB\parentheses*{\R},\parentheses*{\P_\theta}_{\theta>0}}$ où, pour tout $\theta>0$, la loi $\P_\theta$ admet la densité $x \mapsto \frac{1}{2\sqrt{x\theta}} \one_{]0;\theta]}(x)$. Soient $n \in \N^*$ et $(X_1,\dots,X_n)$ un échantillon de loi-mère $\P_\theta$. \begin{enumerate} \item Déterminer l'estimateur $T_n$ de $\theta$ par la méthode des moments. \begin{sol} Ici on a $\Theta = \R_+^*$. Soit $\theta >0$, on a $\int_0^\theta \frac{1}{2\sqrt{x\theta}} \dx x = \squarebrackets*{\sqrt{\frac{x}{\theta}}}_0^\theta=1$, donc $\P_\theta$ est bien un loi de probabilité. De plus, $\int_0^\theta x \frac{1}{2\sqrt{x\theta}} \dx x = \frac{1}{2\sqrt{\theta}}\int_0^\theta \sqrt{x} \dx x = \frac{1}{\sqrt{\theta}} \squarebrackets*{\frac{x^\frac{3}{2}}{3}}_0^\theta = \frac{\theta}{3}$. Si on note $X \sim \P_\theta$, on a donc $\mu_1:\theta \mapsto \esp[\theta]{X}=\frac{\theta}{3}$. Donc $\mu_1$ est bien définie, bijective de $\R_+^*$ dans lui-même, et de réciproque $\mu_1^{-1}:x \mapsto 3x$. Sous $\P_\theta$, pour tout $k \in \ssquarebrackets*{1}{n}$ on a $X_k >0$, donc $\bar{X}_n >0$. Donc, pour tout $n \in \N^*$, $\bar{X}_n$ est à valeurs dans $\R_+^*= \mu_1(\R_+^*)$. Donc l'estimateur de $\theta$ par la méthode des moments est bien défini et c'est $T_n = 3\bar{X}_n = \frac{3}{n}\sum_{k=1}^n X_k$. \end{sol} \item Montrer que $T_n$ est fortement consistant. \begin{sol} Soit $(X_k)_{k \geq 1}$ des v.a.i.i.d. de loi $\P_\theta$. Ces variables sont $L^1$ d'espérance $\frac{\theta}{3}$. Par la loi forte des grands nombres, on a donc $\bar{X}_n\CVps{n \to +\infty} \frac{\theta}{3}$. D'où $T_n \CVps{n \to +\infty} \theta$. Donc $T_n$ est fortement consistant. Alternativement, on peut utiliser le résultat du cours. En effet $\Theta = ]0;+\infty[$ est un intervalle, $\mu_1$ est bien définie, continue et injective, et $T_n$ est bien défini pour tout $n \in \N^*$. Donc $T_n$ est fortement consistant. \end{sol} \item Montrer que $T_n$ est asymptotiquement normal. \begin{sol} On applique le résultat du cours. On a que $\Theta=\,]0;+\infty[$ est un intervalle ouvert. Pour tout $n \in \N^*$, $T_n$ est bien défini. La fonction $\mu_1:\theta \mapsto \frac{\theta}{3}$ est de classe $\cC^1$ et de dérivée constante égale à $\frac{1}{3} \neq 0$. Si on montre que, pour tout $\theta >0$ on a $\esp[\theta]{X^2}<+\infty$ on aura gagné. Soit $\theta>0$, on a \begin{equation*} \esp[\theta]{X^2} = \int_0^\theta x^2 \frac{1}{2\sqrt{x\theta}} \dx x = \frac{1}{2\sqrt{\theta}}\int_0^\theta x^\frac{3}{2} \dx x = \frac{1}{\sqrt{\theta}} \squarebrackets*{\frac{x^\frac{5}{2}}{5}}_0^\theta = \frac{\theta^2}{5}<+\infty. \end{equation*} Par ailleurs, on a $\var[\theta]{X} = \esp[\theta]{X^2}-\esp[\theta]{X}^2 = \frac{\theta^2}{5} - \frac{\theta^2}{9} = \theta^2\parentheses*{\frac{1}{5}-\frac{1}{9}} = \frac{4}{45}\theta^2$ et donc $\frac{\var[\theta]{X}}{\mu_1'(\theta)^2} = 9\var[\theta]{X} = \frac{4}{5}\theta^2$. D'après le cours, pour tout $\theta>0$, \begin{equation*} \sqrt{n}(T_n - \theta) \CVL{n \to +\infty} \gauss{0}{\frac{4}{5}\theta^2}. \end{equation*} \end{sol} \item Déterminer l'estimateur $M_n$ de $\theta$ par la méthode du maximum de vraisemblance. \begin{sol} Soit $f:(\theta,x) \mapsto \frac{1}{2\sqrt{x\theta}} \one_{]0;\theta]}(x)$ de $\R_+^* \times \R$ vers $\R_+$. De la sorte, pour tout $\theta>0$, $f(\theta,\cdot)$ est la densité de $\P_\theta$. La densité d'un $n$-échantillon de loi-mère $\P_\theta$ est alors $f_n(\theta,\cdot)$, où \begin{equation*} f_n:(\theta,x_1,\dots,x_n) \longmapsto \prod_{k=1}^n f(\theta,x_k) = \prod_{k=1}^n \frac{1}{2\sqrt{x_k\theta}} \one_{]0;\theta]}(x_k) = \frac{1}{2^n \theta^\frac{n}{2}}\frac{1}{\sqrt{x_1\dots x_n}} \prod_{k=1}^n \one_{]0;\theta]}(x_k). \end{equation*} On peut noter que le produit $\prod_{k=1}^n \one_{]0;\theta]}(x_k)$ vaut $1$ si $00$, pour tout $x_1,\dots,x_n \in \R$, on a \begin{equation*} f(\theta,x_1,\dots,x_n) = \frac{1}{2^n \theta^\frac{n}{2}}\frac{1}{\sqrt{x_1\dots x_n}} \one_{[\Norm{x}_\infty;+\infty[}(\theta) \prod_{k=1}^n \one_{\R_+^*}(x_k). \end{equation*} Si $x=(x_1,\dots,x_n) \in \R^n$, la fonction de vraisemblance associée est $V_x:\theta \mapsto f_n(\theta,x_1,\dots,x_n)$. Si l'un des $(x_k)_{1 \leq k \leq n}$ est négatif ou nul, alors $V_x = 0$, et en particulier $x \notin D_n$. Ici $D_n \subset \R^n$ est l'ensemble des $x$ tels que $V_x$ admette un unique maximum sur $\R_+^*$. Si pour tout $k \in \ssquarebrackets*{1}{n}$, $x_k >0$, alors $V_x:\theta \mapsto \frac{1}{2^n \theta^\frac{n}{2}}\frac{1}{\sqrt{x_1\dots x_n}} \one_{[\Norm{x}_\infty;+\infty[}(\theta)$ de $\R_+^*$ vers $\R_+$. Cette fonction est nulle sur $]0;\Norm{x}_\infty[$ et coïncide avec la fonction strictement décroissante $\theta \mapsto \frac{1}{2^n \theta^\frac{n}{2}}\frac{1}{\sqrt{x_1\dots x_n}}$ sur $[\Norm{x}_\infty;+\infty[$. Elle atteint donc un unique maximum en $\Norm{x}_\infty$. Dans ce cas, on a donc $x \in D_n$ et $\arg\max_{\theta>0} V_x(\theta) =\Norm{x}_\infty$. On a donc $D_n = ]0;+\infty[^n$. Le $n$-échantillon $(X_1,\dots,X_n)$ est bien à valeurs dans $D_n$, puisque sous $\P_\theta$ chaque $X_k$ est à valeurs dans $]0;\theta]$. Soit $h_n:D_n \to \R_+$ la fonction définie par $(x_1,\dots,x_n) \mapsto \Norm{x}_\infty =\max_{1 \leq k \leq n}x_k$. L'estimateur de $\theta$ par la méthode du maximum de vraisemblance est bien défini et est \begin{equation*} M_n = h_n(X_1,\dots,X_n) = \max_{1 \leq k \leq n}X_k. \end{equation*} \end{sol} \item Calculer la fonction de répartition de $M_n$. Montrer que $M_n$ admet une densité et l'expliciter. \begin{sol} Soient $\theta>0$ et $X \sim \P_\theta$. Soit $F_\theta$ la fonction de répartition de $X$. Comme la densité $f(\theta,\cdot)$ de $\P_\theta$ est nulle hors de $]0;+\infty]$, on a que $F_\theta(t)=0$ si $t \leq 0$ et $F_\theta(t)=1$ si $t > \theta$. Pour tout $t \in ]0;\theta]$, on a \begin{align*} F_\theta(t) = \P_\theta(X \leq t) = \int_{-\infty}^t f(\theta,x) \dx x = \int_0^t \frac{1}{2\sqrt{x\theta}} \dx x = \squarebrackets*{\sqrt{\frac{x}{\theta}}}_0^t = \sqrt{\frac{t}{\theta}}. \end{align*} En résumé, $F_\theta:t \mapsto \sqrt{\frac{t}{\theta}} \one_{]0;\theta]}(t) + \one_{]\theta;+\infty[}(t)$. D'après le cours, ou un exercice déjà fait, la fonction de répartition de $M_n$ est $F_\theta^n: t \mapsto \parentheses*{\frac{t}{\theta}}^\frac{n}{2} \one_{]0;\theta]}(t) + \one_{]\theta;+\infty[}(t)$. Sur $]0,\theta]$, cette fonction est $\cC^1$ de dérivée $t \mapsto \frac{n}{2 \theta^\frac{n}{2}}t^{\frac{n}{2}-1}$. On pose $g_{n,\theta}:x \mapsto \frac{n}{2 \theta^\frac{n}{2}}t^{\frac{n}{2}-1} \one_{]0;\theta]}(x)$. Pour tout $t \in \R$, on a \begin{equation*} \int_{-\infty}^t g_{n,\theta}(x) \dx x = \begin{cases} 0 & \text{si} \ t \leq 0,\\ \parentheses*{\frac{t}{\theta}}^\frac{n}{2} & \text{si} \ t \in ]0;\theta],\\ 1 & \text{si} \ t > \theta \end{cases} = F_\theta^n(t). \end{equation*} Donc, sous $\P_\theta$, la variable aléatoire $M_n$ admet la densité $g_{n,\theta}$. \end{sol} \item Calculer le biais et le risque de $M_n$. \begin{sol} Soient $n \in \N^*$ et $\theta>0$, on calcule les premiers moments de $M_n$ sous $\P_\theta$. On a: \begin{equation*} \esp[\theta]{M_n} = \int_\R x g_{n,\theta}(x) \dx x = \frac{n}{2\theta^\frac{n}{2}} \int_0^\theta x^\frac{n}{2} \dx x = \frac{n}{2\theta^\frac{n}{2}}\squarebrackets*{\frac{2}{n+2} x^{\frac{n}{2}+1}}_0^\theta = \frac{n\theta}{n+2}. \end{equation*} Et d'autre part, \begin{equation*} \esp[\theta]{M_n^2} = \int_\R x^2 g_{n,\theta}(x) \dx x = \frac{n}{2\theta^\frac{n}{2}} \int_0^\theta x^{\frac{n}{2}+1} \dx x = \frac{n}{2\theta^\frac{n}{2}}\squarebrackets*{\frac{2}{n+4} x^{\frac{n}{2}+2}}_0^\theta = \frac{n\theta^2}{n+4}. \end{equation*} On a donc $b_{M_n}(\theta) = \esp[\theta]{M_n}-\theta = \theta\parentheses*{\frac{n}{n+2}-1} = -\frac{2}{n+2}\theta$ et \begin{align*} R_{M_n}(\theta) &= \esp[\theta]{(M_n-\theta)^2} = \esp[\theta]{M_n^2-2\theta M_n + \theta^2} = \esp[\theta]{M_n^2}-2\theta \esp[\theta]{M_n} + \theta^2\\ &= \theta^2 \parentheses*{\frac{n}{n+4}- 2\frac{n}{n+2}+1} = \theta^2\frac{n(n+2)-2n(n+4)+(n+2)(n+4)}{(n+2)(n+4)}\\ &= \theta^2\frac{n^2+2n -2n^2-8n +n^2 +6n+8}{(n+2)(n+4)} = \frac{8 \theta^2}{(n+2)(n+4)}. \end{align*} \end{sol} \item Montrer que $M_n$ est consistant. \begin{sol} Soient $\theta>0$ et $\epsilon>0$. D'après le cours, pour tout $n \in \N^*$, on a \begin{equation*} \P_\theta\parentheses*{\norm*{M_n - \theta}>\epsilon} \leq \frac{R_{M_n}(\theta)}{\epsilon^2} = \frac{8 \theta^2}{\epsilon^2(n+2)(n+4)} \xrightarrow[n \to +\infty]{} 0. \end{equation*} C'est valable pour tout $\epsilon>0$. Donc, sous $\P_\theta$, on a $M_n \CVP{n \to +\infty}\theta$. Comme c'est valable pour tout $\theta>0$, la suite d'estimateurs $(M_n)_{n \in \N^*}$ est consistante. \end{sol} \end{enumerate} \end{exo} %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% \begin{exo}[Méthode des moments, variante] On considère le modèle $\parentheses*{\cU\parentheses*{[-\theta;\theta]}}_{\theta >0}$. Soient $n \in \N^*$ et $(X_1,\dots,X_n)$ un $n$-échantillon dans ce modèle. On note aussi $X \sim \cU\parentheses*{[-\theta;\theta]}$. \begin{enumerate} \item Déterminer les fonctions $\mu_1:\theta \mapsto \esp[\theta]{X}$ et $\mu_2:\theta \mapsto \esp[\theta]{X^2}$ de $]0;+\infty[$ dans $\R$. \begin{sol} Soit $\theta>0$, on sait que $\mu_1(\theta) = \esp[\theta]{X} = 0$ et \begin{equation*} \mu_2(\theta) = \esp[\theta]{X^2} = \frac{1}{2\theta}\int_{-\theta}^\theta x^2 \dx x = \frac{1}{2\theta}\squarebrackets*{\frac{\theta^3}{3}}_{-\theta}^\theta = \frac{\theta^2}{3}. \end{equation*} \end{sol} \item \label{q: moment variante} Construire un estimateur $T_n$ de $\theta$ par la méthode des moments. \begin{sol} Comme $\mu_1:\theta \mapsto 0$ n'est pas injective, on ne peut pas l'utiliser pour construire un estimateur par la méthode des moments. Par contre $\mu_2:\theta \mapsto \frac{\theta^2}{3}$ est bijective de $\R_+^*$ vers $\R_+^*$, de réciproque $x \mapsto \sqrt{3x}$. On peut donc utiliser la variante de la méthode des moments. On a $\frac{1}{n}\sum_{k=1}^n X_k^2 \geq 0$. De plus, $\frac{1}{n}\sum_{k=1}^n X_k^2 = 0$ si et seulement si $(X_1,\dots,X_n)=(0,\dots,0)$ et \begin{equation*} \P\parentheses*{(X_1,\dots,X_n)=(0,\dots,0)} = \P\parentheses*{\forall i \in \ssquarebrackets{1}{n}, X_i=0} = \prod_{i=1}^n \P(X_i=0) = 0 \end{equation*} où on a utilisé l'indépendance et le fait que les $X_i$ sont à densité. Donc $\frac{1}{n}\sum_{k=1}^n X_k^2$ est presque sûrement à valeurs dans $\mu_1(\Theta)= \R_+^*$. On peut donc définir un estimateur de $\theta$ par la méthode des moments et c'est \begin{equation*} T_n = \mu_2^{-1}\parentheses*{\frac{1}{n}\sum_{k=1}^n X_k^2} = \sqrt{\frac{3}{n}\sum_{k=1}^n X_k^2}. \end{equation*} On remarque que, $T_n$ n'est bien défini que presque sûrement, ce qui nous suffit. \end{sol} \item L'estimateur $T_n$ est-il consistant? Est-il fortement consistant? \begin{sol} Soit $(X_k)_{k \geq 1}$ une suite de v.a.i.i.d. de loi $\cU\parentheses*{[-\theta;\theta]}$. Ces variables sont $L^2$, donc les $(X_k^2)_{k \geq 0}$ sont $L^1$ et d'espérance $\mu_2(\theta)$. Par la loi forte des grands nombres, $\frac{1}{n}\sum_{k=1}^n X_k^2 \CVps{n \to +\infty} \mu_2(\theta)$. Comme $\mu_2^{-1}$ est continue, on a donc $T_n = \mu_2^{-1}\parentheses*{\frac{1}{n}\sum_{k=1}^n X_k^2}\CVps{n \to +\infty} \theta$. Donc $T_n$ est un estimateur fortement consistant de $\theta$, en particulier consistant. \end{sol} \item Déterminer l'estimateur $M_n$ de $\theta$ par la méthode du maximum de vraisemblance. \begin{sol} Soit $f:(\theta,x) \mapsto \frac{1}{2\theta} \one_{[-\theta;\theta]}(x)$, de sorte que, pour tout $\theta>0$, la fonction $f(\theta,\cdot)$ est la densité de la loi $\cU\parentheses*{[-\theta;\theta]}$. La loi du $n$-échantillon $(X_1,\dots,X_n)$ admet alors la densité $f_n(\theta,\cdot)$, où \begin{equation*} f_n:(\theta,x_1,\dots,x_n) \mapsto \prod_{k=1}^n f(\theta,x_k) = \frac{1}{(2\theta)^n} \prod_{k=1}^n \one_{[-\theta;\theta]}(x_k) = \frac{1}{(2\theta)^n} \one_{[\Norm{x}_\infty;+\infty[}(\theta), \end{equation*} où on a noté $x=(x_1,\dots,x_n)$ et $\Norm{x}_\infty = \max_{1 \leq k\leq n} \norm{x_k}$. En effet, $\prod_{k=1}^n \one_{[-\theta;\theta]}(x_k)$ ne peut prendre que les valeurs $0$ et $1$, et il vaut $1$ si et seulement si $\forall k \in \ssquarebrackets{1}{n}$, $x_k \in [-\theta,\theta]$, c'est-à-dire $\forall k \in \ssquarebrackets{1}{n}$, $\norm{x_k}\leq \theta$ ou encore $\theta \geq \Norm{x}_\infty$. Soient $x=(x_1,\dots,x_n) \in \R^n$ et la fonction de vraisemblance $V_x:\theta \mapsto \frac{1}{(2\theta)^n} \one_{[\Norm{x}_\infty;+\infty[}(\theta)$. Si $x \neq 0$, elle atteint un unique maximum sur $\R_+^*$, en $\theta = \Norm{x}_\infty$. Si $x=0$, alors $V_0:\theta \mapsto \frac{1}{(2\theta)^n}$ n'admet pas de maximum sur $\R_+^*$ car $V_0(\theta) \xrightarrow[\theta \to 0]{}+\infty$. Donc, l'ensemble $D_n \subset \R^n$ des $x$ tels que $V_x$ admet un unique maximum sur $]0;+\infty[$ est $D_n = \R^n \setminus \brackets{0}$. Soit $h_n :\R^n \setminus \brackets{0} \to ]0;+\infty[$ définie par, pour tout $(x_1,\dots,x_n) \neq 0$, \begin{equation*} h_n(x_1,\dots,x_n) = \arg\max_{\theta >0} V_x(\theta) = \Norm{x}_\infty = \max_{1 \leq k \leq n} \norm{x_k}. \end{equation*} Comme on l'a vu à la question~\ref{q: moment variante}, presque sûrement, $(X_1,\dots,X_n) \neq 0$, i.e. $(X_1,\dots,X_n) \in D_n$. Donc l'estimateur du maximum de vraisemblance de $\theta$ est presque sûrement bien défini, et c'est \begin{equation*} M_n = h_n(X_1,\dots,X_n) = \max_{1 \leq k \leq n} \norm{X_k}. \end{equation*} \end{sol} \end{enumerate} \end{exo} %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% \begin{exo}[Paramètre de dimension $2$] On considère le modèle $\parentheses*{\gauss{m}{v}}_{m \in \R, v >0}$. Soient $n \in \N^*$ et $(X_1,\dots,X_n)$ un $n$-échantillon dans ce modèle. On note $X \sim \gauss{m}{v}$. \begin{enumerate} \item Déterminer les fonctions $\mu_1:(m,v) \mapsto \esp[(m,v)]{X}$ et $\mu_2:(m,v) \mapsto \esp[(m,v)]{X^2}$. \begin{sol} Soient $m \in \R$ et $v >0$, on sait que $\mu_1(m,v) = \esp[(m,v)]{X} = m$ et $\var[(m,v)]{X}=v$. Donc \begin{equation*} \mu_2(m,v) = \esp[(m,v)]{X^2} = \var[(m,v)]{X} + \esp[(m,v)]{X}^2 = v+m^2. \end{equation*} \end{sol} \item Construire des estimateurs $T_n$ de $m$ et $S_n$ de $v$ par la méthode des moments, pour tout $n \geq 2$. \begin{sol} Comme le paramètre $(m,v)$ est de dimension $2$, on considère $\mu:(m,v) \mapsto \parentheses*{\mu_1(m,v);\mu_2(m,v)}$. Pour tout $m \in \R$ et $v>0$, on a $\mu(m,v) = (m,v+m^2)$. Soient $x\in \R$ et $y > x^2$, on a \begin{equation*} \mu(m,v) = (x,y) \iff (m,v+m^2)(x,y) \iff m=x \ \text{et} \ v=y-m^2=y-x^2. \end{equation*} Donc $\mu$ est une bijection de $\R \times \R_+^*$ vers $U = \brackets*{(x,y) \in \R^2 \mvert y > x^2}$ dont la réciproque est la fonction $\mu^{-1}:(x,y) \mapsto (x,y-x^2)$. La variable $\frac{1}{n}\sum_{k=1}^n X_k$ est à valeurs dans $\R$. Par ailleurs, par l'inégalité de Cauchy-Schwarz, on a \begin{equation*} \parentheses*{\sum_{k=1}^n X_k \times 1}^2 \leq \parentheses*{\sum_{k=1}^n X_k^2} \parentheses*{\sum_{k=1}^n 1} = n\sum_{k=1}^n X_k^2, \end{equation*} donc $\frac{1}{n}\sum_{k=1}^n X_k^2 \geq \parentheses*{\frac{1}{n}\sum_{k=1}^n X_k}^2$. On a égalité si et seulement si on est dans le cas d'égalité de Cauchy-Schwarz, i.e. si $(X_1,\dots,X_n)$ est colinéaire à $(1,\dots,1)$. On a donc égalité si et seulement si $(X_1,\dots,X_n) \in \vect\parentheses*{1,\dots,1}$. Dans la suite, on suppose $n \geq 2$. Comme une droite est de mesure nulle pour Lebesgue sur $\R^n$ elle est aussi de mesure nulle pour toute mesure à densité, par exemple pour la loi de $(X_1,\dots,X_n)$. Donc \begin{equation*} \P_{(m,v)}\parentheses*{\frac{1}{n}\sum_{k=1}^n X_k^2 = \parentheses*{\frac{1}{n}\sum_{k=1}^n X_k}^2} = \P_{(m,v)}\parentheses*{(X_1,\dots,X_n) \in \vect\parentheses*{1,\dots,1}\strut }=0. \end{equation*} Donc presque sûrement, on a $\frac{1}{n}\sum_{k=1}^n X_k^2 > \parentheses*{\frac{1}{n}\sum_{k=1}^n X_k}^2$, et le couple de variables aléatoires $\parentheses*{\frac{1}{n}\sum_{k=1}^n X_k,\frac{1}{n}\sum_{k=1}^n X_k^2}$ est presque sûrement à valeurs dans $U$. Donc l'estimateur de $(m,v)$ par la méthode des moments est bien défini et c'est \begin{align*} T_n &=\mu^{-1}\parentheses*{\frac{1}{n}\sum_{k=1}^n X_k;\frac{1}{n}\sum_{k=1}^n X_k^2} = \parentheses*{\frac{1}{n}\sum_{k=1}^n X_k;\frac{1}{n}\sum_{k=1}^n X_k^2 - \parentheses*{\frac{1}{n}\sum_{k=1}^n X_k}^2}\\ &= \parentheses*{\bar{X}_n;\frac{1}{n}\sum_{k=1}^n \parentheses*{X_k - \bar{X}_n}^2} = \parentheses*{\bar{X}_n; \tilde{S}_n}, \end{align*} où on réutilise les notations de l'exerice~\ref{exo: gaussiennes}. En regardant composante par composante, on retrouve l'estimateur $\bar{X}_n$ de $m$ et l'estimateur $\tilde{S}_n$ de $v$. \end{sol} \item Pour tout $x=(x_1,\dots,x_n) \in \R^n$, expliciter la fonction de $\log$-vraisemblance $\ln\circ V_x$. \begin{sol} Soient $m \in \R$ et $v>0$, la densité de la loi $\gauss{m}{v}$ est $x \mapsto \frac{1}{\sqrt{2\pi v}}e^{-\frac{1}{2v}(x-m)^2}$. On note $f:(m,v,x) \mapsto \frac{1}{\sqrt{2\pi v}}e^{-\frac{1}{2v}(x-m)^2}$ et $f_n:(m,v,x_1,\dots,x_n) \mapsto \prod_{k=1}^n f(m,v,x_k)$ de $\R \times \R_+^*\times \R^n$ vers $\R_+$, de sorte que $f_n(m,v,\cdot)$ est la densité d'un $n$-échantillon de loi-mère $\gauss{m}{v}$. En particulier, cette fonction est à valeurs strictement positives. Soit $x =(x_1,\dots,x_n) \in \R^n$, pour tout $m \in \R$ et $v>0$, on a \begin{align*} \ln\parentheses*{V_x(m,v)} &= \ln\parentheses*{f_n(m,v,x_1,\dots,x_n)} = \sum_{k=1}^n \ln\parentheses*{ f(m,v,x_k)} = \sum_{k=1}^n -\frac{1}{2}\ln\parentheses*{2\pi v} -\frac{(x_k-m)^2}{2v}\\ &= -\frac{n\ln(2\pi)}{2}-\frac{n}{2}\ln(v) - \frac{1}{2v}\sum_{k=1}^n (x_k-m)^2. \end{align*} \end{sol} \item Si $x \notin \vect\parentheses*{1,\dots,1}$, montrer que $\ln \circ V_x$ admet un unique point critique sur $\R\times \R_+^*$ et le déterminer. On admettra que c'est un maximum global. \begin{sol} Soit $x=(x_1,\dots,x_n) \in \R^n$, la fonction $\ln \circ V_x$ est bien $\cC^1$ sur $\R\times \R_+^*$ et pour tout $m \in \R$ et $v>0$, on a \begin{align*} \partial_m\parentheses*{\ln\circ V_x}(m,v) &= -\frac{1}{2v}\sum_{k=1}^n -2(x_k-m) = \frac{1}{v}\parentheses*{\parentheses*{\sum_{k=1}^n x_k} -nm},\\ \partial_v\parentheses*{\ln\circ V_x}(m,v) &= -\frac{n}{2v}+\frac{1}{2v^2}\sum_{k=1}^n (x_k-m)^2 = \frac{1}{2v^2}\parentheses*{\sum_{k=1}^n (x_k-m)^2 - nv}. \end{align*} Donc $(m,v)$ est un point critique de $\ln\circ V_x$ si et seulement si ces quantité sont nulles, c'est-à-dire si et seulement si \begin{align*} m &= \frac{1}{n}\sum_{k=1}^n x_k & &\text{et} & v &= \frac{1}{n}\sum_{k=1}^n (x_k-m)^2= \frac{1}{n}\sum_{k=1}^n x_k^2 - \parentheses*{\frac{1}{n}\sum_{k=1}^n x_k}^2. \end{align*} Comme précédemment, si $x \in \vect\parentheses*{1,\dots,1}$, alors $\frac{1}{n}\sum_{k=1}^n x_k^2 - \parentheses*{\frac{1}{n}\sum_{k=1}^n x_k}^2=0$ et le système précédent n'a pas de solution dans $\R \times \R_+^*$. En particulier, $\ln \circ V_x$ n'a pas de maximum local, encore moins global. Si $x \notin \vect\parentheses*{1,\dots,1}$, l'inégalité de Cauchy-Schwarz est stricte, donc $\frac{1}{n}\sum_{k=1}^n x_k^2 - \parentheses*{\frac{1}{n}\sum_{k=1}^n x_k}^2>0$ et le système précédent à une unique solution dans $\R \times \R_+^*$. \end{sol} \item En déduire l'expression de l'estimateur du maximum de vraisemblance de $(m,v)$. lorsque $n\geq 2$. \begin{sol} Pour tout $x=(x_1,\dots,x_n) \notin \vect\parentheses*{1,\dots,1}$, la fonction de $\log$-vraisemblance admet un unique point critique, qui est un maximum global, en $(m,v)$ donné par les formules ci-dessus. Tout maximum est un point critique, donc c'est le seul point où le maximum est atteint. On pose \begin{equation*} h_n:(x_1,\dots,x_n) \longmapsto \arg\max_{x \in \R,v >0} \ln\circ V_x(m,v) = \parentheses*{\frac{1}{n}\sum_{k=1}^n x_k;\frac{1}{n}\sum_{k=1}^n \parentheses*{x_k - \frac{1}{n}\sum_{k=1}^n x_k}^2} \end{equation*} de $D_n= \R^n \setminus \vect\parentheses*{1;\dots,1}$ vers $\R \times \R_+^*$. Comme précédemment, l'échantillon $(X_1,\dots,X_n)$ est presque sûrement à valeurs dans $D_n$, indépendamment de $(m,v)$. Donc l'estimateur du maximum de vraisemblance de $(m,v)$ est bien défini presque sûrement, et c'est \begin{equation*} T_n = h_n(X_1,\dots,X_n) = \parentheses*{\frac{1}{n}\sum_{k=1}^n X_k;\frac{1}{n}\sum_{k=1}^n X_k^2 - \parentheses*{\frac{1}{n}\sum_{k=1}^n X_k}^2} = \parentheses*{\bar{X}_n; \tilde{S}_n}, \end{equation*} le même par la méthode des moments, et le même que dans l'exercice~\ref{exo: gaussiennes}. \end{sol} \end{enumerate} \end{exo} \end{document}