\documentclass[11pt]{article}


% Packages gestion des caractères, du français et de la mise en page

\usepackage[french]{babel}
\usepackage[utf8]{inputenc}
\usepackage[T1]{fontenc}
\usepackage{fancyhdr}

\usepackage[margin=2.5cm]{geometry}
\usepackage[pdftex,pdfborder={0 0 0},hypertexnames=false]{hyperref}

\setlength{\parindent}{0pt}
\setlength{\headheight}{4ex}
\setlength{\headsep}{2ex}
\renewcommand{\FrenchLabelItem}{\textbullet}

\usepackage{comment}
\usepackage{enumitem}
\usepackage{tabularx}


% Graphiques et Figures

\usepackage{subfig}
\usepackage{pgf,tikz}
\usetikzlibrary{arrows}
\usepackage[figurename=Figure]{caption}


% Packages pour les maths

\usepackage{mathtools}
\usepackage{amsthm}
\usepackage{amsfonts}
\usepackage{amssymb}
\usepackage{stmaryrd}


% Nouveaux environnements

\theoremstyle{plain}
	\newtheorem{thm}{Théorème}
	\newtheorem{cor}[thm]{Corollaire}
	\newtheorem{lem}[thm]{Lemme}
	\newtheorem{prop}[thm]{Proposition}


\theoremstyle{definition}
	\newtheorem*{dfn}{Définition}
	\newtheorem{exo}{Exercice}
	\newtheorem*{ntn}{Notation}
	\newtheorem*{ntns}{Notations}

\theoremstyle{remark}
	\newtheorem*{hint}{Indication}
	\newtheorem*{rem}{Remarque}
	\newtheorem*{ex}{Exemple}
	\newtheorem*{exs}{Exemples}
		

% Commandes et opérateurs utiles

\newcommand{\C}{\mathbb{C}}
\newcommand{\N}{\mathbb{N}}
\renewcommand{\P}{\mathbb{P}}
\newcommand{\Q}{\mathbb{Q}}
\newcommand{\R}{\mathbb{R}}
\renewcommand{\S}{\mathbb{S}}
\newcommand{\Z}{\mathbb{Z}}

\newcommand{\cA}{\mathcal{A}}
\newcommand{\cB}{\mathcal{B}}
\newcommand{\cC}{\mathcal{C}}
\newcommand{\cE}{\mathcal{E}}
\newcommand{\cF}{\mathcal{F}}
\newcommand{\cG}{\mathcal{G}}
\newcommand{\cN}{\mathcal{N}}
\newcommand{\cP}{\mathcal{P}}
\newcommand{\cU}{\mathcal{U}}
\newcommand{\cX}{\mathcal{X}}

\newcommand{\Poisson}{\; \propto \hspace{-0.96em} \cdot \hspace{0.5em}}

\renewcommand{\bar}{\overline}
\renewcommand{\epsilon}{\varepsilon}
\renewcommand{\geq}{\geqslant}
\renewcommand{\leq}{\leqslant}
\renewcommand{\tilde}{\widetilde}
\renewcommand{\hat}{\widehat}

\newcommand{\cov}[2]{\Cov\parentheses*{#1, #2}}
\newcommand{\CVL}[1]{\xrightarrow[#1]{\text{loi}}}
\newcommand{\CVP}[1]{\xrightarrow[#1]{\P}}
\newcommand{\CVps}[1]{\xrightarrow[#1]{\text{p.s.}}}
\newcommand{\dx}{\dmesure\!}
\newcommand{\esp}[2][]{\mathbb{E}_{#1}\squarebrackets*{#2}}
\newcommand{\espcond}[3][]{\mathbb{E}_{#1}\squarebrackets*{#2 \mvert #3}}
\newcommand{\gauss}[2]{\mathcal{N}\parentheses*{#1,#2}}
\newcommand{\mvert}{\mathrel{}\middle|\mathrel{}}
\newcommand{\one}{\mathbf{1}}
\newcommand{\trans}[1]{\,\prescript{\text{t}}{}{\! #1}}
\newcommand{\var}[2][]{\Var_{#1}\parentheses*{#2}}
\newcommand{\vol}[1]{\Vol\parentheses*{#1}}


\DeclareMathOperator{\card}{Card}
\DeclareMathOperator{\Cov}{Cov}
\DeclareMathOperator{\dist}{dist}
\DeclareMathOperator{\dmesure}{d}
\DeclareMathOperator{\Id}{Id}
\DeclareMathOperator{\vect}{Vect}
\DeclareMathOperator{\sym}{Sym}
\DeclareMathOperator{\Var}{Var}
\DeclareMathOperator{\Vol}{Vol}

\DeclarePairedDelimiter{\ang}{\langle}{\rangle}
\DeclarePairedDelimiter{\brackets}{\{}{\}}
\DeclarePairedDelimiter{\ceil}{\lceil}{\rceil}
\DeclarePairedDelimiter{\floor}{\lfloor}{\rfloor}
\DeclarePairedDelimiter{\norm}{\lvert}{\rvert}
\DeclarePairedDelimiter{\Norm}{\lVert}{\rVert}
\DeclarePairedDelimiter{\parentheses}{(}{)}
\DeclarePairedDelimiterX{\prsc}[2]{\langle}{\rangle}{#1\,, #2}
\DeclarePairedDelimiter{\squarebrackets}{[}{]}
\DeclarePairedDelimiterX{\ssquarebrackets}[2]{\llbracket}{\rrbracket}{#1;#2}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

% Gestion de l'affichage des solutions avec le package comment

% Nouveaux compteurs pour avoir une numérotation des équations indépendante dans les solutions

\newcounter{aux}
\newcounter{soleq}

% Définition d'un environnement sol qui peut être commenté à loisir ci-dessous
% La numération des équations est indépendantes et en chiffres romains dans les solutions

\specialcomment{sol}{
	\setcounter{aux}{\value{equation}}
	\setcounter{equation}{\value{soleq}}
	\renewcommand{\theequation}{\roman{equation}}
	\par\begingroup\color{violet}
	}
	{
	\endgroup
	\setcounter{soleq}{\value{equation}}
	\setcounter{equation}{\value{aux}}
	\renewcommand{\theequation}{\arabic{equation}}
	}

% Le contenu des environnements sol est visible par défaut, décommenter la ligne suivante le cache
%\excludecomment{sol}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


% Informations du document

\author{Thomas Letendre}
\date{2025 -- 2026}
\title{Feuille 5 -- Estimateurs ponctuels}


\begin{document}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

% Mise en page de l'en-tête

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\thispagestyle{fancy}

\lhead{Université de Rennes, 2025--2026}
\rhead{Probabilités et Statistiques pour la Science des Données}

\makeatletter

\begin{center}
\begin{Large}
\@title
\end{Large}
\end{center}

\hrule

\vspace{1ex}

\makeatother

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

% Début du corps du texte

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

Dans cette feuille, toutes les variables aléatoires sont définies sur un espace de probabilité $\parentheses*{\Omega,\cA,\P}$.

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\begin{exo}[Comparaison d'estimateurs]

On considère le modèle statistique $\parentheses*{\cB(\theta)}_{\theta \in [0;1]}$. Pour tout $n \in \N^*$, on définit deux estimateurs de $\theta$ basés sur le $n$-échantillon $\parentheses*{X_1,\dots,X_n}$:
\begin{align*}
\bar{X}_n &= \frac{1}{n}\sum_{k=1}^n X_k & &\text{et} & T_n &= \frac{1}{n+2}\parentheses*{1+\sum_{k=1}^n X_k}.
\end{align*}

\begin{enumerate}

\item Pour tout $n \in \N^*$ et $\theta \in [0;1]$, déterminer les biais de $\bar{X}_n$ et $T_n$ en $\theta$.

\begin{sol}

Soient $n \in \N^*$ et $\theta \in [0;1]$, on a
\begin{align*}
\esp[\theta]{\bar{X}_n} &= \frac{1}{n}\sum_{k=1}^n \esp[\theta]{X_k} = \frac{1}{n}\sum_{k=1}^n \theta = \theta,\\
\esp[\theta]{T_n} &= \frac{1}{n+2} \esp[\theta]{1+\sum_{k=1}^n X_k} =\frac{1}{n+2}\parentheses*{\esp[\theta]{1}+\sum_{k=1}^n \esp[\theta]{X_k}} = \frac{1+n\theta}{n+2}.
\end{align*}
Donc $b_{\bar{X}_n}(\theta) = \esp[\theta]{\bar{X}_n}-\theta = 0$ et $b_{T_n}(\theta)=\esp[\theta]{T_n}-\theta = \frac{1+n\theta}{n+2}-\theta = \frac{1-2\theta}{n+2}$. On voit que $\bar{X}_n$ est sans biais, mais pas $T_n$.

\end{sol}

\item Pour tout $n \in \N^*$ et $\theta \in [0;1]$, déterminer les risques de $\bar{X}_n$ et $T_n$ en $\theta$.

\begin{sol}

On utilise la relation liant risque, biais et variance. Soient $n \in \N^*$ et $\theta \in [0;1]$, on a
\begin{equation*}
R_{\bar{X}_n}(\theta) = \var[\theta]{\bar{X}_n} + b_{\bar{X}_n}(\theta)^2 = \var[\theta]{\frac{1}{n}\sum_{k=1}^n X_k} = \frac{1}{n^2}\sum_{k=1}^n\var[\theta]{X_k}=\frac{\theta(1-\theta)}{n},
\end{equation*}
où on a utilisé l'indépendance des $(X_k)_{1 \leq k \leq n}$. Pour $T_n$, on peut faire un calcul direct ou remarquer que $T_n = \frac{1}{n+2} + \frac{n}{n+2}\bar{X}_n$. On a alors
\begin{align*}
R_{T_n}(\theta) &= \var[\theta]{T_n} + b_{T_n}(\theta)^2 = \var[\theta]{\frac{1}{n+2} + \frac{n}{n+2}\bar{X}_n} + \parentheses*{\frac{1-2\theta}{n+2}}^2\\
&= \parentheses*{\frac{n}{n+2}}^2 \var[\theta]{\bar{X}_n} + \parentheses*{\frac{1-2\theta}{n+2}}^2 = \frac{n\theta(1-\theta)}{(n+2)^2}+\parentheses*{\frac{1-2\theta}{n+2}}^2\\
&= \frac{1}{(n+2)^2}\parentheses*{n\theta(1-\theta)+1-4\theta+4\theta^2} = \frac{1+(n-4)\theta(1-\theta)}{(n+2)^2}.
\end{align*}

\end{sol}


\item Parmi les estimateurs $\bar{X}_n$ et $T_n$, l'un domine-t-il l'autre? Si oui, lequel?

\begin{sol}

Pour tout $n \in \N^*$, on a $R_{\bar{X}_n}(0)=0 < \frac{1}{(n+2)^2} = R_{T_n}(0)$. Par ailleurs, pour $\theta=\frac{1}{2}$, on a
\begin{align*}
R_{\bar{X}_n}\parentheses*{\frac{1}{2}} &= \frac{1}{4n} & &\text{et} & R_{T_n}\parentheses*{\frac{1}{2}} &= \frac{1+(n-4)\frac{1}{4}}{(n+2)^2} = \frac{n}{4(n+2)^2}.
\end{align*}
Comme $\frac{1}{(n+2)^2} < \frac{1}{n^2}$, on a $R_{T_n}\parentheses*{\frac{1}{2}} =\frac{n}{4(n+2)^2}<\frac{1}{4n}= R_{\bar{X}_n}\parentheses*{\frac{1}{2}}$, et aucun des deux estimateurs ne domine l'autre. Plus généralement, si $n \in \N^*$ est fixé, on remarque que pour tout $\theta \in [0;1]$,
\begin{align*}
R_{T_n}(\theta) < R_{\bar{X}_n}(\theta) &\iff \frac{1+(n-4)\theta(1-\theta)}{(n+2)^2} < \frac{\theta(1-\theta)}{n}\\
&\iff n+n(n-4)\theta(1-\theta) < (n+2)^2\theta(1-\theta) \iff n < (8n+4)\theta(1-\theta) \\
&\iff \frac{n}{4(2n+1)} < \theta(1-\theta) \iff \theta^2-\theta + \frac{n}{4(2n+1)}<0.
\end{align*}
Le dernier terme étant un polynôme de degré $2$ en $\theta$, on peut déterminer ses racines et vérifier qu'il est strictement négatif si et seulement si $\theta \in \left]\frac{1}{2}-\sqrt{\frac{n+1}{4(2n+1)}};\frac{1}{2}+\sqrt{\frac{n+1}{4(2n+1)}}\right[$.

\end{sol}

\item Les estimateurs $\bar{X}_n$ et $T_n$ sont-ils consistants? Fortement consistants?

\begin{sol}

Soit $(X_k)_{k \geq 1}$ une suite de v.a.i.i.d. de loi $\cB(\theta)$. Ces variables sont $L^1$ d'espérance $\theta$. Par la loi forte des grands nombres, on a donc $\bar{X}_n \CVps{n \to +\infty}\theta$, et $T_n = \frac{1}{n+2}+\frac{n}{n+2}\bar{X}_n \CVps{n \to +\infty}\theta$. Les deux estimateurs sont donc fortement consistants, en particulier consistants.

\end{sol}

\item Étudier la normalité asymptotique de $\bar{X}_n$. 

\begin{sol}

Comme les $(X_k)_{k \geq 1}$ sont en fait $L^2$ et de variance $\theta(1-\theta)$, le théorème central limite nous dit que $\sqrt{n}\parentheses*{\frac{\bar{X}_n - \theta}{\sqrt{\theta(1-\theta)}}} =\frac{1}{\sqrt{n}}\sum_{k=1}^n \frac{X_k-\theta}{\sqrt{\theta(1-\theta)}} \CVL{n \to +\infty} \gauss{0}{1}$. Donc
\begin{equation*}
\sqrt{n}\parentheses*{\bar{X}_n - \theta}\CVL{n \to+\infty} \gauss{0}{\theta(1-\theta)},
\end{equation*}
et donc $\bar{X}_n$ est asymptotiquement normal si on se restreint à $\theta \in ]0;1[$.

Si $\theta=0$ alors la suite $(X_k)_{k\geq 1}$ est constante à $0$ presque sûrement. Donc $(\bar{X}_n - \theta)_{n \geq 1}$ aussi. Quelle que soit la suite positive $(R_n)_{n \geq 1}$ on a donc $\parentheses*{R_n(\bar{X}_n - \theta)}_{n \geq 1}$ qui est la suite nulle presque sûrement. En particulier $R_n(\bar{X}_n - \theta) \CVps{n \to +\infty}0$ donc $R_n(\bar{X}_n - \theta) \CVL{n \to +\infty}0$. Cela empêche la suite $(\bar{X}_n)_{n \geq 1}$ d'être asymptotiquement normale.

Si $\theta=1$ alors la suite $(X_k)_{k\geq 1}$ est constante à $1$ presque sûrement. Donc $(\bar{X}_n - \theta)_{n \geq 1}$ est presque sûrement nulle. Comme précédemment, cela empêche la suite $(\bar{X}_n)_{n \geq 1}$ d'être asymptotiquement normale.

\end{sol}

\end{enumerate}

\end{exo}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\begin{exo}[Estimations de gaussiennes]
\label{exo: gaussiennes}

On considère le modèle $\parentheses*{\gauss{\mu}{\sigma^2}}_{\mu \in \R, \sigma >0}$. Pour tout $n \in \N^*$, on définit les estimateurs $\bar{X}_n = \frac{1}{n}\sum_{k=1}^n X_k$ de $\mu$ et $\tilde{S}_n = \frac{1}{n}\sum_{k=1}^n (X_k-\bar{X}_n)^2$ de $\sigma^2$, basés sur le $n$-échantillon $(X_1,\dots,X_n)$.

\begin{enumerate}

\item Déterminer le biais et le risque de $\bar{X}_n$.

\begin{sol}

Soient $n \in \N^*$ et $\theta=(\mu,\sigma) \in \R \times \R_+^* = \Theta$. Les $(X_k)_{1 \leq k \leq n}$ sont des v.a.i.i.d. $\gauss{\mu}{\sigma^2}$. D'après le cours, $\bar{X}_n \sim \gauss{\mu}{\frac{\sigma^2}{n}}$. Donc $b_{\bar{X}_n}(\mu,\sigma)=\esp[(\mu,\sigma)]{\bar{X}_n}-\mu= 0$ et
\begin{equation*}
R_{\bar{X}_n}(\mu,\sigma) = \var[(\mu,\sigma)]{\bar{X}_n} + b_{\bar{X}_n}(\mu,\sigma)^2= \frac{\sigma^2}{n}.
\end{equation*}

\end{sol}

\item Étudier la consistance et la normalité asymptotique de $\bar{X}_n$.

\begin{sol}

Soit $(X_k)_{k \geq 1}$ une suite de v.a.i.i.d. de loi $\gauss{\mu}{\sigma^2}$. Ces variables sont $L^1$ d'espérance $\mu$. Par la loi forte des grands nombres, on a $\bar{X_n} \CVps{n \to +\infty} \mu$. Donc l'estimateur $\bar{X}_n$ est fortement consistant, en particulier consistant.

On a vu que, pour tout $n \in \N^*$, $\bar{X}_n \sim \gauss{\mu}{\frac{\sigma^2}{n}}$. Donc $\sqrt{n}\parentheses*{\bar{X}_n - \mu} \sim \gauss{0}{\sigma^2}$. C'est vrai à $n$ fixé, l'estimateur est non-asymptotiquement normal. En particulier, il est aussi asymptotiquement normal: $\sqrt{n}\parentheses*{\bar{X}_n - \mu} \CVL{n \to +\infty} \gauss{0}{\sigma^2}$.

\end{sol}

\item Calculer le biais de $\tilde{S}_n$. Montrer que, si $n \geq 2$, $S_n = \frac{n}{n-1}\tilde{S}_n$ est un estimateur sans biais de~$\sigma^2$.

\begin{sol}

Soient $n \in \N^*$ et $(\mu,\sigma) \in \R \times \R_+^*$. Soit $k \in \ssquarebrackets{1}{n}$, on a 
\begin{equation*}
X_k - \bar{X}_n = X_k-\frac{1}{n}\sum_{i=1}^n X_i = \frac{n-1}{n}X_k + \sum_{i\neq k} \parentheses*{-\frac{1}{n}}X_i.
\end{equation*}
Par combinaison linéaire $X_k-\bar{X}_n$ est $L^2$, donc $(X_k-\bar{X}_n)^2$ est $L^1$, donc $\tilde{S}_n$ est~$L^1$. Ensuite,
\begin{equation*}
\esp[(\mu,\sigma)]{X_k - \bar{X}_n} = \frac{n-1}{n}\esp[(\mu,\sigma)]{X_k} - \sum_{i\neq k} \frac{1}{n}[(\mu,\sigma)]{X_i} = \parentheses*{\frac{n-1}{n}-(n-1)\frac{1}{n}}\mu=0.
\end{equation*}
Donc $\var[(\mu,\sigma)]{X_k - \bar{X}_n}=\esp[(\mu,\sigma)]{\parentheses*{X_k - \bar{X}_n}^2}$ et, par indépendance, on a
\begin{align*}
\var[(\mu,\sigma)]{X_k - \bar{X}_n} &= \var[(\mu,\sigma)]{\frac{n-1}{n}X_k} + \sum_{i \neq k}\var[(\mu,\sigma)]{-\frac{1}{n}X_i}\\
&= \parentheses*{\frac{(n-1)^2}{n^2}+\frac{n-1}{n^2}}\sigma^2= \frac{n-1}{n}\sigma^2.
\end{align*}
Donc $\esp[(\mu,\sigma)]{\tilde{S}_n} = \frac{1}{n}\sum_{k=1}^n \esp[(\mu,\sigma)]{\parentheses*{X_k - \bar{X}_n}^2} =\frac{n-1}{n}\sigma^2$ et $b_{\tilde{S}_n}(\mu,\sigma)=-\frac{1}{n}\sigma^2$. Ensuite, si $n \geq 2$, $\esp[(\mu,\sigma)]{S_n} = \esp[(\mu,\sigma)]{\frac{n}{n-1}\tilde{S}_n} = \frac{n}{n-1}\esp{\tilde{S}_n} =\sigma^2$, donc $S_n$ est un estimateur non biaisé.

\end{sol}

\item On admet que, pour tout $n \geq 2$, $\var{S_n} = \frac{2\sigma^4}{n-1}$. Déterminer les risques de $S_n$ et $\tilde{S}_n$.

\begin{sol}

Soient $n \geq 2$ et $(\mu,\sigma) \in \R \times \R_+^*$. Comme $S_n$ est non biaisé, $R_{S_n}(\mu,\sigma) = \var[(\mu,\sigma)]{S_n} = \frac{2\sigma^4}{n-1}$. Par ailleurs,
\begin{align*}
R_{\tilde{S}_n}(\mu,\theta) &= \var[(\mu,\sigma)]{\tilde{S}_n} + b_{\tilde{S}_n}(\mu,\theta)^2 = \parentheses*{\frac{n-1}{n}}^2 \var[(\mu,\sigma)]{S_n} + \frac{\sigma^4}{n^2} = \frac{\sigma^4}{n^2}\parentheses*{2(n-1)+1}\\
&= \frac{2n-1}{n^2}\sigma^4.
\end{align*}

\end{sol}

\item Parmi les estimateurs $S_n$ et $\tilde{S}_n$, l'un domine-t-il l'autre? Si oui, lequel?

\begin{sol}

Soit $n \geq 2$, pour tout $(\mu,\sigma) \in \R \times \R_+^*$ on a
\begin{align*}
R_{S_n}(\mu,\sigma) - R_{\tilde{S}_n}(\mu,\theta) &= \sigma^4 \parentheses*{\frac{2}{n-1}- \frac{2n-1}{n^2}} = \frac{\sigma^4}{n^2(n-1)}\parentheses*{2n^2-(2n-1)(n-1)}\\
&= \frac{\sigma^4(3n-1)}{n^2(n-1)}>0.
\end{align*}
Donc $\tilde{S}_n$ domine $S_n$. On voit que $\tilde{S}_n$ est en un sens un meilleur estimateur de $\sigma^2$ que $S_n$, même si $\tilde{S}_n$ est biaisé et pas $S_n$.

\end{sol}

\end{enumerate}

\end{exo}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\begin{exo}[Estimation de Bernoullis]

On considère le modèle $\parentheses*{\cB(\theta)}_{\theta \in [0;1]}$. Soient $n \in \N^*$ et $(X_1,\dots,X_n)$ un $n$-échantillon de loi-mère $\cB(\theta)$, où $\theta \in [0;1]$. On introduit aussi $X \sim \cB(\theta)$.

\begin{enumerate}

\item Expliciter l'espace d'observations $\cX$, sa tribu $\cB$ et l'espace de paramètres $\Theta$ pour ce modèle.

\begin{sol}

L'espace $\cX$ est celui dans lequel les variables $\cB(\theta)$ sont susceptibles de prendre leurs valeurs. Ici $\cX= \brackets{0;1}$, on l'équipe de $\cB = \cP\parentheses*{\brackets{0;1}}$. L'espace de paramètre est $\Theta=[0;1]$.

\end{sol}

\item Déterminer la fonction $\mu_1:\theta \mapsto \esp[\theta]{X}$.

\begin{sol}

Pour tout $\theta \in [0;1]$, on a $\mu_1(\theta) = \esp[\theta]{X} = \theta$.

\end{sol}

\item En déduire l'estimateur $T_n$ de $\theta$ par la méthode des moments.

\begin{sol}

On a $\mu_1 : \theta \mapsto \theta$ de $[0;1]$ dans lui-même. C'est l'identité, en particulier un sympathique homéomorphisme. Pour tout $n \in \N^*$, les variables $(X_k)_{1 \leq k \leq n}$ sont à valeurs dans $[0;1]$, donc $\bar{X}_n = \frac{1}{n}\sum_{k=1}^n X_k$ aussi. Donc l'estimateur de $\theta$ par la méthode des moments est bien défini, et c'est $T_n = \mu_1^{-1}(\bar{X}_n) = \bar{X}_n$.

\end{sol}

\item Déterminer la fonction de probabilité $\parentheses*{p_n(\theta,k_1,\dots,k_n)}_{0 \leq k_1,\dots,k_n \leq 1}$ de $(X_1,\dots,X_n)$ sous $\cB(\theta)$.

\begin{sol}

Pour tout $\theta \in [0;1]$, la fonction de probabilité de $X \sim \cB(\theta)$ est $\parentheses{p(\theta,k)}_{0 \leq k \leq 1}$ où $p(\theta,1)=\theta$ et $p(\theta,0)=1-\theta$. C'est-à-dire $p:(\theta,k) \mapsto \theta^k (1-\theta)^{1-k}$ de $[0;1] \times \brackets{0;1}$ vers $[0;1]$.

La loi d'un échantillon $(X_1,\dots,X_n)$ de loi-mère $\cB(\theta)$ est donc décrite par la fonction de probabilité $\parentheses*{p_n(\theta,k_1,\dots,k_n)}_{0 \leq k_1,\dots,k_n \leq 1}$ où, pour tout $k_1,\dots,k_n \in \brackets{0;1}$,
\begin{equation*}
p_n(\theta,k_1,\dots,k_n) = \prod_{i=1}^n p(\theta,k_i) = \prod_{i=1}^n \theta^{k_i}(1-\theta)^{1-k_i} = \theta^{\sum_{i=1}^n k_i}(1-\theta)^{n -\sum_{i=1}^n k_i}.
\end{equation*}

\end{sol}

\item Pour tout $k=(k_1,\dots,k_n) \in \brackets{0;1}^n$, déterminer la fonction de vraisemblance $V_k$ associée.

\begin{sol}

Soit $k=(k_1,\dots,k_n) \in \brackets{0;1}^n$, la fonction de vraisemblance associée est
\begin{equation*}
V_k : \theta \longmapsto p_n(\theta,k_1,\dots,k_n) = \theta^{\sum_{i=1}^n k_i}(1-\theta)^{n -\sum_{i=1}^n k_i} = \theta^{\Norm{k}_1}(1-\theta)^{n-\Norm{k}_1},
\end{equation*}
où on a noté $\Norm{k}_1 = \sum_{i=1}^n k_i$.

\end{sol}

\item En déduire l'estimateur $S_n$ de $\theta$ par la méthode du maximum de vraisemblance.

\begin{sol}

Soit $k=(k_1,\dots,k_n) \in \brackets*{0;1}$, la fonction $V_k$ est un polynôme de degré $n$. Cette fonction est continue sur $[0;1]$ donc y admet un maximum. On a $V_k(0)=0=V_k(1)$ mais $V_k\parentheses*{\frac{1}{2}}=\frac{1}{2^n} >0$. Donc le maximum de $V_k$ est strictement positif, donc atteint sur $]0;1[$. Comme $V_k$ est $\cC^1$ et atteint son maximum sur $]0;1[$, ce maximum est atteint en un point critique.

Pour tout $\theta \in [0;1]$,
\begin{align*}
V_k'(\theta)& = \Norm{k}_1 \theta^{\Norm{k}_1-1}(1-\theta)^{n-\Norm{k}_1}-(n-\Norm{k}_1)\theta^{\Norm{k}_1}(1-\theta)^{n-\Norm{k}_1-1}\\
&= \parentheses*{\Norm{k}_1(1-\theta)-(n-\Norm{k}_1)\theta} \theta^{\Norm{k}_1-1}(1-\theta)^{n-\Norm{k}_1-1}\\
&= \parentheses*{\Norm{k}_1-n\theta} \theta^{\Norm{k}_1-1}(1-\theta)^{n-\Norm{k}_1-1}
\end{align*}
Si $\theta \in ]0;1[$ on a
\begin{equation*}
V_k'(\theta) = 0 \iff \Norm{k}_1-n\theta = 0 \iff \theta = \frac{\Norm{k}_1}{n} = \frac{1}{n}\sum_{i=1}^n k_i.
\end{equation*}
Donc $V_k$ a un unique point critique dans $]0;1[$, qui est nécessairement son maximum. Ainsi, la fonction $V_k$ admet un unique maximum, et $\arg\max_{\theta \in [0;1]} V_k(\theta) = \frac{1}{n}\sum_{i=1}^n k_i$.

Soit $h_n:(k_1,\dots,k_n) \mapsto  \frac{1}{n}\sum_{i=1}^n k_i$ de $\brackets*{0;1}^n$ vers $[0;1]$. L'estimateur du maximum de vraisemblance de $\theta$ est bien défini et est $S_n = h_n(X_1,\dots,X_n) = \frac{1}{n}\sum_{i=1}^n X_i=\bar{X}_n$.

On remarque que la méthode des moments et celle du maximum de vraisemblance donne le même estimateur de $\theta$, qui est la moyenne empirique $\bar{X}_n$.

\end{sol}

\end{enumerate}

\end{exo}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\begin{exo}[Pile ou face]

On joue une infinité de fois à pile ou face avec une probabilité de succès $\theta \in\, ]0;1]$ inconnue. On note $X$ le nombre d'essais nécessaires pour obtenir un premier succès. On répète $n$ fois l'expérience précédente indépendamment et on note $X_1,\dots,X_n$ les résultats obtenus.

\begin{enumerate}

\item Proposer un modèle $\parentheses*{\cX,\cA,(\P_\theta)_{\theta \in \Theta}}$ décrivant cette expérience.

\begin{sol}

L'espace d'observations $\cX$ est celui dans lequel les variables $X_1,\dots,X_n$ prennent leurs valeurs, ici $\cX=\N^*$. Comme il est discret, on le munit de la tribu de ses parties $\cA = \cP(\N^*)$. L'espace des paramètres est $\Theta=]0;1]$. Pour $\theta \in ]0;1]$, la v.a. $X$ est l'indice du premier succès dans une expérience de Bernoulli, donc $X \sim \cG(\theta)$. On a donc $\P_\theta=\cG(\theta)$ pour tout $\theta \in ]0;1]$. Finalement, le modèle est $\parentheses*{\N^*,\cP(\N^*),(\cG(\theta))_{\theta \in ]0;1]}}$, ce que l'on peut abréger en $(\cG(\theta))_{\theta \in ]0;1]}$.

\end{sol}

\item Déterminer l'estimateur $T_n$ de $\theta$ par la méthode des moments.

\begin{sol}

On considère la fonction $\mu_1:\theta \mapsto \esp[\theta]{X}$. Pour tout $\theta \in ]0;1]$, on sait que sous $\cG(\theta)$ la variable $X$ est $L^1$ et $\mu_1(\theta ) = \esp[\theta]{X} = \frac{1}{\theta}$. Donc $\mu_1:\theta \mapsto \frac{1}{\theta}$ est une bijection de $]0;1]$ vers $[1;+\infty[$ dont la réciproque est $\mu_1^{-1}:x \mapsto \frac{1}{x}$.

Comme les $(X_k)_{1 \leq k \leq n}$ sont à valeurs dans $[1;+\infty[$, c'est aussi le cas de $\bar{X}_n = \frac{1}{n}\sum_{k=1}^n X_k$. Donc l'estimateur de $\theta$ par la méthode des moments est bien défini et c'est
\begin{equation*}
T_n = \mu_1^{-1}(\bar{X}_n) = \frac{1}{\bar{X}_n} = \frac{n}{\sum_{k=1}^n X_k}.
\end{equation*}

\end{sol}

\item Déterminer l'estimateur $S_n$ de $\theta$ par la méthode du maximum de vraisemblance.

\begin{sol}

Soit $p:(\theta,k) \mapsto (1-\theta)^{k-1}\theta$ de $]0;1] \times \N^*$ vers $[0;1]$, de sorte que, pour tout $\theta \in ]0;1]$, $\parentheses*{p(\theta,k)}_{k \geq 1}$ est la fonction de probabilité de $\cG(\theta)$. La fonction de probabilité d'un $n$-échantillon de loi-mère $\cG(\theta)$ est donc $\parentheses*{p_n(\theta,k_1,\dots,k_n)}_{1 \leq k_1,\dots, k_n}$ où
\begin{equation*}
p_n : \parentheses*{\theta,k_1,\dots,k_n} \longmapsto \prod_{i=1}^n p(\theta,k_i) = \prod_{i=1}^n \squarebrackets{(1-\theta)^{k_i-1}\theta} = \theta^n (1-\theta)^{\Norm{k}_1 - n}.
\end{equation*}
Ici on a noté $k=(k_1,\dots,k_n)$ et $\Norm{k}_1 = \sum_{i=1}^n k_i$.

Soit $k =(k_1,\dots,k_n) \in (\N^*)^n$, la fonction de vraisemblance associée est $V_k:\theta \mapsto \theta^n (1-\theta)^{\Norm{k}_1 - n}$ de $]0;1]$ vers $\R$. C'est un polynôme en $\theta$, en particulier elle s'étend en une fonction continue sur $[0;1]$. Par continuité, le prolongement admet un maximum sur $[0;1]$. Comme le prolongement s'annule en $0$ et $1$, et est à valeurs strictement positives ailleurs, ce maximum est atteint sur $]0;1[$. C'est donc aussi un maximum pour $V_k$.

Ainsi, $V_k$ atteint un maximum sur $]0;1[$ où elle est strictement positive. Soit $l_k = \ln \circ V_k$ de $]0;1[$ vers $\R$. Par stricte croissance du $\ln$, les points où $V_k$ atteint son maximum sont exactement les points où $l_k$ atteint son maximum. Il suffit donc de déterminer les points où $l_k$ est maximum.

La fonction $l_k$ atteint un maximum sur $]0;1[$ et c'est en un point critique puisqu'elle est $\cC^1$. Pour tout $\theta \in ]0;1[$, on a
\begin{align*}
l_k(\theta) &= n \ln(\theta) + (\Norm{k}_1-n) \ln(1-\theta),\\
l_k'(\theta) &= \frac{n}{\theta} - \frac{\Norm{k}_1-n}{1-\theta},
\end{align*}
donc $l_k'(\theta)=0 \iff \frac{n}{\theta} = \frac{\Norm{k}_1-n}{1-\theta}\iff (1-\theta)n = \theta(\Norm{k}_1-n) \iff n = \theta \Norm{k}_1 \iff \theta = \frac{n}{\Norm{k}_1}$. Ainsi, $l_k$ a un unique point critique dans $]0;1[$, qui est nécessairement un maximum. Donc $l_k$ admet un unique maximum, en $\frac{n}{\Norm{k}_1} = \frac{n}{\sum_{i=1}^n k_i}$, et c'est aussi le cas de $V_k$.

Soit $h_n:(k_1,\dots,k_n) \mapsto \arg\max_{\theta\in ]0;1]}V_k(\theta)= \frac{n}{\sum_{i=1}^n k_i}$ de $(\N^*)^n$ vers $\R$. L'estimateur du maximum de vraisemblance de $\theta$ est bien défini et est $S_n = h_n(X_1,\dots,X_n) = \frac{1}{\bar{X}_n}$.

On remarque de nouveau que $T_n= S_n$. Attention, ce n'est pas un phénomène général.

\end{sol}

\item Montrer que $T_n$ est un estimateur fortement consistants.

\begin{sol}

Ici $\Theta = ]0;1]$ est un intervalle, $\mu_1:\theta \mapsto \frac{1}{\theta}$ est bien définie, continue et injective. De plus $T_n$ est bien défini pour tout $n \in \N^*$. D'après le cours, $(T_n)_{n \in \N^*}$ et une suite fortement consistante d'estimateurs de $\theta$.

À la main, sous $\cG(\theta)$ on a $\bar{X}_n \CVps{n\to+\infty} \frac{1}{\theta}$ par la loi forte des grands nombres. Comme $x \mapsto \frac{1}{x}$ est continue sur $\R_+^*$, on a $T_n = \frac{1}{\bar{X}_n} \CVps{n \to +\infty} \theta$.

\end{sol}

\item Étudier la normalité asymptotique de $T_n$.

\begin{sol}

Commençons par nous restreindre au cas $\theta \in \, ]0;1[$. Pour tout $\theta \in \, ]0;1[$, sous $\cG(\theta)$ la variable $X$ est $L^2$ et $\var[\theta]{X} = \frac{1-\theta}{\theta^2}$. L'espace de paramètres $]0;1[$ est un intervalle ouvert sur lequel $\mu_1$ est $\cC^1$ et $\mu_1':\theta \mapsto -\frac{1}{\theta^2}$ ne s'annule pas. D'après le cours, pour tout $\theta \in\, ]0;1[$ on a
\begin{equation*}
\sqrt{n}(T_n - \theta) \CVL{n \to +\infty} \gauss{0}{\sigma_\theta^2},
\end{equation*}
où $\sigma_\theta^2 = \frac{\var[\theta]{X}}{\mu_1'(\theta)^2} = \theta^4\frac{1-\theta}{\theta^2} = \theta^2(1-\theta)>0$. Donc $T_n$ est asymptotiquement normal si $\theta \in ]0;1[$.

Lorsque $\theta=1$, alors presque sûrement $X_k=1$ pour tout $k \geq 1$, et donc $\bar{X}_n=1$ pour tout $n \in \N^*$. Dans ce cas, presque sûrement, pour tout $n \in \N^*$, $T_n = 1 = \theta$. Pour toute suite $(R_n)_{n \in \N^*}$ positive on a donc presque sûrement, $R_n(T_n-\theta)=0$ pour tout $n \in \N^*$. Donc $R_n(T_n-\theta) \CVps{n \to +\infty}0$, et donc $R_n(T_n-\theta) \CVL{n \to +\infty}0$. Dans ce cas, on n'a aucune chance d'avoir normalité asymptotique.

\end{sol}

\end{enumerate}

\end{exo}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\begin{exo}[Blitzkrieg]

Au début de la seconde guerre mondiale, les allemands numérotaient les chars produits un mois donné de $1$ à $N$. Un espion se place au bord d'une route et relève les numéros des chars qui passent. Il cherche à en déduire le nombre $N$ de chars produit ce mois-ci. Un même char peut repasser plusieurs fois, et on suppose les passages indépendants. On note $n \in \N^*$ le nombre d'observations.

\begin{enumerate}

\item Proposer un modèle statistique pour cette expérience.

\begin{sol}

Le paramètre que l'on cherche à observer est $N \in \N^*$. On prend donc $\Theta = \N^*$.

Si le nombre de chars produit ce mois-ci est $N \in \N^*$, alors on peut observer des numéros entiers entre $1$ et $N$. L'espace d'observations $\cX$ doit donc contenir $\ssquarebrackets{1}{N}$. Comme on ne connait pas $N$, cela doit être vrai pour tout $N \in \N^*$. Il est donc naturel de considérer $\cX = \N^*$. Cet espace contient bien tous les résultats d'observations envisageables. Comme $\cX$ est discret, on le munit de la tribu de ses parties.

Une observation consiste à relever le numéro d'un char choisi au hasard. Tous les chars étant a priori équivalents, il est naturel de supposer que, connaissant $N$, la loi est uniforme $\cU\parentheses*{\ssquarebrackets{1}{N}}$. Ici c'est une hypothèse de modélisation, donc discutable\dots

Finalement, on obtient le modèle $\parentheses*{\N^*,\cP(\N^*), \parentheses*{\cU\parentheses*{\ssquarebrackets{1}{N}}}_{N \in \N^*}}$, ou $\parentheses*{\cU\parentheses*{\ssquarebrackets{1}{N}}}_{N \in \N^*}$ en abrégé.

\end{sol}

\item Déterminer l'estimateur $M_n$ de $N$ par la méthode du maximum de vraisemblance.

\begin{sol}

On se place dans le $\parentheses*{\cU\parentheses*{\ssquarebrackets{1}{N}}}_{N \in \N^*}$. Soit $n \in \N^*$ et soit $(X_1,\dots,X_n)$ un $n$-échantillon de loi-mère $\cU\parentheses*{\ssquarebrackets{1}{N}}$. La loi $\cU\parentheses*{\ssquarebrackets{1}{N}}$ est déterminée par la fonction de probabilité $\parentheses*{p(N,k)}_{k \in \N^*}$, où pour tout $N$ et $k \in \N^*$ on a $p(N,k) = \frac{1}{N}$ si $k \in \ssquarebrackets{1}{N}$ et $p(N,k)=0$ sinon. C'est-à-dire $p(N,k) = \frac{1}{N} \one_{\ssquarebrackets{1}{N}}(k)$.

Pour tout $k=(k_1,\dots,k_n) \in (\N^*)^n$, on note $\Norm{k}_\infty=\max_{1 \leq i \leq n} k_i$ et on pose
\begin{equation*}
p_n(N,k_1,\dots,k_n) = \prod_{i=1}^n p(N,k_i) = \frac{1}{N^n} \prod_{i=1}^n \one_{\ssquarebrackets{1}{N}}(k_i) = \frac{1}{N^n} \one_{[\Norm{k}_\infty;+\infty[}(N)
\end{equation*}
de sorte que $\parentheses*{p_n(N,k_1,\dots,k_n)}_{k_1,\dots,k_n \in \N^*}$ est la fonction de probabilité de notre $n$-échantillon.

Soit $k=(k_1,\dots,k_n) \in (\N^*)^n$, la vraisemblance associée est $V_k:N \mapsto \frac{1}{N^n} \one_{[\Norm{k}_\infty;+\infty[}(N)$ de $\N^*$ vers $[0;1]$. On a $V_k(N)=0$ pour tout $N< \Norm{k}_\infty$. Si $N \geq \Norm{k}_\infty$, alors $V_k(N) = \frac{1}{N^n}$ et c'est une suite strictement décroissante avec $N$. Donc $V_k$ atteint un unique maximum, en $\Norm{k}_\infty = \max_{1 \leq i \leq n}k_i$.

Soit $h_n:(k_1,\dots,k_n) \mapsto \arg\max_{N \in \N^*}V_k(N)= \max_{1 \leq i \leq n}k_i$ de $(\N^*)^n$ vers $\N^*$. L'estimateur du maximum de vraisemblance de $N$ est bien défini et est $M_n = h_n(X_1,\dots,X_n) = \max_{1 \leq i \leq n}X_i$.

\end{sol}

\item Soient $n$ et $N \in \N^*$, calculer $\P\parentheses*{M_n \neq N}$.

\begin{sol}

On travaille sous la loi-mère $\cU\parentheses*{\ssquarebrackets{1}{N}}$. Pour tout $i \in \ssquarebrackets{1}{n}$, la variable $X_i$ est à valeurs dans $\ssquarebrackets*{1}{N}$, donc $M_n$ aussi. On a donc
\begin{equation*}
M_n \neq N \iff M_n \in \ssquarebrackets{1}{N-1} \iff \forall i \in \ssquarebrackets{1}{n}, X_i \in \ssquarebrackets{1}{N-1}.
\end{equation*}
Comme les $(X_i)_{1 \leq i \leq n}$ sont indépendantes,
\begin{equation*}
\P\parentheses*{M_n \neq N} = \P\parentheses*{\forall i \in \ssquarebrackets{1}{n}, X_i \in \ssquarebrackets{1}{N-1}} = \prod_{i=1}^n \P\parentheses*{X_i \in \ssquarebrackets{1}{N-1}} = \parentheses*{\frac{N-1}{N}}^n.
\end{equation*}

\end{sol}

\item Soit $(R_n)_{n \in \N^*}$ une suite positive, montrer que $R_n(M_n-N) \CVP{n \to +\infty}0$.

\begin{sol}

Soit $N \in \N^*$, on travaille sous la loi-mère $\cU\parentheses*{\ssquarebrackets{1}{N}}$. Soit $\epsilon>0$, si $\norm{R_n(M_n-N)}>\epsilon$, alors en particulier $M_n \neq N$. Donc $\brackets*{\omega \in \Omega \mvert \norm{R_n(M_n(\omega)-N)}>\epsilon} \subset \brackets*{\omega \in \Omega \mvert M_n(\omega) \neq N}$ et
\begin{equation*}
\P\parentheses*{\norm{R_n(M_n-N)}>\epsilon} \leq \P\parentheses*{M_n \neq N} = \parentheses*{\frac{N-1}{N}}^n \xrightarrow[n \to +\infty]{}0,
\end{equation*}
car $0 \leq \frac{N-1}{N} <1$. C'est valable pour tout $\epsilon>0$, d'où le résultat souhaité.

\end{sol}

\item L'estimateur $M_n$ est-il consistant? Est-il asymptotiquement normal?

\begin{sol}

Appliquons le résultat de la question précédente avec $R_n =1$ pour tout $n \in \N^*$, on obtient que, sous la loi-mère $\cU\parentheses*{\ssquarebrackets{1}{N}}$, on a $M_n-N \CVP{n \to +\infty}0$. Donc $M_n \CVP{n \to +\infty}N$.

C'est valable pour tout $N \in \N^*$, donc $(M_n)_{n \in \N^*}$ est une suite consistante d'estimateurs de $N$.

En revanche, pour toute suite positive $(R_n)_{n \in \N^*}$, on a $R_n(M_n-N) \CVP{n \to +\infty}0$, ce qui implique $R_n(M_n-N) \CVL{n \to +\infty}0$. On n'a donc aucune chance d'avoir de la normalité asymptotique.

\end{sol}

\item Peut-on définir un estimateur $T_n$ de $N$ par la méthode des moments?

\begin{sol}

Pour $N \in \N^*$, on note $X \sim \cU\parentheses*{\ssquarebrackets{1}{N}}$ et $(X_1,\dots,X_n)$ un $n$-échantillon de loi-mère $\cU\parentheses*{\ssquarebrackets{1}{N}}$. Soit $\mu_1: N \mapsto \esp[N]{X} =\frac{N+1}{2}$ de $\N^*$ vers $\R$.

La suite $\parentheses*{\mu_1(N)}_{N \in \N^*}$ est bien définie et strictement croissante, en particulier injective. En revanche, son image est $\brackets*{1;\frac{3}{2};2;\frac{5}{2};\dots}$. Soit $n \geq 3$, si $N\geq 2$, alors avec probabilité positive on aura $(X_1,\dots,X_n)=(2;1;\dots;1)$ et $\bar{X}_n = 1+\frac{1}{n} \in\, ]1;\frac{3}{2}[$. Avec probabilité positive, on a $\bar{X}_n \notin \mu_1(\N^*)$. Ça n'a donc pas de sens de considérer $\mu_1^{-1}(\bar{X}_n)$ car cette quantité n'est pas bien définie, même presque sûrement.

Ici, $\mu_1$ est la restriction à $\N^*$ de $t \mapsto \frac{1+t}{2}$ qui est bijective de $\R$ dans $\R$, et de réciproque $x \mapsto 2x-1$. Il est donc quand même très tentant de définir un estimateur de type méthode des moments en posant $T_n = \floor{2\bar{X}_n -1}$, où on prend la partie entière pour arriver dans $\N^*$.

\end{sol}

\end{enumerate}

\end{exo}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\begin{exo}[Exemple à densité]

On étudie le modèle $\parentheses*{\R,\cB\parentheses*{\R},\parentheses*{\P_\theta}_{\theta>0}}$ où, pour tout $\theta>0$, la loi $\P_\theta$ admet la densité $x \mapsto \frac{1}{2\sqrt{x\theta}} \one_{]0;\theta]}(x)$. Soient $n \in \N^*$ et $(X_1,\dots,X_n)$ un échantillon de loi-mère $\P_\theta$.

\begin{enumerate}

\item Déterminer l'estimateur $T_n$ de $\theta$ par la méthode des moments.

\begin{sol}

Ici on a $\Theta = \R_+^*$. Soit $\theta >0$, on a $\int_0^\theta \frac{1}{2\sqrt{x\theta}} \dx x = \squarebrackets*{\sqrt{\frac{x}{\theta}}}_0^\theta=1$, donc $\P_\theta$ est bien un loi de probabilité. De plus, $\int_0^\theta x \frac{1}{2\sqrt{x\theta}} \dx x = \frac{1}{2\sqrt{\theta}}\int_0^\theta \sqrt{x} \dx x = \frac{1}{\sqrt{\theta}} \squarebrackets*{\frac{x^\frac{3}{2}}{3}}_0^\theta = \frac{\theta}{3}$. Si on note $X \sim \P_\theta$, on a donc $\mu_1:\theta \mapsto \esp[\theta]{X}=\frac{\theta}{3}$. Donc $\mu_1$ est bien définie, bijective de $\R_+^*$ dans lui-même, et de réciproque $\mu_1^{-1}:x \mapsto 3x$.

Sous $\P_\theta$, pour tout $k \in \ssquarebrackets*{1}{n}$ on a $X_k >0$, donc $\bar{X}_n >0$. Donc, pour tout $n \in \N^*$, $\bar{X}_n$ est à valeurs dans $\R_+^*= \mu_1(\R_+^*)$. Donc l'estimateur de $\theta$ par la méthode des moments est bien défini et c'est $T_n = 3\bar{X}_n = \frac{3}{n}\sum_{k=1}^n X_k$.

\end{sol}

\item Montrer que $T_n$ est fortement consistant.

\begin{sol}

Soit $(X_k)_{k \geq 1}$ des v.a.i.i.d. de loi $\P_\theta$. Ces variables sont $L^1$ d'espérance $\frac{\theta}{3}$. Par la loi forte des grands nombres, on a donc $\bar{X}_n\CVps{n \to +\infty} \frac{\theta}{3}$. D'où $T_n \CVps{n \to +\infty} \theta$. Donc $T_n$ est fortement consistant.

Alternativement, on peut utiliser le résultat du cours. En effet $\Theta = ]0;+\infty[$ est un intervalle, $\mu_1$ est bien définie, continue et injective, et $T_n$ est bien défini pour tout $n \in \N^*$. Donc $T_n$ est fortement consistant.

\end{sol}

\item Montrer que $T_n$ est asymptotiquement normal.

\begin{sol}

On applique le résultat du cours. On a que $\Theta=\,]0;+\infty[$ est un intervalle ouvert. Pour tout $n \in \N^*$, $T_n$ est bien défini. La fonction $\mu_1:\theta \mapsto \frac{\theta}{3}$ est de classe $\cC^1$ et de dérivée constante égale à $\frac{1}{3} \neq 0$. Si on montre que, pour tout $\theta >0$ on a $\esp[\theta]{X^2}<+\infty$ on aura gagné.

Soit $\theta>0$, on a
\begin{equation*}
\esp[\theta]{X^2} = \int_0^\theta x^2 \frac{1}{2\sqrt{x\theta}} \dx x = \frac{1}{2\sqrt{\theta}}\int_0^\theta x^\frac{3}{2} \dx x = \frac{1}{\sqrt{\theta}} \squarebrackets*{\frac{x^\frac{5}{2}}{5}}_0^\theta = \frac{\theta^2}{5}<+\infty.
\end{equation*}
Par ailleurs, on a $\var[\theta]{X} = \esp[\theta]{X^2}-\esp[\theta]{X}^2 = \frac{\theta^2}{5} - \frac{\theta^2}{9} = \theta^2\parentheses*{\frac{1}{5}-\frac{1}{9}} = \frac{4}{45}\theta^2$ et donc $\frac{\var[\theta]{X}}{\mu_1'(\theta)^2} = 9\var[\theta]{X} = \frac{4}{5}\theta^2$. D'après le cours, pour tout $\theta>0$,
\begin{equation*}
\sqrt{n}(T_n - \theta) \CVL{n \to +\infty} \gauss{0}{\frac{4}{5}\theta^2}.
\end{equation*}


\end{sol}

\item Déterminer l'estimateur $M_n$ de $\theta$ par la méthode du maximum de vraisemblance.

\begin{sol}

Soit $f:(\theta,x) \mapsto \frac{1}{2\sqrt{x\theta}} \one_{]0;\theta]}(x)$ de $\R_+^* \times \R$ vers $\R_+$. De la sorte, pour tout $\theta>0$, $f(\theta,\cdot)$ est la densité de $\P_\theta$. La densité d'un $n$-échantillon de loi-mère $\P_\theta$ est alors $f_n(\theta,\cdot)$, où
\begin{equation*}
f_n:(\theta,x_1,\dots,x_n) \longmapsto \prod_{k=1}^n f(\theta,x_k) = \prod_{k=1}^n \frac{1}{2\sqrt{x_k\theta}} \one_{]0;\theta]}(x_k) = \frac{1}{2^n \theta^\frac{n}{2}}\frac{1}{\sqrt{x_1\dots x_n}} \prod_{k=1}^n \one_{]0;\theta]}(x_k).
\end{equation*}
On peut noter que le produit $\prod_{k=1}^n \one_{]0;\theta]}(x_k)$ vaut $1$ si $0<x_k \leq \theta$ pour tout $k \in \ssquarebrackets{1}{n}$ et $0$ sinon. C'est-à-dire, il vaut $1$ si les $(x_k)$ sont strictement positifs et $\theta \geq \max_{1 \leq k \leq n} x_k = \Norm{x}_\infty$ et $0$ sinon. Ainsi, pour tout $\theta >0$, pour tout $x_1,\dots,x_n \in \R$, on a
\begin{equation*}
f(\theta,x_1,\dots,x_n) = \frac{1}{2^n \theta^\frac{n}{2}}\frac{1}{\sqrt{x_1\dots x_n}} \one_{[\Norm{x}_\infty;+\infty[}(\theta) \prod_{k=1}^n \one_{\R_+^*}(x_k).
\end{equation*}

Si $x=(x_1,\dots,x_n) \in \R^n$, la fonction de vraisemblance associée est $V_x:\theta \mapsto f_n(\theta,x_1,\dots,x_n)$. Si l'un des $(x_k)_{1 \leq k \leq n}$ est négatif ou nul, alors $V_x = 0$, et en particulier $x \notin D_n$. Ici $D_n \subset \R^n$ est l'ensemble des $x$ tels que $V_x$ admette un unique maximum sur $\R_+^*$.

Si pour tout $k \in \ssquarebrackets*{1}{n}$, $x_k >0$, alors $V_x:\theta \mapsto \frac{1}{2^n \theta^\frac{n}{2}}\frac{1}{\sqrt{x_1\dots x_n}} \one_{[\Norm{x}_\infty;+\infty[}(\theta)$ de $\R_+^*$ vers $\R_+$. Cette fonction est nulle sur $]0;\Norm{x}_\infty[$ et coïncide avec la fonction strictement décroissante $\theta \mapsto \frac{1}{2^n \theta^\frac{n}{2}}\frac{1}{\sqrt{x_1\dots x_n}}$ sur $[\Norm{x}_\infty;+\infty[$. Elle atteint donc un unique maximum en $\Norm{x}_\infty$. Dans ce cas, on a donc $x \in D_n$ et $\arg\max_{\theta>0} V_x(\theta) =\Norm{x}_\infty$.

On a donc $D_n = ]0;+\infty[^n$. Le $n$-échantillon $(X_1,\dots,X_n)$ est bien à valeurs dans $D_n$, puisque sous $\P_\theta$ chaque $X_k$ est à valeurs dans $]0;\theta]$. Soit $h_n:D_n \to \R_+$ la fonction définie par $(x_1,\dots,x_n) \mapsto \Norm{x}_\infty =\max_{1 \leq k \leq n}x_k$. L'estimateur de $\theta$ par la méthode du maximum de vraisemblance est bien défini et est
\begin{equation*}
M_n = h_n(X_1,\dots,X_n) = \max_{1 \leq k \leq n}X_k.
\end{equation*}

\end{sol}

\item Calculer la fonction de répartition de $M_n$. Montrer que $M_n$ admet une densité et l'expliciter.

\begin{sol}

Soient $\theta>0$ et $X \sim \P_\theta$. Soit $F_\theta$ la fonction de répartition de $X$. Comme la densité $f(\theta,\cdot)$ de $\P_\theta$ est nulle hors de $]0;+\infty]$, on a que $F_\theta(t)=0$ si $t \leq 0$ et $F_\theta(t)=1$ si $t > \theta$. Pour tout $t \in ]0;\theta]$, on a
\begin{align*}
F_\theta(t) = \P_\theta(X \leq t) = \int_{-\infty}^t f(\theta,x) \dx x = \int_0^t \frac{1}{2\sqrt{x\theta}} \dx x = \squarebrackets*{\sqrt{\frac{x}{\theta}}}_0^t = \sqrt{\frac{t}{\theta}}.
\end{align*}
En résumé, $F_\theta:t \mapsto \sqrt{\frac{t}{\theta}} \one_{]0;\theta]}(t) + \one_{]\theta;+\infty[}(t)$. D'après le cours, ou un exercice déjà fait, la fonction de répartition de $M_n$ est $F_\theta^n: t \mapsto \parentheses*{\frac{t}{\theta}}^\frac{n}{2} \one_{]0;\theta]}(t) + \one_{]\theta;+\infty[}(t)$. Sur $]0,\theta]$, cette fonction est $\cC^1$ de dérivée $t \mapsto \frac{n}{2 \theta^\frac{n}{2}}t^{\frac{n}{2}-1}$. On pose $g_{n,\theta}:x \mapsto \frac{n}{2 \theta^\frac{n}{2}}t^{\frac{n}{2}-1} \one_{]0;\theta]}(x)$. Pour tout $t \in \R$, on a
\begin{equation*}
\int_{-\infty}^t g_{n,\theta}(x) \dx x = \begin{cases} 0 & \text{si} \ t \leq 0,\\
\parentheses*{\frac{t}{\theta}}^\frac{n}{2} & \text{si} \ t \in ]0;\theta],\\
1 & \text{si} \ t > \theta \end{cases} = F_\theta^n(t).
\end{equation*}
Donc, sous $\P_\theta$, la variable aléatoire $M_n$ admet la densité $g_{n,\theta}$.

\end{sol}

\item Calculer le biais et le risque de $M_n$.

\begin{sol}

Soient $n \in \N^*$ et $\theta>0$, on calcule les premiers moments de $M_n$ sous $\P_\theta$. On a:
\begin{equation*}
\esp[\theta]{M_n} = \int_\R x g_{n,\theta}(x) \dx x = \frac{n}{2\theta^\frac{n}{2}} \int_0^\theta x^\frac{n}{2} \dx x = \frac{n}{2\theta^\frac{n}{2}}\squarebrackets*{\frac{2}{n+2} x^{\frac{n}{2}+1}}_0^\theta = \frac{n\theta}{n+2}.
\end{equation*}
Et d'autre part,
\begin{equation*}
\esp[\theta]{M_n^2} = \int_\R x^2 g_{n,\theta}(x) \dx x = \frac{n}{2\theta^\frac{n}{2}} \int_0^\theta x^{\frac{n}{2}+1} \dx x = \frac{n}{2\theta^\frac{n}{2}}\squarebrackets*{\frac{2}{n+4} x^{\frac{n}{2}+2}}_0^\theta = \frac{n\theta^2}{n+4}.
\end{equation*}
On a donc $b_{M_n}(\theta) = \esp[\theta]{M_n}-\theta = \theta\parentheses*{\frac{n}{n+2}-1} = -\frac{2}{n+2}\theta$ et
\begin{align*}
R_{M_n}(\theta) &= \esp[\theta]{(M_n-\theta)^2} = \esp[\theta]{M_n^2-2\theta M_n + \theta^2} = \esp[\theta]{M_n^2}-2\theta \esp[\theta]{M_n} + \theta^2\\
&= \theta^2 \parentheses*{\frac{n}{n+4}- 2\frac{n}{n+2}+1} = \theta^2\frac{n(n+2)-2n(n+4)+(n+2)(n+4)}{(n+2)(n+4)}\\
&= \theta^2\frac{n^2+2n -2n^2-8n +n^2 +6n+8}{(n+2)(n+4)} = \frac{8 \theta^2}{(n+2)(n+4)}.
\end{align*}

\end{sol}

\item Montrer que $M_n$ est consistant.

\begin{sol}

Soient $\theta>0$ et $\epsilon>0$. D'après le cours, pour tout $n \in \N^*$, on a
\begin{equation*}
\P_\theta\parentheses*{\norm*{M_n - \theta}>\epsilon} \leq \frac{R_{M_n}(\theta)}{\epsilon^2} = \frac{8 \theta^2}{\epsilon^2(n+2)(n+4)} \xrightarrow[n \to +\infty]{} 0.
\end{equation*}
C'est valable pour tout $\epsilon>0$. Donc, sous $\P_\theta$, on a $M_n \CVP{n \to +\infty}\theta$. Comme c'est valable pour tout $\theta>0$, la suite d'estimateurs $(M_n)_{n \in \N^*}$ est consistante.

\end{sol}

\end{enumerate}

\end{exo}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\begin{exo}[Méthode des moments, variante]

On considère le modèle $\parentheses*{\cU\parentheses*{[-\theta;\theta]}}_{\theta >0}$. Soient $n \in \N^*$ et $(X_1,\dots,X_n)$ un $n$-échantillon dans ce modèle. On note aussi $X \sim \cU\parentheses*{[-\theta;\theta]}$.

\begin{enumerate}

\item Déterminer les fonctions $\mu_1:\theta \mapsto \esp[\theta]{X}$ et $\mu_2:\theta \mapsto \esp[\theta]{X^2}$ de $]0;+\infty[$ dans $\R$.

\begin{sol}

Soit $\theta>0$, on sait que $\mu_1(\theta) = \esp[\theta]{X} = 0$ et
\begin{equation*}
\mu_2(\theta) = \esp[\theta]{X^2} = \frac{1}{2\theta}\int_{-\theta}^\theta x^2 \dx x = \frac{1}{2\theta}\squarebrackets*{\frac{\theta^3}{3}}_{-\theta}^\theta = \frac{\theta^2}{3}.
\end{equation*}

\end{sol}

\item \label{q: moment variante} Construire un estimateur $T_n$ de $\theta$ par la méthode des moments.

\begin{sol}

Comme $\mu_1:\theta \mapsto 0$ n'est pas injective, on ne peut pas l'utiliser pour construire un estimateur par la méthode des moments. Par contre $\mu_2:\theta \mapsto \frac{\theta^2}{3}$ est bijective de $\R_+^*$ vers $\R_+^*$, de réciproque $x \mapsto \sqrt{3x}$. On peut donc utiliser la variante de la méthode des moments.

On a $\frac{1}{n}\sum_{k=1}^n X_k^2 \geq 0$. De plus, $\frac{1}{n}\sum_{k=1}^n X_k^2 = 0$ si et seulement si $(X_1,\dots,X_n)=(0,\dots,0)$ et
\begin{equation*}
\P\parentheses*{(X_1,\dots,X_n)=(0,\dots,0)} = \P\parentheses*{\forall i \in \ssquarebrackets{1}{n}, X_i=0} = \prod_{i=1}^n \P(X_i=0) = 0
\end{equation*}
où on a utilisé l'indépendance et le fait que les $X_i$ sont à densité. Donc $\frac{1}{n}\sum_{k=1}^n X_k^2$ est presque sûrement à valeurs dans $\mu_1(\Theta)= \R_+^*$.

On peut donc définir un estimateur de $\theta$ par la méthode des moments et c'est
\begin{equation*}
T_n = \mu_2^{-1}\parentheses*{\frac{1}{n}\sum_{k=1}^n X_k^2} = \sqrt{\frac{3}{n}\sum_{k=1}^n X_k^2}.
\end{equation*}
On remarque que, $T_n$ n'est bien défini que presque sûrement, ce qui nous suffit.

\end{sol}

\item L'estimateur $T_n$ est-il consistant? Est-il fortement consistant?

\begin{sol}

Soit $(X_k)_{k \geq 1}$ une suite de v.a.i.i.d. de loi $\cU\parentheses*{[-\theta;\theta]}$. Ces variables sont $L^2$, donc les $(X_k^2)_{k \geq 0}$ sont $L^1$ et d'espérance $\mu_2(\theta)$. Par la loi forte des grands nombres, $\frac{1}{n}\sum_{k=1}^n X_k^2 \CVps{n \to +\infty} \mu_2(\theta)$. Comme $\mu_2^{-1}$ est continue, on a donc $T_n = \mu_2^{-1}\parentheses*{\frac{1}{n}\sum_{k=1}^n X_k^2}\CVps{n \to +\infty} \theta$. Donc $T_n$ est un estimateur fortement consistant de $\theta$, en particulier consistant.

\end{sol}

\item Déterminer l'estimateur $M_n$ de $\theta$ par la méthode du maximum de vraisemblance.

\begin{sol}

Soit $f:(\theta,x) \mapsto \frac{1}{2\theta} \one_{[-\theta;\theta]}(x)$, de sorte que, pour tout $\theta>0$, la fonction $f(\theta,\cdot)$ est la densité de la loi $\cU\parentheses*{[-\theta;\theta]}$. La loi du $n$-échantillon $(X_1,\dots,X_n)$ admet alors la densité $f_n(\theta,\cdot)$, où
\begin{equation*}
f_n:(\theta,x_1,\dots,x_n) \mapsto \prod_{k=1}^n f(\theta,x_k) = \frac{1}{(2\theta)^n} \prod_{k=1}^n \one_{[-\theta;\theta]}(x_k) = \frac{1}{(2\theta)^n} \one_{[\Norm{x}_\infty;+\infty[}(\theta),
\end{equation*}
où on a noté $x=(x_1,\dots,x_n)$ et $\Norm{x}_\infty = \max_{1 \leq k\leq n} \norm{x_k}$. En effet, $\prod_{k=1}^n \one_{[-\theta;\theta]}(x_k)$ ne peut prendre que les valeurs $0$ et $1$, et il vaut $1$ si et seulement si $\forall k \in \ssquarebrackets{1}{n}$, $x_k \in [-\theta,\theta]$, c'est-à-dire $\forall k \in \ssquarebrackets{1}{n}$, $\norm{x_k}\leq \theta$ ou encore $\theta \geq \Norm{x}_\infty$.

Soient $x=(x_1,\dots,x_n) \in \R^n$ et la fonction de vraisemblance $V_x:\theta \mapsto \frac{1}{(2\theta)^n} \one_{[\Norm{x}_\infty;+\infty[}(\theta)$. Si $x \neq 0$, elle atteint un unique maximum sur $\R_+^*$, en $\theta = \Norm{x}_\infty$. Si $x=0$, alors $V_0:\theta \mapsto \frac{1}{(2\theta)^n}$ n'admet pas de maximum sur $\R_+^*$ car $V_0(\theta) \xrightarrow[\theta \to 0]{}+\infty$. Donc, l'ensemble $D_n \subset \R^n$ des $x$ tels que $V_x$ admet un unique maximum sur $]0;+\infty[$ est $D_n = \R^n \setminus \brackets{0}$.

Soit $h_n :\R^n \setminus \brackets{0} \to ]0;+\infty[$ définie par, pour tout $(x_1,\dots,x_n) \neq 0$,
\begin{equation*}
h_n(x_1,\dots,x_n) = \arg\max_{\theta >0} V_x(\theta) = \Norm{x}_\infty = \max_{1 \leq k \leq n} \norm{x_k}.
\end{equation*}
Comme on l'a vu à la question~\ref{q: moment variante}, presque sûrement, $(X_1,\dots,X_n) \neq 0$, i.e. $(X_1,\dots,X_n) \in D_n$. Donc l'estimateur du maximum de vraisemblance de $\theta$ est presque sûrement bien défini, et c'est
\begin{equation*}
M_n = h_n(X_1,\dots,X_n) = \max_{1 \leq k \leq n} \norm{X_k}.
\end{equation*}

\end{sol}

\end{enumerate}

\end{exo}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\begin{exo}[Paramètre de dimension $2$]

On considère le modèle $\parentheses*{\gauss{m}{v}}_{m \in \R, v >0}$. Soient $n \in \N^*$ et $(X_1,\dots,X_n)$ un $n$-échantillon dans ce modèle. On note $X \sim \gauss{m}{v}$.

\begin{enumerate}

\item Déterminer les fonctions $\mu_1:(m,v) \mapsto \esp[(m,v)]{X}$ et $\mu_2:(m,v) \mapsto \esp[(m,v)]{X^2}$.

\begin{sol}

Soient $m \in \R$ et $v >0$, on sait que $\mu_1(m,v) = \esp[(m,v)]{X} = m$ et $\var[(m,v)]{X}=v$. Donc
\begin{equation*}
\mu_2(m,v) = \esp[(m,v)]{X^2} = \var[(m,v)]{X} + \esp[(m,v)]{X}^2 = v+m^2.
\end{equation*}

\end{sol}

\item Construire des estimateurs $T_n$ de $m$ et $S_n$ de $v$ par la méthode des moments, pour tout $n \geq 2$.

\begin{sol}

Comme le paramètre $(m,v)$ est de dimension $2$, on considère $\mu:(m,v) \mapsto \parentheses*{\mu_1(m,v);\mu_2(m,v)}$. Pour tout $m \in \R$ et $v>0$, on a $\mu(m,v) = (m,v+m^2)$. Soient $x\in \R$ et $y > x^2$, on a
\begin{equation*}
\mu(m,v) = (x,y) \iff (m,v+m^2)(x,y) \iff m=x \ \text{et} \ v=y-m^2=y-x^2.
\end{equation*}
Donc $\mu$ est une bijection de $\R \times \R_+^*$ vers $U = \brackets*{(x,y) \in \R^2 \mvert y > x^2}$ dont la réciproque  est la fonction $\mu^{-1}:(x,y) \mapsto (x,y-x^2)$.

La variable $\frac{1}{n}\sum_{k=1}^n X_k$ est à valeurs dans $\R$. Par ailleurs, par l'inégalité de Cauchy-Schwarz, on a
\begin{equation*}
\parentheses*{\sum_{k=1}^n X_k \times 1}^2 \leq \parentheses*{\sum_{k=1}^n X_k^2} \parentheses*{\sum_{k=1}^n 1} = n\sum_{k=1}^n X_k^2,
\end{equation*}
donc $\frac{1}{n}\sum_{k=1}^n X_k^2 \geq \parentheses*{\frac{1}{n}\sum_{k=1}^n X_k}^2$. On a égalité si et seulement si on est dans le cas d'égalité de Cauchy-Schwarz, i.e. si $(X_1,\dots,X_n)$ est colinéaire à $(1,\dots,1)$. On a donc égalité si et seulement si $(X_1,\dots,X_n) \in \vect\parentheses*{1,\dots,1}$.

Dans la suite, on suppose $n \geq 2$. Comme une droite est de mesure nulle pour Lebesgue sur $\R^n$ elle est aussi de mesure nulle pour toute mesure à densité, par exemple pour la loi de $(X_1,\dots,X_n)$. Donc
\begin{equation*}
\P_{(m,v)}\parentheses*{\frac{1}{n}\sum_{k=1}^n X_k^2 = \parentheses*{\frac{1}{n}\sum_{k=1}^n X_k}^2} = \P_{(m,v)}\parentheses*{(X_1,\dots,X_n) \in \vect\parentheses*{1,\dots,1}\strut }=0.
\end{equation*}
Donc presque sûrement, on a $\frac{1}{n}\sum_{k=1}^n X_k^2 > \parentheses*{\frac{1}{n}\sum_{k=1}^n X_k}^2$, et le couple de variables aléatoires $\parentheses*{\frac{1}{n}\sum_{k=1}^n X_k,\frac{1}{n}\sum_{k=1}^n X_k^2}$ est presque sûrement à valeurs dans $U$. Donc l'estimateur de $(m,v)$ par la méthode des moments est bien défini et c'est
\begin{align*}
T_n &=\mu^{-1}\parentheses*{\frac{1}{n}\sum_{k=1}^n X_k;\frac{1}{n}\sum_{k=1}^n X_k^2} = \parentheses*{\frac{1}{n}\sum_{k=1}^n X_k;\frac{1}{n}\sum_{k=1}^n X_k^2 - \parentheses*{\frac{1}{n}\sum_{k=1}^n X_k}^2}\\
&= \parentheses*{\bar{X}_n;\frac{1}{n}\sum_{k=1}^n \parentheses*{X_k - \bar{X}_n}^2} = \parentheses*{\bar{X}_n; \tilde{S}_n},
\end{align*}
où on réutilise les notations de l'exerice~\ref{exo: gaussiennes}. En regardant composante par composante, on retrouve l'estimateur $\bar{X}_n$ de $m$ et l'estimateur $\tilde{S}_n$ de $v$.

\end{sol}

\item Pour tout $x=(x_1,\dots,x_n) \in \R^n$, expliciter la fonction de $\log$-vraisemblance $\ln\circ V_x$.

\begin{sol}

Soient $m \in \R$ et $v>0$, la densité de la loi $\gauss{m}{v}$ est $x \mapsto \frac{1}{\sqrt{2\pi v}}e^{-\frac{1}{2v}(x-m)^2}$. On note $f:(m,v,x) \mapsto \frac{1}{\sqrt{2\pi v}}e^{-\frac{1}{2v}(x-m)^2}$ et $f_n:(m,v,x_1,\dots,x_n) \mapsto \prod_{k=1}^n f(m,v,x_k)$ de $\R \times \R_+^*\times \R^n$ vers $\R_+$, de sorte que $f_n(m,v,\cdot)$ est la densité d'un $n$-échantillon de loi-mère $\gauss{m}{v}$. En particulier, cette fonction est à valeurs strictement positives.

Soit $x =(x_1,\dots,x_n) \in \R^n$, pour tout $m \in \R$ et $v>0$, on a
\begin{align*}
\ln\parentheses*{V_x(m,v)} &= \ln\parentheses*{f_n(m,v,x_1,\dots,x_n)} = \sum_{k=1}^n \ln\parentheses*{ f(m,v,x_k)} = \sum_{k=1}^n -\frac{1}{2}\ln\parentheses*{2\pi v} -\frac{(x_k-m)^2}{2v}\\
&= -\frac{n\ln(2\pi)}{2}-\frac{n}{2}\ln(v) - \frac{1}{2v}\sum_{k=1}^n (x_k-m)^2.
\end{align*}

\end{sol}

\item Si $x \notin \vect\parentheses*{1,\dots,1}$, montrer que $\ln \circ V_x$ admet un unique point critique sur $\R\times \R_+^*$ et le déterminer. On admettra que c'est un maximum global.

\begin{sol}

Soit $x=(x_1,\dots,x_n) \in \R^n$, la fonction $\ln \circ V_x$ est bien $\cC^1$ sur $\R\times \R_+^*$ et pour tout $m \in \R$ et $v>0$, on a
\begin{align*}
\partial_m\parentheses*{\ln\circ V_x}(m,v) &= -\frac{1}{2v}\sum_{k=1}^n -2(x_k-m) = \frac{1}{v}\parentheses*{\parentheses*{\sum_{k=1}^n x_k} -nm},\\
\partial_v\parentheses*{\ln\circ V_x}(m,v) &= -\frac{n}{2v}+\frac{1}{2v^2}\sum_{k=1}^n (x_k-m)^2 = \frac{1}{2v^2}\parentheses*{\sum_{k=1}^n (x_k-m)^2 - nv}.
\end{align*}
Donc $(m,v)$ est un point critique de $\ln\circ V_x$ si et seulement si ces quantité sont nulles, c'est-à-dire si et seulement si
\begin{align*}
m &= \frac{1}{n}\sum_{k=1}^n x_k & &\text{et} & v &= \frac{1}{n}\sum_{k=1}^n (x_k-m)^2= \frac{1}{n}\sum_{k=1}^n x_k^2 - \parentheses*{\frac{1}{n}\sum_{k=1}^n x_k}^2.
\end{align*}

Comme précédemment, si $x \in \vect\parentheses*{1,\dots,1}$, alors $\frac{1}{n}\sum_{k=1}^n x_k^2 - \parentheses*{\frac{1}{n}\sum_{k=1}^n x_k}^2=0$ et le système précédent n'a pas de solution dans $\R \times \R_+^*$. En particulier, $\ln \circ V_x$ n'a pas de maximum local, encore moins global. Si $x \notin \vect\parentheses*{1,\dots,1}$, l'inégalité de Cauchy-Schwarz est stricte, donc $\frac{1}{n}\sum_{k=1}^n x_k^2 - \parentheses*{\frac{1}{n}\sum_{k=1}^n x_k}^2>0$ et le système précédent à une unique solution dans $\R \times \R_+^*$.

\end{sol}

\item En déduire l'expression de l'estimateur du maximum de vraisemblance de $(m,v)$. lorsque $n\geq 2$.

\begin{sol}

Pour tout $x=(x_1,\dots,x_n) \notin \vect\parentheses*{1,\dots,1}$, la fonction de $\log$-vraisemblance admet un unique point critique, qui est un maximum global, en $(m,v)$ donné par les formules ci-dessus. Tout maximum est un point critique, donc c'est le seul point où le maximum est atteint. On pose
\begin{equation*}
h_n:(x_1,\dots,x_n) \longmapsto \arg\max_{x \in \R,v >0} \ln\circ V_x(m,v) = \parentheses*{\frac{1}{n}\sum_{k=1}^n x_k;\frac{1}{n}\sum_{k=1}^n \parentheses*{x_k - \frac{1}{n}\sum_{k=1}^n x_k}^2}
\end{equation*}
de $D_n= \R^n \setminus \vect\parentheses*{1;\dots,1}$ vers $\R \times \R_+^*$. Comme précédemment, l'échantillon $(X_1,\dots,X_n)$ est presque sûrement à valeurs dans $D_n$, indépendamment de $(m,v)$. Donc l'estimateur du maximum de vraisemblance de $(m,v)$ est bien défini presque sûrement, et c'est
\begin{equation*}
T_n = h_n(X_1,\dots,X_n) = \parentheses*{\frac{1}{n}\sum_{k=1}^n X_k;\frac{1}{n}\sum_{k=1}^n X_k^2 - \parentheses*{\frac{1}{n}\sum_{k=1}^n X_k}^2} = \parentheses*{\bar{X}_n; \tilde{S}_n},
\end{equation*}
le même par la méthode des moments, et le même que dans l'exercice~\ref{exo: gaussiennes}.

\end{sol}

\end{enumerate}

\end{exo}

\end{document}