Teorema del Limite Centrale

§ Teorema (TCL). Sia $(X_n)_{n \ge 1}$ una successione di variabili aleatorie reali indipendenti e con la stessa distribuzione (i.i.d.) e momento secondo finito. Sia $S_n = X_1 + \dots + X_n$ , allora

 $\frac{S_n - \mathbb{E}[S_n]}{\text{sd}(S_n)} \xrightarrow{\mathcal{L}} Z \sim \mathcal{N}(0, 1)$

ovvero, converge in legge a una variabile gaussiana standard.

Sia $Y_n = \frac{X_n - \mathbb{E}[X_n]}{\text{sd}(X_n)}$ . Le variabili $(Y_n)_{n \ge 1}$ sono indipendenti, con la stessa legge e momento secondo finito. Si ha che $\mathbb{E}[Y_n] = 0$ , $\text{Var}(Y_n) = 1$ e $X_n = \mathbb{E}[X_n] + \text{sd}(X_n) Y_n$ . Quindi

 $\frac{S_n - \mathbb{E}[S_n]}{\text{sd}(S_n)} = \frac{1}{\sqrt{n}} (Y_1 + \dots + Y_n)$

Sia $\overline{X}_n = \frac{1}{n} (X_1 + \dots + X_n)$ , sia $m = \mathbb{E}[X_1]$ e $\sigma^2 = \text{Var}(X_1)$ , allora

 $\sqrt{n} \frac{\overline{X}_n - m}{\sigma} = \frac{S_n - n m}{\sigma \sqrt{n}} \xrightarrow{\mathcal{L}} \mathcal{N}(0, 1)$

L’affermazione $\frac{S_n - \mathbb{E}[S_n]}{\text{sd}(S_n)} \to \mathcal N(0, 1)$ è vera se e solo se $\frac{1}{\sqrt{n}} (Y_1 + \dots + \dots + Y_n) \to \mathcal N(0, 1)$ .

Consideriamo la funzione caratteristica:

 $\begin{aligned} & \phi*{\frac{1}{\sqrt{n}} (Y_1 + \dots + Y_n)}(t) \\ &= \phi*{Y*1 + \dots + Y_n} \left( \frac{t}{\sqrt{n}} \right) \\ &= \left( \phi*{Y_1} \left( \frac{t}{\sqrt{n}} \right) \right)^n \end{aligned}$

Idea. Stessa dimostrazione della legge forte dei grandi numeri.

Sappiamo che:

$\phi_{Y_1}(0) = 1$
$\phi_{Y_1}'(0) = i \mathbb{E}[Y_1] = 0$
$\phi_{Y_1}''(0) = i^2 \mathbb{E}[Y_1^2] = -1$

Dallo sviluppo di Taylor:

 $\begin{aligned} & \frac{1}{t^2} (\phi*{Y_1}(t) - \phi*{Y*1}(0) - \phi*{Y*1}'(0)t) \\ &\to \frac{1}{2} \phi*{Y*1}''(0) = -\frac{1}{2} \end{aligned}$

quindi $\frac{1}{t^2} (\phi*{Y_1}(t) - 1) \to -\frac{1}{2}$ per $t \to 0$ .

Quindi:

 $\left( \phi*{Y_1} \left( \frac{t}{\sqrt{n}} \right) \right)^n = \left( 1 + \frac{n \left( \phi*{Y_1}(\frac{t}{\sqrt{n}}) - 1 \right)}{n} \right)^n$

Osservazione. $(1 + \frac{s_n}{n})^n \to e^{\lim s_n}$

Si ha che:

 $n \left( \phi*{Y_1} \left( \frac{t}{\sqrt{n}} \right) - 1 \right) = \frac{\phi*{Y*1}(\frac{t}{\sqrt{n}}) - 1}{(t / \sqrt{n})^2} t^2 \to -\frac{1}{2} t^2$

quindi $\left( \phi*{Y_1} \left( \frac{t}{\sqrt{n}} \right) \right)^n \to e^{-\frac{1}{2} t^2}$ , che è la funzione caratteristica di una gaussiana standard.

Caso Multidimensionale

§ Teorema (TCL, caso multidimensionale). Sia $(X_n)_{n \ge 1}$ una successione di variabili aleatorie in $\mathbb{R}^d$ indipendenti, con la stessa legge e momento secondo finito. Sia $Q$ la matrice di covarianza di $X_1$ e $S_n = X_1 + \dots + X_n$ . Allora

 $\frac{S_n - \mathbb{E}[S_n]}{\sqrt{n}} \xrightarrow{\mathcal{L}} Z \sim \mathcal{N}(0, Q)$

ovvero, converge in legge a una variabile Gaussiana multidimensionale con media $0$ e matrice di covarianza $Q$ .

Consideriamo la funzione caratteristica:

 $\phi_{\frac{S_n - \mathbb{E}[S_n]}{\sqrt{n}}}(t) = \phi_{t \cdot \frac{S_n - \mathbb{E}[S_n]}{\sqrt{n}}}(1)$

con $t \in \mathbb{R}^d$ . Si ha che

 $t \cdot \frac{S_n - \mathbb{E}[S_n]}{\sqrt{n}} = \frac{(t \cdot X_1 + \dots + t \cdot X_n) - \mathbb{E}[t \cdot X_1 + \dots + t \cdot X_n]}{\sqrt{n}}$

Le variabili $(t \cdot X_n)_{n \ge 1}$ sono i.i.d. reali con momento secondo finito. Inoltre:

$\mathbb{E}[t \cdot X_n] = t \cdot \mathbb{E}[X_n]$
$\text{Var}(t \cdot X_n) = t^T Q t$

A questo punto possiamo applicare il teorema del limite centrale unidimensionale:

 $\frac{t \cdot S_n - \mathbb{E}[t \cdot S_n]}{\text{sd}(t \cdot S_n)} \xrightarrow{\mathcal{L}} \mathcal{N}(0, 1)$

dove $\text{sd}(t \cdot S_n) = \sqrt{n} \cdot \text{sd}(t \cdot X_1) = \sqrt{n} \sqrt{t^T Q t}$ . Quindi:

 $\frac{t \cdot S_n - \mathbb{E}[t \cdot S_n]}{\sqrt{n}} \xrightarrow{\mathcal{L}} \mathcal{N}(0, t^T Q t)$

Di conseguenza:

 $\phi_{\frac{S_n - \mathbb{E}[S_n]}{\sqrt{n}}}(t) \xrightarrow{n \to \infty} e^{-\frac{1}{2} t^T Q t}$

che è la funzione caratteristica di una Gaussiana multidimensionale $\mathcal{N}(0, Q)$ .

§ Fatto. In generale, se $(z_k)_{1 \le k \le n}$ e $(w_k)_{1 \le k \le n}$ sono numeri complessi tali che $|z_k|, |w_k| \le \theta$ , allora

 $\left| \prod_{k=1}^n z_k - \prod_{k=1}^n w_k \right| \le \theta^{n-1} \sum_{k=1}^n |z_k - w_k|$

§ Teorema. Sia $(X_n)_{n \ge 1}$ una successione di variabili aleatorie indipendenti con $\mathbb{E}[X_n] = m$ , $\text{Var}(X_n) = \sigma^2$ e $\sup_n \mathbb{E}[|X_n|^3] < \infty$ . Allora vale il TCL:

 $\frac{S_n - \mathbb{E}[S_n]}{\text{sd}(S_n)} \xrightarrow{\mathcal{L}} \mathcal{N}(0, 1)$

Sia $Y_n = \frac{X_n - m}{\sigma}$ . Si ha che $\mathbb{E}[Y_n] = 0$ (molto importante). La funzione caratteristica della somma normalizzata è:

 $\phi_{\frac{1}{\sqrt{n}} (Y_1 + \dots + Y_n)}(t) = \prod_{i=1}^n \phi_{Y_i} \left( \frac{t}{\sqrt{n}} \right)$

Vogliamo confrontarla con $\phi(t) = e^{-t^2/2} = \prod_{i=1}^n e^{-\frac{1}{2n} t^2}$ .

Applicando questo alle funzioni caratteristiche ( $\theta = 1$ ):

 $\left| \phi_{\frac{1}{\sqrt{n}} (Y_1 + \dots + Y_n)}(t) - e^{-t^2/2} \right| \le \sum_{i=1}^n \left| \phi_{Y_i} \left( \frac{t}{\sqrt{n}} \right) - e^{-\frac{t^2}{2n}} \right|$

Usando lo sviluppo $e^{ix} = 1 + ix - \frac{1}{2}x^2 + \mathcal{O}(|x|^3)$ , si ha:

 $\left| \phi_{Y_i} \left( \frac{t}{\sqrt{n}} \right) - \left( 1 - \frac{1}{2} \frac{t^2}{n} \right) \right| \le C \mathbb{E} \left[ \left| \frac{t}{\sqrt{n}} Y_i \right|^3 \right] \le C \frac{t^3}{n^{3/2}} \sup_n \mathbb{E}[|Y_n|^3]$

Analogamente, siccome $e^{-y} = 1 - y + \mathcal{O}(y^2)$ , abbiamo $e^{-\frac{t^2}{2n}} = 1 - \frac{t^2}{2n} + \mathcal{O}((t/\sqrt{n})^4)$ . Quindi:

 $\left| \phi_{\frac{1}{\sqrt{n}} (Y_1 + \dots + Y_n)}(t) - e^{-t^2/2} \right| \le \sum_{i=1}^n \left| \phi_{Y_i} \left( \frac{t}{\sqrt{n}} \right) - e^{-\frac{t^2}{2n}} \right| \le C' \sum_{i=1}^n \left( \frac{t}{\sqrt{n}} \right)^3 = \frac{C' t^3}{\sqrt{n}} \to 0$

Dunque $\phi_{\frac{1}{\sqrt{n}} (Y_1 + \dots + Y_n)}(t) \to e^{-t^2/2}$ .

Variabili Indipendenti a Due a Due senza TCL

Esempio. Sia $(Y_n)_{n \ge 1}$ una successione di variabili aleatorie di Rademacher indipendenti (ovvero $\mathbb{P}[Y_n = 1] = \mathbb{P}[Y_n = -1] = 1/2$ ). Definiamo $X_n$ come il prodotto delle $Y_i$ corrispondenti ai bit uguali a 1 nell’espansione binaria di $2n-1$ . Per esempio, per $n=6$ si ha $2n-1 = 11 = (1011)_2$ , quindi $X_6 = Y_1 Y_2 Y_4$ .

Allora $(X_n)_{n \ge 1}$ è una successione tale che:

$X_n$ sono variabili di Rademacher.
Le $X_n$ sono indipendenti a due a due. Infatti:
- Se $X, Y$ sono Rademacher indipendenti, allora $XY$ è Rademacher.
- Se $X, Y, Z$ sono Rademacher indipendenti, allora $XZ$ e $YZ$ sono Rademacher indipendenti.

Dunque, detta $S_n = X_1 + \dots + X_n$ , si può mostrare che vale:

 $S_{2^n} = Y_1 (1 + Y_2) \dots (1 + Y_{n+1})$

Quindi $S_{2^n} = 0$ se $Y_i = -1$ per qualche $i \in \{2, \dots, n+1\}$ . Si ha che $S_{2^n} \in \{0, \pm 2^n\}$ e $\mathbb{P}[S_{2^n} \ne 0] = \frac{1}{2^n} \to 0$ . Questo implica che $S_{2^n} \to 0$ in probabilità, e quindi:

 $\frac{S_{2^n} - \mathbb{E}[S_{2^n}]}{\text{sd}(S_{2^n})} = \frac{S_{2^n}}{2^{n/2}} \xrightarrow{P} 0$

Di conseguenza $\frac{S_n - \mathbb{E}[S_n]}{\text{sd}(S_n)} \not\to \mathcal{N}(0, 1)$ , quindi il TCL non vale nonostante l’indipendenza a coppie.

Velocità di Convergenza

Osservazione. Sappiamo che $\frac{1}{n} \sum_{k=1}^n X_k \to \mathbb{E}[X_1]$ . Il termine $\sqrt{n} \left( \frac{1}{n} \sum_{k=1}^n X_k - \mathbb{E}[X_1] \right)$ rappresenta la velocità di convergenza.

Come possiamo stimare quanto velocemente si ha la convergenza in legge? Per esempio possiamo considerare la distanza fra le funzioni di ripartizione. Vale il seguente risultato:

§ Teorema (Berry-Esseen). Sia $(X_n)_{n \ge 1}$ i.i.d. con $\mathbb{E}[|X_1|^3] < \infty$ . Allora:

 $\left| F_{\frac{S_n - \mathbb{E}[S_n]}{\text{sd}(S_n)}}(x) - \Phi(x) \right| \le C \frac{\mathbb{E}[|X_1|^3]}{\sigma^3 \sqrt{n}}$

dove $\Phi$ è la funzione di ripartizione di una gaussiana standard e $C$ è una costante universale ( $C \approx 0.4785$ ).

§ Definizione. Diciamo che $(X_n)_{n \ge 1}$ soddisfa un teorema del limite centrale se esistono delle successioni $(c_n)_{n \ge 1}$ e $(\sigma_n)_{n \ge 1}$ tali che

 $\frac{S_n - c_n}{\sigma_n}$

converge in legge a una distribuzione non degenere.

Distribuzioni Stabili

Esempio. Sia $(X_n)_{n \ge 1}$ una successione di variabili aleatorie indipendenti con la stessa legge simmetrica con densità:

 $f(x) = \frac{\alpha}{2 |x|^{\alpha + 1}} \bbone_{\{|x| > 1\}}$

con $\alpha \in (0, 2)$ . Allora $\mathbb{P}[|X_1| \ge x] = \frac{1}{x^\alpha}$ per ogni $x > 1$ . Mostriamo che $\frac{S_n}{n^{1/\alpha}}$ converge in legge.

Sia $\phi(t) = \phi_{X_1}(t)$ , allora:

 $\phi_{\frac{S_n}{n^{1/\alpha}}}(t) = \phi_{S_n} \left( \frac{t}{n^{1/\alpha}} \right) = \left( \phi \left( \frac{t}{n^{1/\alpha}} \right) \right)^n = \left( 1 + \frac{n \left( \phi(t/n^{1/\alpha}) - 1 \right)}{n} \right)^n$

Studiamo il limite di $n(\phi(t/n^{1/\alpha}) - 1)$ per $t > 0$ :

 $1 - \phi(t) = 1 - \int_{\mathbb{R}} e^{itx} f(x) dx = \int_{\mathbb{R}} (1 - \cos(tx)) f(x) dx$

perché $f$ è pari. Quindi:

 $1 - \phi(t) = 2 \int_1^{+\infty} (1 - \cos(tx)) \frac{\alpha}{2x^{\alpha+1}} dx = \alpha \int_1^{+\infty} \frac{1 - \cos(tx)}{x^{\alpha+1}} dx$

Effettuando il cambio di variabile $y = tx$ :

 $1 - \phi(t) = \alpha t^\alpha \int_t^{+\infty} \frac{1 - \cos y}{y^{\alpha+1}} dy$

Sia $C_\alpha = \int_0^{+\infty} \frac{1 - \cos y}{y^{\alpha+1}} dy$ . Allora

 $n \left( \phi(t/n^{1/\alpha}) - 1 \right) = - \alpha n \left( \frac{t}{n^{1/\alpha}} \right)^\alpha \int_{t/n^{1/\alpha}}^{+\infty} \frac{1 - \cos y}{y^{\alpha+1}} dy = - \alpha t^\alpha \int_{t/n^{1/\alpha}}^{+\infty} \frac{1 - \cos y}{y^{\alpha+1}} dy \xrightarrow{n \to \infty} - \alpha C_\alpha t^\alpha$

Dunque $\phi_{\frac{S_n}{n^{1/\alpha}}}(t) \to e^{-\alpha C_\alpha |t|^\alpha}$ . Poiché questa funzione è continua in $0$ , si ha che questa è una funzione caratteristica, dunque $\frac{S_n}{n^{1/\alpha}}$ converge in legge.

§ Teorema. Sia $(X_n)_{n \ge 1}$ una successione di variabili aleatorie indipendenti con la stessa legge tali che:

$\lim_{x \to +\infty} \dfrac{\mathbb{P}[X_1 > x]}{\mathbb{P}[|X_1| > x]} = \theta \in [0, 1]$
$\mathbb{P}[|X_1| > x] = L(x) / x^\alpha$ , dove $L$ è una funzione a variazione lenta, cioè $\forall t > 0, \lim_{x \to +\infty} \frac{L(tx)}{L(x)} = 1$ (ad esempio $L(x) = \ln(x)$ )

Allora esiste una successione $c_n$ tale che $\frac{S_n - c_n}{\sigma_n}$ converge in legge, dove

 $c_n = n \mathbb{E}[X_1 \bbone_{\{|X_1| \le \sigma_n\}}], \quad \sigma_n = \inf \{x \mid \mathbb{P}[|X_1| > x] \le 1/n\}$

e il limite ha funzione caratteristica

 $\large \phi(t) = e^{itc - G |t|^\alpha (1 + i(2\theta - 1) \text{sgn}(t) W_\alpha(t))}$

con

 $W_\alpha(t) = \begin{cases} \tan(\pi\alpha/2) & \text{se } \alpha \ne 1 \\[0.5em] \dfrac{2}{\pi} \log |t| & \text{se } \alpha = 1 \end{cases}$

Le leggi con funzione caratteristica di questa forma sono dette $\alpha$ -stabili.

§ Definizione. Una variabile aleatoria $X$ si dice stabile se per ogni $k \in \mathbb{N}$ esistono $a_k > 0$ e $b_k \in \mathbb{R}$ tali che

 $\frac{1}{a_k} (X_1 + \dots + X_k - b_k) \stackrel{\mathscr L}{=} X$

dove $(X_i)$ sono copie indipendenti di $X$ .

Esempi di leggi stabili sono la Gaussiana ( $\alpha = 2$ ) e la legge di Cauchy ( $\alpha = 1$ ).

§ Teorema. Una legge è stabile se e solo se è limite di un TCL (ovvero è limite in legge di una somma di variabili i.i.d. opportunamente riscalata e traslata).

§ Teorema. Le leggi $\alpha$ -stabili sono le sole leggi stabili.