Teoremi Limite

Legge dei grandi numeri

Siano (X_n)_{n \ge 1} variabili aleatorie su (\Omega, \mathcal{F}, \mathbb{P}) tali che \mathbb E|X_n| < \infty per ogni n. Sia S_n = X_1 + \dots + X_n.

Si parla di:

  • legge debole se \dfrac{S_n - \mathbb E[S_n]}{n} \xrightarrow{\mathbb P} 0

  • legge forte se \dfrac{S_n - \mathbb E[S_n]}{n} \xrightarrow{q.c.} 0

Più in generale, vale una legge dei grandi numeri se esiste una successione (a_n)_{n \ge 1} tale che:

  • vale \dfrac{S_n}{n} - a_n \xrightarrow{\mathbb P} 0 (legge debole dei grandi numeri)

  • vale \dfrac{S_n}{n} - a_n \xrightarrow{q.c.} 0 (legge forte dei grandi numeri)

Ricordiamo la definizione di correlazione e covarianza.

§ Definizione. Siano X, Y variabili aleatorie con varianze finite. La covarianza di X e Y è definita come:

\text{Cov}(X, Y) = \mathbb E[(X - \mathbb E X)(Y - \mathbb E Y)] = \mathbb E[XY] - \mathbb E[X] \mathbb E[Y]

Se \text{Cov}(X, Y) = 0, allora X e Y si dicono scorrelate. In particolare, se X e Y sono indipendenti, allora sono scorrelate (ma non il viceversa).

§ Teorema (Legge debole in L^2). Siano (X_n)_{n \ge 1} variabili aleatorie scorrelate, con \mathbb E [X_n] \to m e \sup_{n \ge 1} \text{Var}(X_n) < \infty. Allora vale la legge debole dei grandi numeri:

\frac{S_n}{n} - m \xrightarrow{\mathbb P} 0

Dimostrazione. Poniamo m_n = \mathbb E[X_n]. Allora:

\mathbb E\left[ \left( \frac{S_n}{n} - m \right)^2 \right] = \mathbb E\left[ \left( \frac{S_n}{n} - \frac{1}{n}\sum_{i=1}^n m_i + \frac{1}{n}\sum_{i=1}^n m_i - m \right)^2 \right]
= \mathbb E\left[ \left( \frac{S_n - \mathbb E[S_n]}{n} \right)^2 \right] + \left( \frac{1}{n}\sum_{i=1}^n m_i - m \right)^2
= \frac{1}{n^2} \text{Var}(S_n) + \left( \frac{1}{n}\sum_{i=1}^n m_i - m \right)^2

Poiché (X_n) sono scorrelate e \sup_n \text{Var}(X_n) =: \sigma^2 < \infty:

\text{Var}(S_n) = \sum_{i=1}^n \text{Var}(X_i) \le n \sigma^2 \implies \frac{1}{n^2} \text{Var}(S_n) \le \frac{\sigma^2}{n} \to 0

Inoltre, poiché m_n \to m, abbiamo \frac{1}{n}\sum_{i=1}^n m_i \to m, quindi il secondo termine tende a 0. In conclusione, \mathbb E\left[ \left( \frac{S_n}{n} - m \right)^2 \right] \to 0. \square

§ Teorema. Siano (X_n)_{n \ge 1} indipendenti e con la stessa distribuzione (i.i.d.) e \mathbb E[|X_1|] < \infty. Allora vale la legge debole dei grandi numeri.

Ricordiamo che se c_n \to c con c_n, c \in \mathbb{C}, allora (1 + \frac{c_n}{n})^n \to e^c.

La funzione caratteristica di \frac{S_n}{n} è:

\phi_{\frac{S_n}{n}}(t) = \phi_{S_n}\left(\frac{t}{n}\right) = \left( \phi_{X_1}\left(\frac{t}{n}\right) \right)^n

Poiché E|X_1| < \infty, la funzione caratteristica \phi_{X_1}(t) è derivabile in t=0 e si ha lo sviluppo:

\phi_{X_1}(t) = 1 + it \mathbb E[X_1] + o(t) \quad \text{per } t \to 0

Quindi:

\phi_{X_1}\left(\frac{t}{n}\right) = 1 + \frac{1}{n} \left( \phi_{X_1}(t / n) - 1 \right)

Considerando il termine c_n = n \left( \phi_{X_1}\left(\frac{t}{n}\right) - 1 \right), abbiamo che c_n \to it \mathbb E[X_1] per n \to \infty. Allora:

\phi_{\frac{S_n}{n}}(t) = \left( 1 + \frac{c_n}{n} \right)^n \to e^{it E X_1}

Poiché e^{it \mathbb E[X_1]} è la funzione caratteristica della costante \mathbb E[X_1], concludiamo che \frac{S_n}{n} \to \mathbb E[X_1] in legge, che implica la convergenza in probabilità:

\frac{S_n}{n} \xrightarrow{P} \mathbb E[X_1] \implies \frac{S_n - \mathbb E[S_n]}{n} \xrightarrow{P} 0

Osservazione. Siano (X_n)_{n \ge 1} indipendenti. Consideriamo \lim S_n/ n.

  • Si noti che:

    \lim_{n \to \infty} \frac{S_n}{n} = \lim_{n \to \infty} \frac{S_n - S_{n_0}}{n}

    che è una variabile aleatoria misurabile rispetto a \mathcal F^\infty, ovvero alla \sigma-algebra coda \bigcap_{n} \sigma(X_{n+1}, X_{n+2}, \dots). Per la legge 0-1 di Kolmogorov, tale limite deve essere quasi certamente costante.

    Inoltre, possiamo scrivere:

    \frac{S_n - \mathbb E[S_n]}{n} = \frac{1}{n} \sum_{k=1}^n (X_k - \mathbb E[X_k])

  • Se X_n = X per ogni n, allora \frac{S_n}{n} = X.

  • Se (X_n)_{n \ge 1} sono indipendenti e hanno legge di Cauchy, allora \frac{S_n}{n} ha ancora legge di Cauchy (non vale la legge dei grandi numeri perché \mathbb E[|X_1|] = \infty).

§ Siano (X_n)_{n \ge 1} indipendenti e con la stessa legge, tali che:

\lim_{x \to +\infty} x P(|X_1| > x) = 0

Posto m_n = \mathbb E[X_1 \bbone_{\{|X_1| \le n\}}], si ha:

\frac{S_n}{n} - m_n \xrightarrow{\mathbb P} 0

Si noti che se P(|X_1| > x) \sim \frac{1}{x \log x}, allora E[|X_1|] = \int_0^{+\infty} P(|X_1| > x) dx = \infty, ma la condizione sopra è soddisfatta. Se invece X_1 ha legge di Cauchy, allora \lim_{x \to +\infty} x P(|X_1| > x) esiste ed è finito e strettamente positivo.

Siano X_1, X_2, \dots variabili aleatorie indipendenti e uniformi su \{1, \dots, n\}, con n \in \mathbb{N}. Definiamo i tempi di attesa per trovare una nuova figurina:

\tau_k^{(n)} = \min \{ m \ge 1 : \text{card}(\{X_1, \dots, X_m\}) = k \}

con \tau_1^{(n)} = 1 e \tau_0^{(n)} = 0. Sia T_n = \tau_n^{(n)} il tempo di completamento dell’album. Definiamo gli incrementi:

X_k^{(n)} = \tau_k^{(n)} - \tau_{k-1}^{(n)}

Le variabili (X_k^{(n)})_{k=1, \dots, n} sono indipendenti e il tempo totale è:

T_n = \sum_{k=1}^n X_k^{(n)}

Ogni X_k^{(n)} ha legge geometrica di parametro p_k = \frac{n-k+1}{n}. Quindi:

\mathbb E[T_n] = \sum_{k=1}^n \mathbb E[X_k^{(n)}] = \sum_{k=1}^n \frac{n}{n-k+1} = n \sum_{j=1}^n \frac{1}{j} \sim n \log n

(mediamente è necessario acquistare n \log n figurine).

Per la varianza:

\text{Var}(T_n) = \sum_{k=1}^n \text{Var}(X_k^{(n)}) = \sum_{k=1}^n \frac{1 - p_k}{p_k^2} = \sum_{k=1}^n \frac{1 - \frac{n-k+1}{n}}{\left(\frac{n-k+1}{n}\right)^2} \le \sum_{k=1}^n \frac{n^2}{(n-k+1)^2} = n^2 \sum_{j=1}^n \frac{1}{j^2} < c n^2

Si ha che \frac{T_n}{\mathbb E[T_n]} \xrightarrow{\mathbb P} 1. Infatti:

\mathbb E\left[ \left( \frac{T_n}{\mathbb E[T_n]} - 1 \right)^2 \right] = \frac{\text{Var}(T_n)}{(\mathbb E[T_n])^2} \le c \frac{n^2}{(n \log n)^2} \to 0

NB: abbiamo così scoperto che la legge debole ha senso quando non si hanno successioni ma famiglie triangolari.

Legge forte

§ Siano (X_n)_{n \ge 1} variabili aleatorie indipendenti e con la stessa legge (i.i.d.). Se \mathbb E[X_1^4] < \infty, allora vale la legge forte dei grandi numeri:

\frac{S_n}{n} \xrightarrow{q.c.} \mathbb E[X_1]

Per prima cosa osserviamo che senza perdita di generalità possiamo supporre \mathbb E[X_1] = 0 (altrimenti possiamo considerare Y_n = X_n - \mathbb E[X_1]).

La dimostrazione si articola in vari passaggi:

  • Per la disuguaglianza di Markov, abbiamo che per ogni \varepsilon > 0:

    \mathbb P\left( \left| \frac{S_n}{n} \right| \ge \varepsilon \right) = \mathbb P( |S_n|^4 \ge \varepsilon^4 n^4 ) \le \frac{\mathbb E[S_n^4]}{\varepsilon^4 n^4}

  • Ora studiamo il termine \mathbb E[S_n^4]. Per linearità si ha:

    \mathbb E[S_n^4] = \mathbb E\left[ \left( \sum_{i=1}^n X_i \right)^4 \right] = \sum_{i, j, k, l = 1}^n \mathbb E[X_i X_j X_k X_l]

    Grazie all’indipendenza e al fatto che \mathbb E[X_i] = 0, molti termini della sommatoria sono nulli infatti:

    • Se un indice compare una sola volta (ad esempio i \neq j, k, l), allora per indipendenza:

      \mathbb E[X_i X_j X_k X_l] = \mathbb E[X_i] \mathbb E[X_j X_k X_l] = 0 \cdot \mathbb E[X_j X_k X_l] = 0

    • I termini che “sopravvivono” sono solo quelli in cui ogni indice compare almeno due volte. Questi sono di due tipi:

      1. Tutti gli indici uguali (i=j=k=l): Ci sono n termini del tipo \mathbb E[X_i^4].
      2. Indici uguali a coppie (ad esempio i=j \neq k=l): Ci sono \binom{n}{2} modi di scegliere i due indici distinti i e k. Per ogni coppia, ci sono \binom{4}{2} = 6 modi di disporli (ad esempio XXYY, XYXY, XYYX, \dots), ma poiché stiamo contando coppie non ordinate di coppie (es. \{i,i\} e \{k,k\}), i modi distinti di formare due coppie da 4 posizioni sono 3: (i,i,k,k), (i,k,i,k), (i,k,k,i). Quindi abbiamo 3 n(n-1) termini del tipo \mathbb E[X_i^2 X_k^2] = \mathbb E[X_i^2] \mathbb E[X_k^2] = (\text{Var}(X_1))^2.

    • Poiché \mathbb E[X_1^4] < \infty, allora anche \text{Var}(X_1) < \infty. Esiste quindi una costante C tale che:

      \mathbb E[S_n^4] = n \mathbb E[X_1^4] + 3n(n-1) (\mathbb E[X_1^2])^2 \le C n^2

  • A questo punto, sostituendo nella disuguaglianza di Markov, otteniamo:

    \mathbb P\left( \left| \frac{S_n}{n} \right| \ge \varepsilon \right)
= \frac{\mathbb E[S_n^4]}{\varepsilon^4 n^4}
\le \frac{C n^2}{\varepsilon^4 n^4} = \frac{C}{\varepsilon^4 n^2}

Per concludere, utilizziamo il primo lemma di Borel-Cantelli. La serie delle probabilità converge:

\sum_{n=1}^\infty \mathbb P\left( \left| \frac{S_n}{n} \right| \ge \varepsilon \right)
= \sum_{n=1}^\infty \frac{\mathbb E[S_n^4]}{\varepsilon^4 n^4}
\le \frac{C}{\varepsilon^4} \sum_{n=1}^\infty \frac{1}{n^2} < \infty

Dunque, l’evento \{|S_n/n| \ge \varepsilon\} si verifica solo un numero finito di volte quasi certamente. Poiché questo vale per ogni \varepsilon > 0, concludiamo che S_n / n \to 0 quasi certamente. \square

Disuguaglianza di Kolmogorov

Per dimostrare la legge forte dei grandi numeri sotto ipotesi più generali, abbiamo bisogno di uno strumento che permetta di controllare il comportamento del massimo delle somme parziali. Mentre la disuguaglianza di Chebyshev (o di Markov) permette di controllare la probabilità della somma finale:

\mathbb P(|S_n| \ge \varepsilon) \le \frac{1}{\varepsilon^2} \mathbb E[S_n^2]

Il seguente risultato fornisce una stima per il massimo delle somme parziali, questo risultato è in generale più difficile da ottenere rispetto a quello di Markov perché riguarda l’intera sequenza delle somme parziali, non solo la somma finale.

§ Proposizione (Disuguaglianza di Kolmogorov). Siano (X_n)_{n \ge 1} variabili aleatorie indipendenti con \mathbb E[X_n] = 0 e \mathbb E[X_n^2] < \infty per ogni n. Allora per ogni \varepsilon > 0:

\mathbb P \left( \max_{1 \le k \le n} |S_k| \ge \varepsilon \right) \le \frac{1}{\varepsilon^2} \mathbb E[S_n^2] = \frac{1}{\varepsilon^2} \sum_{k=1}^n \text{Var}(X_k)

Dimostrazione. Sia A = \{ \max_{1 \le k \le n} |S_k| \ge \varepsilon \}. Definiamo gli eventi disgiunti A_k come il primo istante in cui la somma parziale supera \varepsilon: A_1 = \{ |S_1| \ge \varepsilon \}, …, A_k = \{ |S_1| < \varepsilon, \dots, |S_{k-1}| < \varepsilon, |S_k| \ge \varepsilon \} per k=2, \dots, n. Quindi A = \bigcup_{k=1}^n A_k con (A_k) a due a due disgiunti.

\mathbb E[S_n^2] \ge \mathbb E[S_n^2 \bbone_A] = \mathbb E \left[ S_n^2 \sum_{k=1}^n \bbone_{A_k} \right] = \sum_{k=1}^n \mathbb E[S_n^2 \bbone_{A_k}]

Scriviamo S_n = S_k + (S_n - S_k):

\begin{aligned}
    \mathbb E[S_n^2 \bbone_{A_k}]
    &= \mathbb E[(S_k + (S_n - S_k))^2 \bbone_{A_k}] \\
    &= \mathbb E[(S_k^2 + 2 S_k(S_n - S_k) + (S_n - S_k)^2) \bbone_{A_k}]
\end{aligned}

Notiamo che \mathbb E[S_k(S_n - S_k) \bbone_{A_k}] = \mathbb E[\bbone_{A_k} S_k] \mathbb E[S_n - S_k] = 0 per l’indipendenza di \bbone_{A_k} S_k (che dipende da X_1, \dots, X_k) e S_n - S_k (che dipende da X_{k+1}, \dots, X_n). Quindi:

\mathbb E[S_n^2 \bbone_{A_k}] = \mathbb E[S_k^2 \bbone_{A_k}] + \mathbb E[(S_n - S_k)^2 \bbone_{A_k}] \ge \mathbb E[S_k^2 \bbone_{A_k}]

Poiché su A_k si ha |S_k| \ge \varepsilon, allora S_k^2 \ge \varepsilon^2, dunque:

\mathbb E[S_n^2] \ge \sum_{k=1}^n \mathbb E[S_k^2 \bbone_{A_k}] \ge \sum_{k=1}^n \varepsilon^2 \mathbb E[\bbone_{A_k}] = \varepsilon^2 \sum_{k=1}^n \mathbb P(A_k) = \varepsilon^2 \mathbb P(A)

da cui la tesi \mathbb P(A) \le \frac{1}{\varepsilon^2} \mathbb E[S_n^2].

Leggi dei grandi numeri

Ora vediamo un risultato utile ed un lemma più tecnico di Analisi che ci serviranno nella dimostrazione della legge dei grandi numeri.

§ Teorema (Convergenza serie aleatorie). Siano (X_n)_{n \ge 1} variabili aleatorie indipendenti tali che \mathbb E[X_n] = 0 e \sum_{n=1}^\infty \mathbb E[X_n^2] < \infty. Allora la serie \sum_{n=1}^\infty X_n converge quasi certamente.

Dimostrazione. Siano m, n con 1 \leq n \leq m, \varepsilon > 0.

\mathbb P \left[ \max_{n \leq k \leq m} |S_k - S_n| \geq \varepsilon \right] \leq \frac{1}{\varepsilon^2} \mathbb E[(S_m - S_n)^2]

per Kolmogorov ed abbiamo che:

  • (S_k - S_n)_{k=n} = 0

  • (S_k - S_n)_{k=n+1} = X_{n+1}

  • (S_k - S_n)_{k > n+1} = X_{n+1} + \dots + X_k

\mathbb E[(S_m - S_n)^2] = \sum_{k=n+1}^m \mathbb E X_k^2 \leq \sum_{k=n+1}^\infty \mathbb E X_k^2 \xrightarrow{n \to \infty} 0

Per ogni \varepsilon, \delta > 0 esiste n_0 tale che

\mathbb P \left[ \max_{n_0 \leq k \leq m} |S_k - S_{n_0}| \geq \varepsilon \right] \leq \delta \quad \text{per ogni } m \geq n_0

Costruiamo una successione (n_k)_{k \geq 1} strettamente crescente tale che

\mathbb P \left[ \max_{n_k \leq j \leq n_{k+1}} |S_j - S_{n_k}| \geq \frac{1}{2^k} \right] \leq \frac{1}{2^k}

ovvero abbiamo posto \varepsilon = \delta = 1 / 2^k. Dunque per il secondo lemma di Borel-Cantelli abbiamo che

\max_{n_k \leq j \leq n_{k+1}} |S_j - S_{n_k}| < \frac{1}{2^k} \quad \text{def. in } k \quad \text{q.c.}

Se j = n_{k+1}, |S_{n_{k+1}} - S_{n_k}| < 1 / 2^k definitivamente in k quasi certamente. Ora notiamo che

S_{n_{k}} = S_{n_1} + \sum_{j=1}^{k-1} (S_{n_{j+1}} - S_{n_j})

quindi \lim_k S_{n_k} esiste finito quasi certamente.

Se n > n_1 esiste k tale che n_k \leq n \leq n_{k+1}

\implies S_n = \underbrace{(S_n - S_{n_k})}_{\leq \frac{1}{2^k} \text{ def. q.c.}} + \underbrace{S_{n_k}}_{\text{conv.}}

quindi \lim_n S_n esiste finito quasi certamente.

Ed ora vediamo il lemma di Kronecker, che ci servirà nella dimostrazione della legge forte dei grandi numeri.

§ Lemma (Kronecker). Sia a_n \uparrow \infty e (y_n)_{n \ge 1} una successione di numeri reali tale che \sum_{n=1}^\infty y_n /a_n converge \Rightarrow \frac{1}{a_n} \sum_{k=1}^n y_k \to 0.

Dimostrazione (Kronecker). Siano x_0 = 0 e x_n = \sum_{k=1}^n \frac{y_k}{a_k}. Allora y_{n} = a_{n}(x_n - x_{n-1}). La somma parziale è:

\sum_{k=1}^n y_k = \sum_{k=1}^n a_k (x_k - x_{k-1}) = \sum_{k=1}^n a_k x_k - \sum_{k=1}^n a_k x_{k-1} = \sum_{k=1}^n a_k x_k - \sum_{j=0}^{n-1} a_{j+1} x_j
= a_n x_n + \sum_{k=1}^{n-1} (a_k - a_{k+1}) x_k

Quindi:

\frac{1}{a_n} \sum_{k=1}^n y_k = x_n - \frac{1}{a_n} \sum_{k=1}^{n-1} (a_{k+1} - a_k) x_k

Studiamo il comportamento del secondo termine. Osserviamo innanzitutto che, ponendo a_0 = 0:

\frac{1}{a_n} \sum_{k=2}^n (a_k - a_{k-1}) x_{k-1} = \frac{1}{a_n} \sum_{k=1}^n (a_k - a_{k-1}) x_{k-1}

Inoltre la somma è telescopica: \frac{1}{a_n} \sum_{k=1}^n (a_k - a_{k-1}) = \frac{a_n - a_0}{a_n} = 1. Per ipotesi (x_n)_{n \ge 1} converge a un limite \ell, allora:

\frac{1}{a_n} \sum_{k=1}^n (a_k - a_{k-1}) x_{k-1} - \ell = \frac{1}{a_n} \sum_{k=1}^n (a_k - a_{k-1}) (x_{k-1} - \ell)

(poiché \frac{1}{a_n} \sum (a_k - a_{k-1}) \ell = \frac{1}{a_n} (a_n - a_0) \ell = \ell). Sia \varepsilon > 0 e n_0 tale che |x_{k-1} - \ell| \le \varepsilon per k > n_0. Allora vale:

\frac{1}{a_n} \sum_{k=1}^n (a_k - a_{k-1}) (x_{k-1} - \ell) = \frac{1}{a_n} \sum_{k=1}^{n_0-1} (a_k - a_{k-1}) (x_{k-1} - \ell) + \frac{1}{a_n} \sum_{k=n_0}^n (a_k - a_{k-1}) (x_{k-1} - \ell)

Passando ai valori assoluti per il secondo termine:

\left| \frac{1}{a_n} \sum_{k=n_0}^n (a_k - a_{k-1}) (x_{k-1} - \ell) \right| \le \frac{\varepsilon}{a_n} \sum_{k=n_0}^n (a_k - a_{k-1}) \le \varepsilon \frac{a_n}{a_n} = \varepsilon

Il primo termine invece è una costante (fissato n_0) divisa per a_n \to \infty, quindi tende a 0. Concludiamo quindi \limsup_n \left| \frac{1}{a_n} \sum_{k=n_0}^n (a_k - a_{k-1}) (x_{k-1} - \ell) \right| \le \varepsilon. Per l’arbitrarietà di \varepsilon, il limite è 0. Dunque il limite totale è \ell - \ell = 0.

§ Teorema (Legge forte dei grandi numeri). Siano (X_n)_{n \ge 1} variabili aleatorie indipendenti, con \mathbb E[X_n^2] < \infty e tali che

\sum_{n=1}^\infty \frac{\text{Var}(X_n)}{n^2} < \infty

Allora vale la legge forte dei grandi numeri:

\frac{1}{n} (S_n - \mathbb E[S_n]) \to 0 \quad \text{quasi certamente}

Dimostrazione. Sia Y_n = (X_n - \mathbb E[X_n]) / n. Le variabili Y_n sono indipendenti, \mathbb E[Y_n] = 0 e \sum \mathbb E[Y_n^2] = \sum \text{Var}(X_n) / n^2 < \infty. Dunque la serie \sum Y_n converge quasi certamente, ovvero:

\sum_{n=1}^\infty \frac{X_n - \mathbb E[X_n]}{n} \quad \text{converge q.c.}

Per il lemma di Kronecker, otteniamo che:

\frac{1}{n} \sum_{k=1}^n (X_k - \mathbb E[X_k]) = \frac{S_n - \mathbb E[S_n]}{n} \to 0 \quad \text{q.c.}

§ Teorema (Legge forte di Kolmogorov). Siano (X_n)_{n \ge 1} variabili aleatorie indipendenti, con la stessa legge e con momenti primi finiti (\mathbb E[|X_1|] < \infty). Allora vale la legge forte dei grandi numeri:

\frac{S_n - \mathbb E[S_n]}{n} \to 0 \quad \text{q.c.}

In particolare \frac{1}{n} S_n \to \mathbb E[X_1] q.c.

Dimostrazione. Definiamo le variabili troncate Y_n = X_n \bbone_{\{|X_n| \le n\}}. Vediamo che vale:

  1. definitivamente, quasi certamente X_n = Y_n
  2. se T_n = Y_1 + \dots + Y_n allora \frac{1}{n} S_n - \frac{1}{n} T_n \to 0 q.c. e \frac{1}{n} \mathbb E[S_n - T_n] \to 0
  3. la legge forte vale per (Y_n)_{n \ge 1}

Dettagli dei punti:

  1. \sum_{n=1}^\infty \mathbb P[X_n \neq Y_n] = \sum_{n=1}^\infty \mathbb P(|X_n| > n) = \sum_{n=1}^\infty \mathbb P(|X_1| > n) \le \int_0^{+\infty} \mathbb P(|X_1| > t) dt = \mathbb E|X_1| < \infty. Per il primo lemma di Borel-Cantelli, X_n = Y_n definitivamente q.c.

  2. Quindi X_n - Y_n \to 0 q.c. (essendo definitivamente costantemente nulla), di conseguenza \frac{1}{n} \sum_{k=1}^n (X_k - Y_k) \to 0 q.c., ovvero \frac{S_n - T_n}{n} \to 0 q.c. Inoltre: \frac{1}{n} \mathbb E(S_n - T_n) = \frac{1}{n} \sum_{k=1}^n \mathbb E(X_k - Y_k) = \frac{1}{n} \sum_{k=1}^n \mathbb E[X_1 \bbone_{\{|X_1| > k\}}] \to 0. Basta che \mathbb E[X_1 \bbone_{\{|X_1| > n\}}] \to 0, infatti per convergenza dominata |X_1 \bbone_{\{|X_1| > n\}}| \le |X_1| e vale X_1 \bbone_{\{|X_1| > n\}} \to 0 q.c. per il punto 1.

§ Teorema (Legge forte di Kolmogorov 2). Siano (X_n)_{n \ge 1} variabili aleatorie indipendenti, con la stessa legge (i.i.d.) e con momenti primi finiti. Allora vale la segue legge forte dei grandi numeri:

\frac{S_n}{n} \xrightarrow{q.c.} \mathbb{E}[X_1]

Dimostrazione.

  1. Si ha che X_n \leq n definitivamente q.c. (Nota: questo segue dal fatto che \sum \mathbb{P}(|X_n| > n) \le \mathbb{E}|X_1| < \infty e dal lemma di Borel-Cantelli).

  2. Definiamo le variabili troncate \hat{X}_n := X_n \mathbb{1}_{\{|X_n| \le n\}}. Poiché \hat{S}_n = \hat{X}_1 + \dots + \hat{X}_n, dato che X_n = \hat{X}_n definitivamente q.c., si ha:

    \frac{S_n}{n} - \frac{\hat{S}_n}{n} \xrightarrow{q.c.} 0

    Allora, sapendo che \frac{1}{n}\mathbb{E}S_n - \frac{1}{n}\mathbb{E}\hat{S}_n \to 0, ne consegue:

    \frac{1}{n} (S_n - \mathbb{E}S_n) - \frac{1}{n} (\hat{S}_n - \mathbb{E}\hat{S}_n) \xrightarrow{q.c.} 0

  3. Resta da mostrare che \frac{1}{n} (\hat{S}_n - \mathbb{E}\hat{S}_n) \xrightarrow{q.c.} 0. Verifichiamo che vale la legge forte per (\hat{X}_n). Usiamo il risultato precedente: se (Y_n)_{n \ge 1} sono v.a. indipendenti con momento secondo finito tali che \sum_{n=1}^\infty \frac{1}{n^2} \text{Var}(Y_n) < \infty, allora vale la legge forte.

    Siano Y_n = \hat{X}_n, con \hat{X}_n = g_n(X_n) e g_n(x) = x \mathbb{1}_{[-n, n]}(x). Le variabili (\hat{X}_n)_{n \ge 1} sono indipendenti e |\hat{X}_n| \le n (quindi hanno momento secondo finito). Allora si ha:

    \sum_{n=1}^\infty \frac{1}{n^2} \text{Var}(\hat{X}\_n) \le \sum_{n=1}^\infty \frac{1}{n^2} \mathbb{E}[(\hat{X}_n)^2] = \sum_{n=1}^\infty \frac{1}{n^2} \mathbb{E}[X_n^2 \mathbb{1}_{\{|X_n| \le n\}}]

    Poiché le X_n sono identicamente distribuite a X_1:

    = \sum_{n=1}^\infty \frac{1}{n^2} \mathbb{E}[X_1^2 \mathbb{1}_{\{|X_1| \le n\}}] = \sum_{n=1}^\infty \frac{1}{n^2} \mathbb{E} \left[ X_1^2 \sum_{k=1}^n \mathbb{1}_{\{k-1 < |X_1| \le k\}} \right]
    = \sum_{n=1}^\infty \sum_{k=1}^n \frac{1}{n^2} \mathbb{E} [ X_1^2 \mathbb{1}_{\{k-1 < |X_1| \le k\}} ] = \sum_{k=1}^\infty \mathbb{E} [ X_1^2 \mathbb{1}_{\{k-1 < |X_1| \le k\}} ] \sum\_{n=k}^\infty \frac{1}{n^2}

    Sostituendo la stima della serie:

    \le c \sum_{k=1}^\infty \frac{1}{k} \mathbb{E} [ X_1^2 \mathbb{1}_{\{k-1 < |X_1| \le k\}} ]

    Notando che se |X_1| \le k \implies X_1^2 = |X_1| \cdot |X_1| \le k \cdot |X_1|, allora \frac{1}{k} X_1^2 \le |X_1|:

    \le c \sum_{k=1}^\infty \mathbb{E} [ |X_1| \mathbb{1}_{\{k-1 < |X_1| \le k\}} ] = c \mathbb{E} \left[ |X_1| \sum_{k=1}^\infty \mathbb{1}_{\{k-1 < |X_1| \le k\}} \right] = c \mathbb{E}[|X_1|] < \infty

    Essendo la serie convergente, la legge forte è applicabile a (\hat{X}_n), concludendo la dimostrazione per (X_n). \square

§ Proposizione. Siano (X_n)_{n \ge 1} variabili aleatorie indipendenti con stessa legge.

  1. Se \mathbb{P} \left[ \lim \frac{S_n}{n} \text{ esiste finito} \right] = 1, allora \mathbb{E}|X_1| < \infty.

  2. Se \mathbb{E}|X_1| = \infty, allora \mathbb{P} \left( \lim \frac{S_n}{n} \text{ esiste finito} \right) = 0.

  3. Supponiamo \mathbb{E}(X_1)_+ = \infty e \mathbb{E}(X_1)_- < \infty, allora \lim \frac{S_n}{n} = +\infty q.c.

Dimostrazione.

  1. Segue dal punto 2 e dalla legge forte.

  2. Sappiamo che \mathbb{E}[|X_1|] \le \sum_{n=0}^\infty \mathbb{P}[|X_1| > n]. Poiché \mathbb{E}[|X_1|] = \infty, allora:

    \sum_{n=0}^\infty \mathbb{P}[|X_1| > n] = \sum_{n=0}^\infty \mathbb{P}[|X_n| > n] = \infty

    Per il secondo lemma di Borel-Cantelli, si ha |X_n| > n per infiniti n quasi certamente.

    Sia A = \{ \lim \frac{S_n}{n} \text{ esiste finito} \}. Allora su A vale:

    \frac{S_n}{n} - \frac{S_{n+1}}{n+1} \to 0

    Notiamo che:

    \frac{S_n}{n} - \frac{S_{n+1}}{n+1} = S_n \left( \frac{1}{n} - \frac{1}{n+1} \right) - \frac{X_{n+1}}{n+1} = \frac{S_n}{n(n+1)} - \frac{X_{n+1}}{n+1} \to 0

    Quindi:

    \frac{X_{n+1}}{n+1} = \frac{S_n}{n(n+1)} - \left( \frac{S_n}{n} - \frac{S_{n+1}}{n+1} \right) \xrightarrow{\text{su } A} 0

    Tuttavia, se \frac{S_n}{n} \to \ell (finito), allora \frac{S_n}{n(n+1)} \to 0, il che implicherebbe \frac{X_{n+1}}{n+1} \to 0. Questo è assurdo per quanto detto sopra (ovvero che |X_n| > n i.o., cioè \frac{|X_n|}{n} > 1 infinite volte).

  3. Supponiamo \mathbb{E}(X_1)_+ = \infty e \mathbb{E}(X_1)_- < \infty.

    Sia M > 0. Consideriamo (X_n \wedge M)_{n \ge 1}, che sono variabili indipendenti con stessa legge e con momento primo finito. Per la legge forte:

    \frac{(X_1 \wedge M) + \dots + (X_n \wedge M)}{n} \to \mathbb{E}(X_1 \wedge M) \quad \text{q.c.}

    Osserviamo che (X_n \wedge M)_- = (X_n)_-, quindi:

    \mathbb{E}(X_1 \wedge M) = \mathbb{E}(X_1 \wedge M)_+ - \mathbb{E}(X_1 \wedge M)_- = \mathbb{E}[(X_1)_+ \wedge M] - \mathbb{E}(X_1)_-

    Per il teorema della convergenza monotona, \mathbb{E}[(X_1)_+ \wedge M] \uparrow \infty per M \uparrow \infty.

    Infatti, poiché X_n \ge X_n \wedge M, si ha:

    \frac{S_n}{n} \ge \frac{(X_1 \wedge M) + \dots + (X_n \wedge M)}{n}

    Passando al limite per n \to \infty:

    \liminf \frac{S_n}{n} \ge \mathbb{E}[X_1 \wedge M] \quad \text{q.c.}

    Infine, per M \to \infty, \mathbb{E}[X_1 \wedge M] \to +\infty, quindi \liminf \frac{S_n}{n} = +\infty q.c., il che implica \lim \frac{S_n}{n} = +\infty q.c.

Esempio. Siano (X_n)_{n \ge 1} indipendenti con stessa legge, positive e \mathbb E[X_1] > 0. Sia T_n = X_1 + \dots + X_n e N_t = \sup \{ n : T_n \le t \} per t \ge 0. Allora:

\frac{N_t}{t} \xrightarrow{t \to \infty} \frac{1}{\mathbb E[X_1]} \quad (\text{posto } 1/\infty = 0)

Si ha N_t \xrightarrow{t \to \infty} \infty quasi certamente, infatti (N_t)_{t \ge 0} è una funzione crescente di t. Se non convergesse a +\infty, allora esisterebbe N tale che N_t \le N per ogni t, ma questo contraddirebbe il fatto che T_n \to \infty q.c. (per la legge forte).

Quindi, poiché \frac{T_n}{n} \to \mathbb E[X_1] q.c. e N_t \to \infty q.c., si ha \frac{T_{N_t}}{N_t} \to \mathbb E[X_1] q.c. Dalla definizione di N_t segue che:

T_{N_t} \le t < T_{N_t+1}

Dividendo per N_t:

\frac{T_{N_t}}{N_t} \le \frac{t}{N_t} < \frac{T_{N_t+1}}{N_t+1} \cdot \frac{N_t+1}{N_t}

Poiché \frac{T_{N_t}}{N_t} \to \mathbb E[X_1], \frac{T_{N_t+1}}{N_t+1} \to \mathbb E[X_1] e \frac{N_t+1}{N_t} \to 1, per il teorema del confronto si ha \frac{t}{N_t} \to \mathbb E[X_1], ovvero \frac{N_t}{t} \to \frac{1}{\mathbb E[X_1]} q.c.