Esercizi

\mathbb{P}[A \mid B] = \frac{\mathbb{P}[A \cap B]}{\mathbb{P}[B]}

\mathbb{P}[A] = \sum_{i \in I} \mathbb{P}[A \mid B_i] \mathbb{P}[B_i]

\mathbb{P}[B \mid A] = \frac{\mathbb{P}[A \mid B] \mathbb{P}[B]}{\mathbb{P}[A]}

\mathbb{P}[B_j \mid A] = \frac{\mathbb{P}[A \mid B_j] \mathbb{P}[B_j]}{\sum_{i \in I} \mathbb{P}[A \mid B_i] \mathbb{P}[B_i]}

\text{Var}(X) = \mathbb{E}[(X - \mathbb{E}[X])^2] = \mathbb{E}[X^2] - \mathbb{E}[X]^2

\mathbb{P}[X \ge a] \le \frac{\mathbb{E}[X]}{a}

\mathbb{P}[|X - \mathbb{E}[X]| \ge a] \le \frac{\text{Var}(X)}{a^2}

\mathbb{P}[|X - \mathbb{E}[X]| \ge a] \le \frac{\text{Var}(X)}{a^2} = 0

\mathbb{P}[X \in A, Y \in A^\complement] = \mathbb{P}[X \in A] \mathbb{P}[Y \in A^\complement] = \mathbb{P}[X \in A] (1 - \mathbb{P}[X \in A]).

\mathbb{P}[X \in A, Y \in A^\complement] = 0.

Y_n = \frac{\frac{1}{n}\sum_{j=1}^n X_j - \mu}{\sigma/\sqrt{n}}
\xrightarrow{x} \mathcal{N}(0, 1)

\mathbb{P}\left[\bigcup_n A_n\right] \le \sum_n \mathbb{P}[A_n].

Soluzione. Definiamo una successione di eventi disgiunti (B_n)_{n \in \mathbb{N}} tali che la loro unione coincida con quella degli A_n. Poniamo:

B_1 = A_1, \quad B_n = A_n \setminus \left( \bigcup_{i=1}^{n-1} A_i \right) \text{ per } n > 1.

Si ha che:

1. B_n \subset A_n per ogni n.

2. B_n \cap B_m = \varnothing per n \neq m.

3. \bigcup_{n=1}^\infty B_n = \bigcup_{n=1}^\infty A_n.

Per la proprietà di additività numerabile della misura di probabilità \mathbb{P}:

\mathbb{P}\left[ \bigcup_n A_n \right] = \mathbb{P}\left[ \bigcup_n B_n \right] = \sum_n \mathbb{P}[B_n].

Poiché B_n \subset A_n, per la monotonia della probabilità si ha \mathbb{P}[B_n] \le \mathbb{P}[A_n] per ogni n. Dunque:

\sum_n \mathbb{P}[B_n] \le \sum_n \mathbb{P}[A_n].

Combinando i risultati otteniamo la tesi:

\mathbb{P}\left[ \bigcup_n A_n \right] \le \sum_n \mathbb{P}[A_n].

Soluzione.

• Intersezione di \sigma-algebre. Sia (\mathcal{F}_i)_{i \in I} una famiglia di \sigma-algebre su \Omega. Sia \mathcal{F} = \bigcap_{i \in I} \mathcal{F}_i.

  • \Omega \in \mathcal{F}_i per ogni i \in I, quindi \Omega \in \mathcal{F}.
  • Se A \in \mathcal{F}, allora A \in \mathcal{F}_i per ogni i \in I. Poiché ogni \mathcal{F}_i è una \sigma-algebra, A^c \in \mathcal{F}_i per ogni i \in I, dunque A^c \in \mathcal{F}.
  • Se (A_n)_{n \ge 1} \subset \mathcal{F}, allora (A_n)_{n \ge 1} \subset \mathcal{F}_i per ogni i \in I. Poiché ogni \mathcal{F}_i è una \sigma-algebra, \bigcup_n A_n \in \mathcal{F}_i per ogni i \in I, dunque \bigcup_n A_n \in \mathcal{F}.

• Unione crescente di \sigma-algebre. Sia (\mathcal{F}_n)_{n \ge 1} una successione crescente di \sigma-algebre, ovvero \mathcal{F}_n \subset \mathcal{F}_{n+1} per ogni n. Consideriamo \mathcal{F} = \bigcup_n \mathcal{F}_n.

  • \Omega \in \mathcal{F}_1 \subset \mathcal{F}.
  • Se A \in \mathcal{F}, allora A \in \mathcal{F}_n per qualche n. Poiché \mathcal{F}_n è una \sigma-algebra, A^c \in \mathcal{F}_n \subset \mathcal{F}.
  • Se A, B \in \mathcal{F}, allora A \in \mathcal{F}_n e B \in \mathcal{F}_m per certi n, m. Supponendo senza perdita di generalità n \le m, si ha A, B \in \mathcal{F}_m, quindi A \cup B \in \mathcal{F}_m \subset \mathcal{F}.

  Queste tre proprietà mostrano che \mathcal{F} è un’algebra. Tuttavia, l’unione non è in generale chiusa per unioni numerabili, e dunque non è necessariamente una \sigma-algebra.

• Controesempio. Si consideri \Omega = \mathbb{N} e \mathcal{F}_n = \sigma(\{0\}, \{1\}, \{2\}, \dots, \{n\}). Osserviamo che se \Omega è lo spazio ambiente e A_1, \dots, A_n è una partizione di \Omega (cioè tali che A_i \cap A_j = \varnothing e \bigcup A_i = \Omega), allora

  \sigma(A_1, \dots, A_n) = \left\{ \bigcup_{i \in J} A_i : J \subset \{1, \dots, n\} \right\}.

  In questo caso, \mathcal{F}_n è la \sigma-algebra generata dalla partizione \{\{0\}, \{1\}, \dots, \{n\}, \{n+1, n+2, \dots\}\}. L’unione \bigcup_n \mathcal{F}_n contiene tutti i sottoinsiemi finiti di \mathbb{N} e i loro complementari (insiemi co-finiti). Se \bigcup_n \mathcal{F}_n fosse una \sigma-algebra, allora dovrebbe contenere tutte le unioni numerabili dei suoi elementi. In particolare, poiché \{2k\} \in \mathcal{F}_{2k} \subset \mathcal{F}, l’insieme dei numeri pari E = \bigcup_{k=0}^\infty \{2k\} dovrebbe appartenere a \mathcal{F}. Ma E non è né finito né co-finito, quindi E \notin \bigcup_n \mathcal{F}_n.

Soluzione. \mathcal{A} è un’algebra:

• \Omega = (-\infty, +\infty] \in \mathcal{A}

• \mathcal{A} è chiuso per complementare:

  \left( \bigcup_{i=1}^n (a_i, b_i] \right)^c = \bigcap_{i=1}^n (a_i, b_i]^c = \bigcap_{i=1}^n ((-\infty, a_i] \cup (b_i, +\infty])

  che è un’unione finita di intervalli del tipo richiesto.

• \mathcal{A} è chiuso per unioni finite: Siano A = \bigcup_{i=1}^n (a_i, b_i] e B = \bigcup_{j=1}^m (\alpha_j, \beta_j]. Allora

  A \cup B = \bigcup_{i=1}^n (a_i, b_i] \cup \bigcup_{j=1}^m (\alpha_j, \beta_j] = \bigcup_{k=1}^{n+m} C_k

  dove C_k sono gli intervalli che compongono A e B. Se gli intervalli non si sovrappongono non ci sono problemi; altrimenti se si sovrappongono ci sono due casi:

  • (a, b] \cup (c, d] con a < c < b < d

  • (a, b] \cup (b, c] con a < b < c

  ma in entrambi i casi l’unione è ancora un intervallo del tipo richiesto.

• Per concludere mostriamo che \mathcal{A} è chiusa per intersezione finita. Siano A = \bigcup_{i=1}^n (a_i, b_i] e B = \bigcup_{j=1}^m (\alpha_j, \beta_j]. Allora

  A \cap B = \bigcup\_{i,j} ((a_i, b_i] \cap (\alpha_j, \beta_j])

  L’intersezione di due intervalli del tipo (a, b] è ancora un intervallo dello stesso tipo:

  (a_i, b_i] \cap (\alpha_j, \beta_j] = (\max(a_i, \alpha_j), \min(b_i, \beta_j)]

(se il primo termine è minore del secondo, altrimenti è \varnothing).

\mathcal{A} non è una \sigma-algebra:

• \bigcup_{n=1}^\infty (n, n + \frac{1}{2}] \notin \mathcal{A} poiché non è un’unione finita di intervalli.
• \bigcap_{n=1}^\infty (-\frac{1}{n}, 0] = \{0\}. Il singoletto \{0\} non può essere scritto come unione finita di intervalli del tipo (a, b], quindi \{0\} \notin \mathcal{A}.

Soluzione. Usiamo il lemma di Dynkin. Fissato A \in \mathcal{I}, l’insieme \mathcal{M} = \{B \in \sigma(\mathcal{I}') \mid A, B \text{ indipendenti}\} è una classe di Dynkin che contiene il \pi-sistema \mathcal{I}', dunque \mathcal{M} = \sigma(\mathcal{I}'). Analogamente, fissato B \in \sigma(\mathcal{I}'), l’insieme \mathcal{L} = \{A \in \sigma(\mathcal{I}) \mid A, B \text{ indipendenti}\} è una classe di Dynkin che contiene il \pi-sistema \mathcal{I}, dunque \mathcal{L} = \sigma(\mathcal{I}).

Soluzione. Calcoliamo la funzione di ripartizione di Z:

\begin{aligned}
F_Z(t) &= \mathbb{P}[Z \le t] = \mathbb{P}[X + Y \le t] \\
&= \mathbb{P}[(X, Y) \in \left\{(x, y) \in \mathbb{R}^2 \mid x + y \le t \right\}] \\
&= \iint_{\left\{(x, y) \mid x + y \le t\right\}} f(x, y) \, \mathrm d x \, \mathrm d y \\
&= \iint \bbone_{(-\infty, t]}(x + y) f(x, y) \, \mathrm d x \, \mathrm d y
\end{aligned}

Effettuando il cambio di variabili z = x + y e x = x, si ha:

\begin{aligned}
F_Z(t) &= \iint \bbone_{(-\infty, t]}(z) f(x, z - x) \, \mathrm d z \, \mathrm d x \\
&= \int \bbone_{(-\infty, t]}(z) \left( \int f(x, z - x) \, \mathrm d x \right) \, \mathrm d z \\
&= \int_{-\infty}^t \left( \int f(x, z - x) \, \mathrm d x \right) \, \mathrm d z
\end{aligned}

Dalla definizione di densità, segue che la funzione z \mapsto \int f(x, z - x) \, \mathrm d x è la densità di X + Y.

F_{M_n}(t) = \prod_{k=1}^n F_{X_k}(t), \quad 1 - F_{m_n}(t) = \prod_{k=1}^n (1 - F_{X_k}(t))

F_{M_n}(t) = F_{X_1}(t)^n, \quad 1 - F_{m_n}(t) = (1 - F_{X_1}(t))^n

Soluzione.

\begin{aligned}
F_{M_n}(t) &= \mathbb{P}[\max(X_1, \dots, X_n) \le t] \\
&= \mathbb{P}[X_i \le t \quad \forall i=1, \dots, n] \\
&= \prod_{i=1}^n \mathbb{P}[X_i \le t] = \prod_{i=1}^n F_{X_i}(t)
\end{aligned}

\begin{aligned}
F_{m_n}(t) &= \mathbb{P}[\min(X_1, \dots, X_n) \le t] \\
&= 1 - \mathbb{P}[\min(X_1, \dots, X_n) > t] \\
&= 1 - \mathbb{P}[X_i > t \quad \forall i=1, \dots, n] \\
&= 1 - \prod_{i=1}^n (1 - F_{X_i}(t))
\end{aligned}

Soluzione. Poiché X non è costante, esiste x tale che \mathbb{P}[X \le x] \in (0, 1). Analogamente, poiché Y non è costante, esiste y tale che \mathbb{P}[Y \le y] \in (0, 1).

Allora:

\mathbb{P}[Z > xy] \ge \mathbb{P}[X > x, Y > y] = \mathbb{P}[X > x]\mathbb{P}[Y > y] > 0

Tuttavia, se X \le x e Y \le y, allora Z = X \cdot Y \le xy (assumendo per semplicità X, Y \ge 0, o scegliendo opportunamente i valori), quindi:

\mathbb{P}[X \le x, Y \le y, Z > xy] = 0

Se fossero indipendenti, dovremmo avere:

\mathbb{P}[X \le x, Y \le y, Z > xy] = \mathbb{P}[X \le x] \mathbb{P}[Y \le y] \mathbb{P}[Z > xy] > 0

che è una contraddizione.

\mathbb{P}[X = k] = \frac{1}{2\pi} \int_{-\pi}^{\pi} e^{-ikt} \Phi_X(t) \mathrm d t.

Soluzione. Poiché X è a valori in \mathbb{Z}, la sua funzione caratteristica è:

\Phi_X(t) = \mathbb{E}[e^{itX}] = \sum_{k \in \mathbb{Z}} \mathbb{P}[X = k] e^{itk}

Questa è una serie di Fourier. La periodicità segue da:

\Phi_X(t + 2\pi) = \sum_{k \in \mathbb{Z}} \mathbb{P}[X = k] e^{i(t + 2\pi)k} = \sum_{k \in \mathbb{Z}} \mathbb{P}[X = k] e^{itk} \underbrace{e^{i2\pi k}}_{=1} = \Phi_X(t)

Per la formula di inversione, i coefficienti della serie sono:

\mathbb{P}[X = k] = \frac{1}{2\pi} \int_{-\pi}^{\pi} e^{-ikt} \Phi_X(t) \mathrm d t

Soluzione. Sia X \sim \mathcal{N}(m, \sigma^2). Possiamo scrivere X = m + \sigma Z dove Z \sim \mathcal{N}(0, 1) è una Gaussiana standard. La funzione caratteristica di X è legata a quella di Z dalla relazione:

\Phi_X(t) = \mathbb{E}[e^{itX}] = \mathbb{E}[e^{it(m + \sigma Z)}] = e^{itm} \mathbb{E}[e^{i(t\sigma) Z}] = e^{itm} \Phi_Z(\sigma t)

Basta quindi calcolare \Phi_Z(t) = \mathbb{E}[e^{itZ}].

Metodo 1 (Equazione differenziale). Derivando \Phi_Z(t) = \int_{-\infty}^{\infty} e^{itx} \frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2}x^2} \mathrm d x rispetto a t:

\Phi_Z'(t) = \int_{-\infty}^{\infty} ix e^{itx} \frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2}x^2} \mathrm d x = \frac{i}{\sqrt{2\pi}} \int_{-\infty}^{\infty} e^{itx} (x e^{-\frac{1}{2}x^2}) \mathrm d x

Notando che x e^{-\frac{1}{2}x^2} = -\frac{\mathrm d}{\mathrm d x} e^{-\frac{1}{2}x^2}, integriamo per parti:

\begin{aligned}
\Phi_Z'(t) &= \frac{i}{\sqrt{2\pi}} \left[ e^{itx} (-e^{-\frac{1}{2}x^2}) \right]_{-\infty}^{\infty} - \frac{i}{\sqrt{2\pi}} \int_{-\infty}^{\infty} (it e^{itx}) (-e^{-\frac{1}{2}x^2}) \mathrm d x \\
&= 0 - \frac{t}{\sqrt{2\pi}} \int_{-\infty}^{\infty} e^{itx} e^{-\frac{1}{2}x^2} \mathrm d x = -t \Phi_Z(t)
\end{aligned}

L’equazione \Phi_Z'(t) = -t \Phi_Z(t) con \Phi_Z(0) = 1 ha come soluzione \Phi_Z(t) = e^{-\frac{1}{2}t^2}.

Metodo 2 (Completamento del quadrato). Calcoliamo direttamente l’integrale per Z:

\Phi_Z(t) = \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} e^{itx - \frac{1}{2}x^2} \mathrm d x

Completiamo il quadrato nell’esponente:

-\frac{1}{2}x^2 + itx = -\frac{1}{2}(x^2 - 2itx) = -\frac{1}{2}(x - it)^2 + \frac{1}{2}(it)^2 = -\frac{1}{2}(x - it)^2 - \frac{1}{2}t^2

Quindi:

\Phi_Z(t) = e^{-\frac{1}{2}t^2} \underbrace{\int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2}(x - it)^2} \mathrm d x}_{=1} = e^{-\frac{1}{2}t^2}

L’integrale è pari a 1 poiché si tratta dell’integrale di una densità Gaussiana traslata. In conclusione, per X \sim \mathcal{N}(m, \sigma^2):

\Phi_X(t) = e^{itm} \Phi_Z(\sigma t) = e^{itm} e^{-\frac{1}{2}\sigma^2 t^2} = e^{itm - \frac{1}{2}\sigma^2 t^2}

Soluzione. La funzione caratteristica di una legge di Cauchy standard è \Phi_C(t) = e^{-|t|}. Se X, Y sono indipendenti e Cauchy, allora:

\Phi_{X+Y}(t) = \Phi_X(t) \Phi_Y(t) = e^{-|t|} e^{-|t|} = e^{-2|t|}

che è la funzione caratteristica di una legge di Cauchy di parametro 2. In generale, se X_1, \dots, X_n sono indipendenti e Cauchy:

\Phi_{\frac{1}{n}\sum X_i}(t) = \Phi_{\sum X_i}(t/n) = \prod_{i=1}^n \Phi_{X_i}(t/n) = (e^{-|t/n|})^n = e^{-n \frac{|t|}{n}} = e^{-|t|}

Dunque \frac{1}{n}(X_1 + \dots + X_n) ha la stessa legge di X_1.

Soluzione. Sia \Phi_X(t) = \mathbb{E}[e^{itX}]. Consideriamo la parte reale:

\frac{\Phi_X(t) + \Phi_X(-t)}{2} = \text{Re}(\Phi_X(t)) = \mathbb{E}[\cos(tX)]

Dall’ipotesi \Phi_X(t) = 1 + o(t^2), segue che \mathbb{E}[1 - \cos(tX)] = 1 - \text{Re}(\Phi_X(t)) = o(t^2). Utilizziamo il lemma di Fatou per t \to 0:

\begin{aligned}
    & \mathbb{E}[X^2] \\
    &= \mathbb{E}\left[ \liminf_{t \to 0} 2 \frac{1 - \cos(tX)}{t^2} \right] \\
    &\le \liminf_{t \to 0} \mathbb{E}\left[ 2 \frac{1 - \cos(tX)}{t^2} \right] \\
    &= \liminf_{t \to 0} \frac{2(1 - \text{Re}(\Phi_X(t)))}{t^2} \\
    &= 0
\end{aligned}

Poiché \mathbb{E}[X^2] \le 0 e X^2 \ge 0, deve essere X^2 = 0 quasi certamente, ovvero X = 0 q.c. Dunque \Phi_X(t) = \mathbb{E}[e^{it0}] = 1 per ogni t.

Soluzione. Si consideri X \sim \text{Exp}(1), ovvero con densità f_X(x) = e^{-x} \bbone_{(0, \infty)}(x). La sua funzione caratteristica è:

\Phi_X(t) = \int_0^\infty e^{itx} e^{-x} \mathrm d x = \int_0^\infty e^{-(1-it)x} \mathrm d x = \left[ \frac{e^{-(1-it)x}}{-(1-it)} \right]_0^\infty = \frac{1}{1-it}

Il modulo è |\Phi_X(t)| = \frac{1}{\sqrt{1+t^2}}, che per t \to \infty si comporta come 1/|t|, dunque non è integrabile su \mathbb{R}.

Soluzione. Siano X, Y, Z variabili aleatorie tali che X+Y e X+Z abbiano la stessa legge. Se X, Y sono indipendenti e X, Z sono indipendenti, allora \Phi_X(t)\Phi_Y(t) = \Phi_X(t)\Phi_Z(t). Se \Phi_X(t) si annulla per qualche t, non possiamo concludere in quanto \Phi_Y(t) = \Phi_Z(t).

Un esempio è dato da X \sim \text{Bernoulli}(1/2), Y = 0 e Z = 1 - 2X. Allora:

• X+Y = X ha legge \frac{1}{2}\delta_0 + \frac{1}{2}\delta_1.
• X+Z = X + 1 - 2X = 1 - X ha legge \frac{1}{2}\delta_1 + \frac{1}{2}\delta_0. Dunque X+Y e X+Z hanno la stessa legge. Tuttavia Y ha legge \delta_0, mentre Z ha legge \frac{1}{2}\delta_1 + \frac{1}{2}\delta_{-1}, quindi hanno leggi differenti.

Soluzione. Dall’indipendenza e dall’uguaglianza in legge segue:

\Phi_{X+Y}(t) = \Phi_X(t) \Phi_Y(t) = \Phi_X(t) \implies \Phi_X(t)(\Phi_Y(t) - 1) = 0

Poiché \Phi_X(0) = 1 e \Phi_X è continua, esiste un intorno di 0 in cui \Phi_X(t) \neq 0. In tale intorno deve quindi essere \Phi_Y(t) = 1. Poiché \Phi_Y(t) = 1 in un intorno di 0, si ha in particolare \Phi_Y(t) = 1 + o(t^2) per t \to 0. Per l’Esercizio 3.16, questo implica che \Phi_Y \equiv 1, ovvero Y = 0 q.c.

Soluzione.

• \Rightarrow) Sappiamo già che la convergenza q.c. implica la convergenza in probabilità.

• \Leftarrow) Viceversa, supponiamo che X_n\to X in probabilità, per definizione abbiamo che

  \forall \varepsilon>0 \quad \mathbb{P}[|X_n - X| \ge \varepsilon] \xrightarrow{n} 0

  Procediamo per assurdo, supponiamo che X_n non converga a X q.c., ovvero

  \mathbb{P}[\lim X_n = X] < 1

  ovvero, vale la seguente condizione, \exists \varepsilon > 0 tale che

  \mathbb{P}[\{ |X_n - X| \ge \varepsilon \text{ freq. in }n\,\}] > 0

  Ora osserviamo che, poiché \{ |X_n - X| \ge \varepsilon \text{ freq. in }n\,\} ha probabilità positiva conterrà almeno un \omega e poiché \Omega avremo che \mathbb{P}[\{\omega\}] > 0. In particolare tale che |X_n(\omega) - X(\omega)| \ge \varepsilon frequentemente in n. Quindi esiste una sottosuccessione (n_k)_k con

  |X_{n_k}(\omega) - X(\omega)| \ge \varepsilon \quad \text{per ogni } k

  Perciò per ogni k si ha

  \mathbb{P}[|X_{n_k}-X|\ge\varepsilon]\ge\mathbb{P}[\{\omega\}]>0,

  che contraddice il fatto che X_{n_k}\to X in probabilità (la probabilità degli scarti dovrebbe tendere a 0). Pertanto non esiste tale \varepsilon e si conclude che X_n\to X q.c.

  Quindi, se \Omega è numerabile, convergenza in probabilità e convergenza q.c. sono equivalenti. (La misura è atomica.)

Soluzione.

• (\Rightarrow) Abbiamo che \phi'(0) = i\mathbb{E}[X]. Dunque \mathbb{E}[X] = a. Per la legge debole dei grandi numeri, \frac{1}{n}(X_1 + \dots + X_n) \to \mathbb{E}[X_1] = a in probabilità.

• (\Leftarrow) Per la legge debole dei grandi numeri, \frac{1}{n}(X_1 + \dots + X_n) \to \mathbb{E}[X_1] = a, inoltre \phi'(0) = i\mathbb{E}[X_1] = ia.

  Variazione senza assumere il momento primo finito. (fatta da Gemini ma sembra tornare)

  Poiché S_n/n \xrightarrow{P} a, si ha anche convergenza in legge (\xrightarrow{d} a). Per il teorema di continuità puntuale della funzione caratteristica di Lévy, dunque le funzioni caratteristiche devono convergere puntualmente alla funzione caratteristica della costante a:

  \lim_{n \to \infty} \left( \phi \left( \frac{t}{n} \right) \right)^n = e^{iat} \quad \forall t \in \mathbb{R}

  Per un t fissato, quando n \to \infty, t/n \to 0. Poiché \phi(0) = 1 e \phi è continua, \phi(t/n) è vicino a 1 per n grande. Possiamo quindi prendere il logaritmo di entrambi i membri:

  \lim_{n \to \infty} \ln \left( \left[ \phi \left( \frac{t}{n} \right) \right]^n \right)
  = \ln(e^{iat}) \implies \lim_{n \to \infty} n \ln \phi \left( \frac{t}{n} \right)
  = iat

  Usando l’equivalenza \ln(z) \sim z - 1 per z \to 1, abbiamo \ln \phi(t/n) \sim \phi(t/n) - 1. Pertanto:

  \lim_{n \to \infty} n \left( \phi \left( \frac{t}{n} \right) - 1 \right) = iat

  Possiamo riscrivere il limite dividendo per t (assumendo t \neq 0):

  \lim_{n \to \infty} \frac{\phi(t/n) - 1}{t/n} = ia

  Posto h = t/n, quando n \to \infty si ha h \to 0. Il limite sopra indica che il rapporto incrementale converge:

  \lim_{h \to 0} \frac{\phi(h) - \phi(0)}{h} = ia

  Dunque, la derivata in 0 esiste ed è uguale a ia:

  \phi'(0) = ia

Soluzione. Osserviamo che basta mostrare la convergenza in L^2, da cui segue la convergenza in probabilità. Sia \varepsilon > 0

\mathbb{E}\left[ \left( \frac{1}{n} (S_n - \mathbb{E}[S_n]) \right)^2 \right] = \frac{1}{n^2} \mathbb{E}[(S_n - \mathbb{E}[S_n])^2] = \frac{1}{n^2} \text{Var}(S_n)

ora per variabili aleatorie scorrelate la varianza della somma è la somma delle varianze, dunque:

= \frac{1}{n^2} \sum_{i=1}^n \text{Var}(X_i) = \frac{1}{n} \sum_{i=1}^n \frac{\text{Var}(X_i)}{n} \le \frac{1}{n} \sum_{i=1}^n \frac{\text{Var}(X_i)}{i}

Siccome \frac{\text{Var}(X_i)}{i} \xrightarrow{i \to \infty} 0, allora \frac{\text{Var}(X_i)}{i} < \varepsilon definitivamente, ovvero per ogni i \ge n_\varepsilon. Ora il trucco è di spezzare la somma in due parti, una finita e l’altra con i termini più grandi di n_\varepsilon:

\frac{1}{n} \left( \sum_{i=1}^{n_\varepsilon - 1} \frac{\text{Var}(X_i)}{i} + \sum_{i=n_\varepsilon}^n \frac{\text{Var}(X_i)}{i} \right) < \frac{1}{n} (c_\varepsilon + (n - n_\varepsilon + 1)\varepsilon) < \frac{1}{n} (c_\varepsilon + n\varepsilon)

Prendendo il \limsup per n \to \infty:

\limsup_{n \to \infty} \mathbb{E}\left[ \left( \frac{1}{n} (S_n - \mathbb{E}[S_n]) \right)^2 \right] \le \varepsilon

Per l’arbitrarietà di \varepsilon, il limite è 0. Dunque la successione converge a 0 in L^2 e, di conseguenza, anche in probabilità.

\frac{X_1 + \dots + X_n}{Y_1 + \dots + Y_n} \to \frac{\mathbb{E} X_1}{\mathbb{E} Y_1} \quad \text{q.c.}

Soluzione. Per la legge forte di Kolmogorov \frac{1}{n}(X_1 + \dots + X_n) \to \mathbb{E}[X_1] q.c. e \frac{1}{n}(Y_1 + \dots + Y_n) \to \mathbb{E}[Y_1] q.c., dunque

\frac{\frac{1}{n}(X_1 + \dots + X_n)}{\frac{1}{n}(Y_1 + \dots + Y_n)} = \frac{X_1 + \dots + X_n}{Y_1 + \dots + Y_n} \xrightarrow{n \to \infty} \frac{\mathbb{E}[X_1]}{\mathbb{E}[Y_1]} \quad \text{q.c.}

Nota. Forse possiamo assumere che \mathbb{E}[|Y_1|] < \infty, altrimenti la legge forte non vale e bisogna procedere in modo più complicato (ad esempio considerando \hat Y_n := Y_n \bbone_{|Y_n| \le n}).

Soluzione. Osserviamo che la media geometrica può essere riscritta utilizzando l’esponenziale del logaritmo:

(X_1 \cdots X_n)^{1/n} = e^{\ln(X_1 \cdots X_n)^{1/n}} = e^{\frac{1}{n} \sum_{i=1}^n \ln X_i}

Per la legge forte dei grandi numeri, se \mathbb{E}[|\ln X_1|] < \infty, allora la media aritmetica degli \ln X_i converge quasi certamente al valore atteso \mathbb{E}[\ln X_1]. Calcoliamo tale valore:

\mathbb{E}[\ln X_1] = \int_0^1 \ln x \cdot 3x^2 \, \mathrm d x

Integrando per parti con F(x) = \ln x e g(x) = 3x^2:

\mathbb{E}[\ln X_1] = \underbrace{\left[ \ln x \cdot x^3 \right]_0^1}_{=0} - \int_0^1 \frac{1}{x} \cdot x^3 \, \mathrm d x = - \int_0^1 x^2 \, \mathrm d x = - \left[ \frac{x^3}{3} \right]_0^1 = -\frac{1}{3}

Poiché \mathbb{E}[\ln X_1] = -1/3 < \infty, si ha che \frac{1}{n} \sum_{i=1}^n \ln X_i \xrightarrow{\text{q.c.}} -1/3. Per la continuità della funzione esponenziale, concludiamo che:

Y_n \xrightarrow{n \to \infty} e^{-1/3} \quad \text{quasi certamente.}

Soluzione. Per mostrare che \langle X, u \rangle è costante q.c., mostriamo che ha varianza zero.

Fatto. \text{Var}(\langle X, u \rangle) = u^T Q u. (Si veda il Lemma 6.1.3)

Usando questo fatto, se u \in \ker Q, allora \text{Var}(\langle X, u \rangle) = u^T Q u = 0, dunque \langle X, u \rangle è costante q.c. In particolare, se u \in \ker Q, allora \langle X, u \rangle = \mathbb{E}[\langle X, u \rangle] = \langle \mathbb{E}[X], u \rangle q.c.

Vogliamo mostrare che (X - \mathbb{E}[X]) \in (\ker Q)^\perp q.c. Sia u \in \ker Q. Allora per il punto precedente:

\langle u, X - \mathbb{E}[X] \rangle = \langle u, X \rangle - \langle u, \mathbb{E}[X] \rangle = \langle u, \mathbb{E}[X] \rangle - \langle u, \mathbb{E}[X] \rangle = 0 \quad \text{q.c.}

Questo mostra che (X - \mathbb{E}[X]) \in (\ker Q)^\perp q.c., ovvero X \in \mathbb{E}[X] + (\ker Q)^\perp = H q.c.

Sia \mathbb{P}_X la misura di probabilità di X e \mathcal{L}^d la misura di Lebesgue d-dimensionale. Poiché \det Q = 0, \ker Q ha dimensione almeno 1, dunque (\ker Q)^\perp ha dimensione al più d-1. Ne segue che \mathcal{L}^d(H) = 0, mentre \mathbb{P}_X(H) = 1. Dunque \mathbb{P}_X non è assolutamente continua rispetto a \mathcal{L}^d.

Soluzione.

• X_2 è Gaussiana standard. La funzione caratteristica di X_2 è:

  \Phi_{X_2}(t) = \mathbb{E}[e^{itX_2}] = \mathbb{E}[e^{itVX_1}] = \mathbb{E}[\mathbb{E}[e^{itVX_1} \mid V]] = \mathbb{E}[\Phi_{X_1}(tV)]

  Siccome V è Rademacher (\mathbb{P}[V=1] = \mathbb{P}[V=-1] = 1/2):

  \Phi_{X_2}(t) = \frac{1}{2} \Phi_{X_1}(t) + \frac{1}{2} \Phi_{X_1}(-t) = \frac{1}{2} e^{-t^2/2} + \frac{1}{2} e^{-(-t)^2/2} = e^{-t^2/2}

  che è la funzione caratteristica di una Gaussiana standard.

• X = (X_1, X_2) non è un vettore Gaussiano. Consideriamo la combinazione lineare X_2 - X_1 (corrispondente al vettore u = (-1, 1)). Si ha:

  X_2 - X_1 = VX_1 - X_1 = X_1(V - 1)

  Dunque:

  X_2 - X_1 = \begin{cases} 0 & \text{con prob. } 1/2 \text{ (se } V=1) \\ -2X_1 & \text{con prob. } 1/2 \text{ (se } V=-1) \end{cases}

  In particolare \mathbb{P}[X_2 - X_1 = 0] \ge 1/2. Una variabile aleatoria Gaussiana non può avere un punto con probabilità positiva a meno che non sia costante, ma X_2 - X_1 non è costante. Dunque X_2 - X_1 non è Gaussiana, e quindi X non è un vettore Gaussiano.

• Non correlate ma dipendenti. La covarianza è:

  \begin{aligned}
  \text{Cov}(X_1, VX_1) &= \mathbb{E}[(X_1 - \mathbb{E}[X_1])(VX_1 - \mathbb{E}[VX_1])] \\
  &= \mathbb{E}[X_1 \cdot VX_1] \\
  &= \mathbb{E}[V] \mathbb{E}[X_1^2] = 0 \cdot 1 = 0
  \end{aligned}

  

  Dunque X_1 e X_2 sono non correlate. Tuttavia non sono indipendenti: ad esempio \mathbb{P}[X_1 = X_2] = \mathbb{P}[V=1] = 1/2, mentre se fossero indipendenti l’evento \{X_1 = X_2\} dovrebbe avere probabilità zero (essendo la diagonale nel piano, e avendo X_1, X_2 densità).

• Non assolutamente continuo.

  Sia \mathcal{L}^2 la misura di Lebesgue bidimensionale. La diagonale

  D = \{(x, y) \in \mathbb{R}^2 \mid x = y\}

  ha misura \mathcal{L}^2(D) = 0. Tuttavia, come visto sopra, \mathbb{P}_X(D) = \mathbb{P}[X_1 = X_2] = 1/2 > 0. Dunque la legge di X non è assolutamente continua rispetto alla misura di Lebesgue.

X_0 = x, \quad X_{n+1} = \phi(X_n, \xi_{n+1}).

Soluzione.

Dobbiamo far vedere che \mathbb{P}[X_{n+1} = x \mid \mathcal{F}_n] = \mathbb{P}[X_{n+1} = x \mid X_n]. Scegliamo \mathcal{F}_n = \sigma(X_0, \dots, X_n) = \sigma(X_0, \xi_1, \dots, \xi_n).

Trucco generale: per dimostrare che \mathbb{E}[\dots \mid \mathcal{F}_n] = \mathbb{E}[\dots \mid X_n], ci basta far vedere che \mathbb{E}[\dots \mid \mathcal{F}_n] = h(X_n) (ovvero è una funzione di X_n).

Si ha:

\mathbb{P}[X_{n+1} = x \mid \mathcal{F}_n] = \mathbb{E}[\bbone_{\{x\}}(X_{n+1}) \mid \mathcal{F}_n].

Sia ora A \in \mathcal{F}_n. Allora:

\begin{aligned}
\mathbb{E}[\bbone_{\{x\}}(X_{n+1}) \bbone_A] &= \mathbb{E}[\mathbb{E}[\bbone_{\{x\}}(X_{n+1}) \bbone_A \mid \mathcal{F}_n]] \\
&= \mathbb{E}[\bbone_A \mathbb{E}[\bbone_{\{x\}}(X_{n+1}) \mid \mathcal{F}_n]] \\
&= \mathbb{E}[\bbone_A \mathbb{E}[\bbone_{\{x\}}(\phi(X_n, \xi_{n+1})) \mid \mathcal{F}_n]]
\end{aligned}

Poiché X_n è \mathcal{F}_n-misurabile e \xi_{n+1} è indipendente da \mathcal{F}_n, per il Freezing Lemma si ha:

\mathbb{E}[\bbone_{\{x\}}(\phi(X_n, \xi_{n+1})) \mid \mathcal{F}_n] = g(X_n)

dove g(y) = \mathbb{E}[\bbone_{\{x\}}(\phi(y, \xi_{n+1}))].

Abbiamo dunque mostrato che \mathbb{P}[X_{n+1} = x \mid \mathcal{F}_n] = g(X_n), dunque possiamo concludere per il trucco generale che (X_n)_{n \ge 0} è una catena di Markov. Inoltre, poiché la legge di \xi_{n+1} non dipende da n, la catena è omogenea e le probabilità di transizione sono date da:

P(y, x) = \mathbb{P}[X_{n+1} = x \mid X_n = y] = g(y) = \mathbb{P}[\phi(y, \xi_1) = x].

Soluzione. TODO

Il seguente esempio soddisfa entrambe le richieste. Consideriamo (X_n)_n passeggiata aleatoria su \mathbb{Z}/2\mathbb{Z} e (Y_n)_n passeggiata aleatoria su \mathbb{Z}/3\mathbb{Z} indipendente da (X_n)_n.

Diciamo che:

\mathbb{P}[X_2 + Y_2 = 1 \mid X_1 + Y_1 = 1, X_0 + Y_0 = 3] = \frac{1}{2}

Infatti, X_0 + Y_0 = 3 implica necessariamente che (X_0, Y_0) = (1, 2). Da qui, la transizione deterministica porta a (X_1, Y_1) = (0, 1), che soddisfa X_1 + Y_1 = 1. Al passo successivo, X_2 = 1 e Y_2 \in \{0, 2\} con probabilità 1/2 ciascuno. Quindi X_2 + Y_2 = 1 se e solo se Y_2 = 0, che avviene con probabilità 1/2.

Invece, se (X_n + Y_n)_n fosse una catena di Markov, la probabilità di transizione dallo stato 1 allo stato 1 dovrebbe essere costante. Calcoliamo \mathbb{P}[X_1 + Y_1 = 1 \mid X_0 + Y_0 = 1] assumendo una distribuzione iniziale uniforme:

\mathbb{P}[X_0 + Y_0 = 1] = \mathbb{P}[(0, 1)] + \mathbb{P}[(1, 0)] = \frac{1}{6} + \frac{1}{6} = \frac{1}{3}

Le transizioni che partono da questi stati e arrivano in X_1 + Y_1 = 1 sono:

• (0, 1) \to (1, 0) con probabilità 1/2.
• (1, 0) \to (0, 1) con probabilità 1.

Quindi:

\mathbb{P}[X_1 + Y_1 = 1, X_0 + Y_0 = 1] = \frac{1}{6} \cdot \frac{1}{2} + \frac{1}{6} \cdot 1 = \frac{1}{12} + \frac{1}{6} = \frac{3}{12} = \frac{1}{4}

Dunque:

\mathbb{P}[X_1 + Y_1 = 1 \mid X_0 + Y_0 = 1] = \frac{1/4}{1/3} = \frac{3}{4}

Poiché 1/2 \neq 3/4, la successione (X_n + Y_n)_n non è una catena di Markov.

S_n = \sum_{k=1}^n X_k, \quad M_n = \max_{1 \le k \le n} S_k,

Soluzione. TODO

Puoi anche aprire la visualizzazione in una nuova scheda

L’albero sopra mostra le possibili traiettorie di S_n e i relativi valori di M_n (Max) e S_n (Cur). Si può notare come traiettorie diverse possano portare allo stesso valore di M_n ma a valori diversi di S_n, il che è alla base della non-Markovianità di M_n.

• (M_n)_{n \ge 0} non è una catena di Markov. Come si può osservare nell’albero delle traiettorie, la conoscenza del solo massimo M_n non è sufficiente a determinare la posizione corrente S_n, che invece influenza la distribuzione del massimo futuro. Consideriamo la probabilità \mathbb{P}[M_4 = 1 \mid M_3 = 1, M_2 = 0, M_1 = -1]. Se M_1 = -1, M_2 = 0, M_3 = 1, allora necessariamente la traiettoria è stata S_1 = -1, S_2 = 0, S_3 = 1. In questo caso S_3 = 1, quindi M_4 = \max(M_3, S_3 + X_4) = \max(1, 1 + X_4). Se X_4 = 1, M_4 = 2; se X_4 = -1, M_4 = 1. Dunque \mathbb{P}[M_4 = 1 \mid M_3 = 1, M_2 = 0, M_1 = -1] = 1/2. Tuttavia, se consideriamo solo M_3 = 1, potremmo avere avuto la traiettoria S_1 = 1, S_2 = 0, S_3 = -1, per cui M_3 = 1 ma S_3 = -1. In questo caso M_4 = \max(1, -1 + X_4) = 1 con probabilità 1. Poiché la probabilità di M_4 = 1 dato M_3 = 1 dipende dall’intera storia (che ci dice dove si trova S_3), (M_n)_n non è una catena di Markov.

• (M_n - S_n)_{n \ge 0} non è una catena di Markov. Analogamente a quanto visto sopra, la conoscenza di W_n = M_n - S_n non è sufficiente a determinare la distribuzione di W_{n+1} se non si conosce la posizione relativa rispetto allo zero o il valore di M_n, specialmente considerando la dipendenza dalla storia per determinare se siamo al massimo o meno.

• (S_n, M_n)_{n \ge 0} è una catena di Markov. Possiamo scrivere le relazioni di ricorrenza:

  \begin{cases}
  S_{n+1} = S_n + X_{n+1} \\
  M_{n+1} = \max(M_n, S_n + X_{n+1})
  \end{cases}

  Poiché (S_{n+1}, M_{n+1}) dipende solo dallo stato precedente (S_n, M_n) e dalla variabile indipendente X_{n+1}, la coppia è una catena di Markov.

• (S_n, M_n - S_n)_{n \ge 0} è una catena di Markov. Posto W_n = M_n - S_n, abbiamo:

  \begin{cases}
  S_{n+1} = S_n + X_{n+1} \\
  W_{n+1} = \max(M_n, S_{n+1}) - S_{n+1} = \max(M_n - S_{n+1}, 0) = \max(W_n - X_{n+1}, 0)
  \end{cases}

  Anche in questo caso, lo stato al tempo n+1 dipende solo dallo stato al tempo n e dall’incremento X_{n+1}.

• Poiché \log è concava, per la disuguaglianza di Jensen si ha:

  \mathbb{E}[\log X] \leq \log(\mathbb{E}[X]) = \log(1) = 0

• Se \mathbb{E}[\log X] = 0, allora la disuguaglianza di Jensen diventa un’uguaglianza. Ciò accade solo se X è costante q.c., ovvero X = c q.c. per qualche costante c. Poiché \mathbb{E}[X] = 1, si ha c = 1. Dunque X = 1 q.c.