Search

Definizione 1.1.1. Un insieme \mathcal{F} di parti di un dato insieme \Omega (ovvero \mathcal{F} è un sottoinsieme dell’insieme delle parti \mathcal{P}(\Omega) di \Omega) è una \sigma-algebra se

• \Omega \in \mathcal{F}

• se A \in \mathcal{F}, allora il complementare A^\complement \in \mathcal{F}

• se (A_n)_{n \ge 1} \subset \mathcal{F}, allora \bigcup_n A_n \in \mathcal{F}

Definizione 1.1.4. Un insieme \mathcal{I} \subset \mathcal{P}(\Omega) è un \pi-sistema se \Omega \in \mathcal{I}[^1] e se \mathcal{I} è chiuso per intersezioni finite: se A, B \in \mathcal{I}, allora A \cap B \in \mathcal{I}.

Definizione 1.1.5. Un insieme \mathcal{M} \subset \mathcal{P}(\Omega) è una classe di Dynkin se

• \Omega \in \mathcal{M}

• se A, B \in \mathcal{M} e A \subset B, allora B \setminus A \in \mathcal{M} (chiusura per differenze crescenti di insiemi)

• se (A_n)_{n \ge 1} \subset \mathcal{M}, e se A_n \subset A_{n+1} per ogni n, allora \bigcup_n A_n \in \mathcal{M} (chiusura per unioni numerabili crescenti)

Definizione. Dato un insieme \Omega, e, si definisce la classe di Dynkin generata da un insieme \mathcal{I} \subset \mathcal{P}(\Omega) come l’intersezione di tutte le classi di Dynkin che contengono \mathcal{I}.

Inoltre una \sigma-algebra è una classe di Dynkin, ma in generale il viceversa non è vero (vedi Esempio 1.1.8).

Teorema 1.1.6 (Lemma di Dynkin). Sia \mathcal{I} \subset \mathcal{P}(\Omega) un \pi-sistema. Allora la classe di Dynkin \mathcal{M} generata da \mathcal{I} è una \sigma-algebra.

Corollario 1.1.7. Nel contesto del Teorema 1.1.6, la classe di Dynkin generata da \mathcal{I} è uguale a \sigma(\mathcal{I}), la più piccola \sigma-algebra generata da \mathcal{I}.

Lemma 1.1.9. Dati uno spazio misurabile (\Omega, \mathcal{F}) e \mathcal{M} \subset \mathcal{F}, l’insieme \mathcal{M} è una classe di Dynkin se e solo se

• \varnothing \in \mathcal{M}

• se A \in \mathcal{M}, allora A^\complement \in \mathcal{M}

• se (A_n)_{n \ge 0} \subset \mathcal{M} sono a due a due disgiunti, allora \bigcup_n A_n \in \mathcal{M}.

Definizione 1.1.10. Dato uno spazio misurabile (\Omega, \mathcal{F}), una misura è una funzione \mu : \mathcal{F} \to [0, \infty] tale che,

• \mu(A) \ge 0 per ogni A \in \mathcal{F}

• (\sigma-additività) per ogni famiglia numerabile (A_n)_{n \ge 0} di elementi di \mathcal{F} a due a due disgiunti (A_i \cap A_j = \varnothing per ogni i \neq j),

  \mu\left(\bigcup_{n \ge 0} A_n\right) = \sum_{n=0}^\infty \mu(A_n).

Una misura \mu si dice

• \sigma-finita se \Omega è unione numerabile di insiemi (di \mathcal{F}) di misura finita,

• finita se \mu(\Omega) < \infty,

• probabilità se \mu(\Omega) = 1.

Corollario 1.1.11. Dato uno spazio di misura (\Omega, \mathcal{F}), sia \mathcal{I} un \pi-sistema che genera \mathcal{F}. Se \mathbb{P}_1, \mathbb{P}_2 sono due probabilità su (\Omega, \mathcal{F}) tali che \mathbb{P}_1[A] = \mathbb{P}_2[A] per ogni A \in \mathcal{I}, allora \mathbb{P}_1 = \mathbb{P}_2.

Corollario 1.1.12. Se C \in \mathcal{E}_1 \otimes \mathcal{E}_2, allora per ogni x \in E_1 la sezione C_x = \{y \in E_2 : (x, y) \in C\} è un elemento di \mathcal{E}_2. Analogo risultato vale per la sezione C_y \in \mathcal{E}_1.

Definizione 1.1.13. Dato un insieme \Omega, un insieme \mathcal{M} \subset \mathcal{P}(\Omega) è una classe monotona se

• se (A_n)_{n \ge 0} \subset \mathcal{M} è una famiglia numerabile crescente per inclusione, allora \bigcup_n A_n \in \mathcal{M}

• se (A_n)_{n \ge 0} \subset \mathcal{M} è una famiglia numerabile decrescente per inclusione, allora \bigcap_n A_n \in \mathcal{M}

Teorema 1.1.15 (Classe monotona). Se \mathcal{A} è una algebra su un insieme \Omega, allora la classe monotona generata da \mathcal{A} è una \sigma-algebra (infatti la \sigma-algebra generata da \mathcal{A}).

Proposizione 1.1.16. Se f : \Omega \to \mathbb{R} è misurabile positiva, allora esiste una successione (f_n)_{n \ge 1} di funzioni semplici positive tali che f_n \uparrow f. La convergenza è uniforme se f è limitata.

Teorema 1.1.17 (versione funzionale del teorema della classe monotona). Dato uno spazio di misura (\Omega, \mathcal{F}), sia \mathcal{I} un \pi-sistema che genera \mathcal{F}. Sia poi \mathcal{H} un insieme di funzioni misurabili reali su (\Omega, \mathcal{F}) tali che

• \bbone_A \in \mathcal{H} per ogni A \in \mathcal{I}

• \mathcal{H} è uno spazio vettoriale

• se (f_n)_{n \ge 1} \subset \mathcal{H}, con f_n \ge 0 per ogni n, e se f_n \uparrow f per una funzione (reale, misurabile, positiva) limitata f, allora f \in \mathcal{H}

Allora \mathcal{H} contiene tutte le funzioni misurabili reali limitate su (\Omega, \mathcal{F}).

Teorema 1.2.1 (Teorema di Caratheodory). Sia \mathbb{P} una funzione \sigma-additiva definita su un’algebra \mathcal{A} di parti di un insieme \Omega tale che \mathbb{P}[\Omega] = 1 : \mathbb{P} si prolunga (in un sol modo) alla \sigma-algebra \mathcal{F} generata da \mathcal{A}.

Lemma 1.2.2. Siano (A_n)_{n \ge 1} e (A'_n)_{n \ge 1} due famiglie crescenti di elementi di \mathcal{A} e supponiamo che si abbia \bigcup_{n \ge 1} A_n \subseteq \bigcup_{n \ge 1} A'_n : allora vale la disuguaglianza

\lim_{n \to \infty} \mathbb{P}[A_n] \le \lim_{n \to \infty} \mathbb{P}[A'_n]

Lemma 1.2.3. La funzione \mathbb{P} definita su \mathcal{B} gode delle seguenti proprietà:

• se B_n \uparrow B, \mathbb{P}[B_n] \uparrow \mathbb{P}[B];

• se B_1, B_2 sono elementi di \mathcal{B}, anche (B_1 \cup B_2) e (B_1 \cap B_2) sono elementi di \mathcal{B} e vale l’eguaglianza

  \mathbb{P}[B_1 \cup B_2] + \mathbb{P}[B_1 \cap B_2] = \mathbb{P}[B_1] + \mathbb{P}[B_2].

In particolare \mathbb{P} definita su \mathcal{B} è \sigma-additiva.

Proposizione 1.2.4. La funzione d’insieme \mathbb{P}^* gode delle seguenti proprietà:

1. per ogni C, si ha 0 \le \mathbb{P}^*(C) \le 1

2. se C_1 \subseteq C_2, allora \mathbb{P}^*(C_1) \le \mathbb{P}^*(C_2)

3. se C_n \uparrow C, allora \mathbb{P}^*(C_n) \uparrow \mathbb{P}^*(C)

4. \mathbb{P}^*(C_1 \cup C_2) + \mathbb{P}^*(C_1 \cap C_2) \le \mathbb{P}^*(C_1) + \mathbb{P}^*(C_2)

Teorema 1.2.5. L’insieme \mathcal{C} è una \sigma-algebra, inoltre \mathbb{P}^* ristretta a \mathcal{C} è \sigma-additiva.

Definizione 1.2.8 Dati due spazi misurabili (\Omega_1, \mathcal{F}_1), (\Omega_2, \mathcal{F}_2), un nucleo di probabilità da \Omega_1 a \Omega_2 è una funzione k : \Omega_1 \times \mathcal{F}_2 \to [0, \infty) tale che

• per ogni B \in \mathcal{F}_2, x \mapsto k(x, B) è \mathcal{F}_1 misurabile

• per ogni x \in \Omega_1, k(x, \cdot) è una probabilità su (\Omega_2, \mathcal{F}_2)

Definizione 1.2.9 Dati gli spazi misurabili (\Omega_1, \mathcal{F}_1), (\Omega_2, \mathcal{F}_2), (\Omega_3, \mathcal{F}_3), un nucleo k_1 da \Omega_1 a \Omega_2 e un nucleo k_2 da \Omega_1 \times \Omega_2 a \Omega_3, il nucleo k_1 \otimes k_2, da \Omega_1 a \Omega_2 \times \Omega_3 è definito come

k_1 \otimes k_2(x, B) = \int \left( \int \bbone_B(y, z) k_2((x, y), dz) \right) k_1(x, dy).

Teorema 1.2.10 (Ionescu-Tulcea). Siano dati una famiglia (\Omega_n, \mathcal{F}_n)_{n \ge 0} di spazi misurabili, una probabilità k_0 su \Omega_0, e per ogni n \ge 1 un nucleo k_n da \prod_{i=0}^{n-1} \Omega_i a \Omega_n. Allora esiste una probabilità \mathbb{P} su \prod_{n=0}^\infty \Omega_n tale che per ogni n la misura immagine di \mathbb{P} rispetto alla proiezione su \prod_{i=0}^n \Omega_n è \bigotimes_{i=0}^n k_i.

Teorema 1.3.1. Un sottoinsieme A \subseteq \Omega appartiene a \mathcal{F}^\mathbb{P} se e solo se esistono B, C \in \mathcal{F} tali che B \subseteq A \subseteq C e \mathbb{P}(C \setminus B) = 0. Inoltre \mathbb{P} si estende in uno ed in un sol modo ad una probabilità su \mathcal{F}^\mathbb{P} ponendo, per A, B, C come sopra \mathbb{P}(A) = \mathbb{P}(B) = \mathbb{P}(C).

Definizione 1.4.1 Se X : \Omega \to E è una variabile aleatoria, la \sigma-algebra generata da X, denotata come \sigma(X), è definita come la più piccola \sigma-algebra (su \Omega) per cui X è misurabile.

Lemma 1.4.2 (Doob). Sullo spazio (\Omega, \mathcal{F}, \mathbb{P}) siano date una variabile aleatoria X a valori in (E, \mathcal{E}) e una variabile aleatoria reale Y che sia \sigma(X)-misurabile[^2]. Allora esiste una funzione misurabile g : E \to \mathbb{R} tale che Y = g(X).

Lemma 1.4.3. Sia X_n una successione di variabile aleatoria semplici a valori positivi, supponiamo che X_n converga crescendo verso X e supponiamo che anche X sia semplice: allora \mathbb{E}[X_n] \uparrow \mathbb{E}[X].

Lemma 1.4.4. Siano (X_n)_{n \ge 1} e (X'_n)_{n \ge 1} due successioni crescenti di variabile aleatoria semplici a valori positivi e supponiamo che si abbia \lim_n X_n \le \lim_n X'_n, allora

\lim_n \mathbb{E}[X_n] \le \lim_n \mathbb{E}[X'_n].

Definizione 1.4.5. Definiamo, per una variabile aleatoria X a valori positivi,

\mathbb{E}[X] = \lim_{n \to \infty} \mathbb{E}[X_n],

dove (X_n)_{n \ge 1} è una successione di variabile aleatoria semplici tale che X_n \uparrow X. Il Lemma 1.4.4 garantisce che questo numero non dipende dalla particolare successione approssimante scelta, inoltre in questa definizione si può supporre che la variabile aleatoria X sia a valori in [0, +\infty].

Proposizione 1.4.6. Se X, Y sono variabili aleatorie a valori positivi,

• se a \ge 0, allora \mathbb{E}[aX + Y] = a\mathbb{E}[X] + \mathbb{E}[Y],

• se X \ge 0, allora \mathbb{E}[X] = 0 se e solo se X = 0 q. c.,

• se X e Y sono a valori reali (q. c.), l’eguaglianza \mathbb{E}[X \bbone_A] = \mathbb{E}[Y \bbone_A] per ogni A \in \mathcal{F} vale se e solo se X = Y q. c..

Lemma 1.4.7 (Convergenza Monotona, o Beppo-Levi). Siano (X_n)_{n \ge 1} variabili aleatorie a valori positivi tali che X_n \uparrow X. Allora

\mathbb{E}[X_n] \uparrow \mathbb{E}[X].

Lemma 1.4.8 (Fatou). Sia (X_n)_{n \ge 1} una successione di variabili aleatorie a valori positivi, allora vale la disuguaglianza,

\mathbb{E}[\liminf_{n \to \infty} X_n] \le \liminf_{n \to \infty} \mathbb{E}[X_n].

Definizione 1.4.9. La variabile aleatoria X è detta integrabile se

\mathbb{E}[|X|] = \mathbb{E}[X^+] + \mathbb{E}[X^-] < +\infty,

e si chiama integrale di X il numero, denotato con \mathbb{E}[X],

\mathbb{E}[X] = \mathbb{E}[X^+] - \mathbb{E}[X^-].

Tale numero è chiamato valore atteso o speranza matematica della variabile aleatoria X.

Lemma 1.4.10. Il valore atteso è omogeneo e lineare sulle variabili integrabili

Teorema 1.4.11 (di convergenza dominata o di Lebesgue). Sia (X_n)_{n \ge 1} una successione di variabile aleatoria. e supponiamo che la successione (X_n)_{n \ge 1} converga puntualmente ad X e che esista una variabile aleatoria integrabile Y tale che si abbia |X_n| \le Y : allora

\lim_{n \to \infty} \mathbb{E}[X_n] = \mathbb{E}[X]

Definizione 1.4.12 (legge). Data una variabile aleatoria X su uno spazio misurabile (\Omega, \mathcal{F}), a valori in (E, \mathcal{E}), la legge di X, denotata con \mathbb{P}_X, è la probabilità su (E, \mathcal{E}) definita da

\mathbb{P}_X[A] = \mathbb{P}[X \in A], \qquad A \in \mathcal{E}.

Proposizione 1.4.13. Siano date una variabile aleatoria X su uno spazio misurabile (\Omega, \mathcal{F}), a valori in (E, \mathcal{E}), ed una funzione misurabile \varphi : E \to \mathbb{R}. Si ha che \varphi(X) è integrabile se e solo se \varphi è integrabile rispetto a \mathbb{P}_X. Inoltre, in tal caso,

\mathbb{E}[\varphi(X)] = \int \varphi(x) \, \mathbb{P}_X(\mathrm d x).

Proposizione (Disuguaglianza di Jensen). Sia \varphi : \mathbb{R} \to \mathbb{R} una funzione convessa e supponiamo che X e \varphi(X) siano integrabili: allora

\varphi(\mathbb{E}[X]) \le \mathbb{E}[\varphi(X)]

In particolare vale l’uguaglianza quando \varphi non è strettamente convessa (ad esempio è lineare) o quando X è quasi certamente costante.

Corollario 1.4.15. Se 1 \le p < q < +\infty e se \mathbb{E}[|X|^q] < +\infty, allora anche \mathbb{E}[|X|^p] < +\infty.

Lemma 1.4.16 (Disuguaglianza di Young). Se 1 < p, q < \infty con \frac{1}{p} + \frac{1}{q} = 1, e se X \in \mathcal{L}^p(\Omega, \mathcal{F}, \mathbb{P}), Y \in \mathcal{L}^q(\Omega, \mathcal{F}, \mathbb{P}), allora XY \in \mathcal{L}^1(\Omega, \mathcal{F}, \mathbb{P}) e

|\mathbb{E}[XY]| \le \frac{1}{p} \mathbb{E}[|X|^p] + \frac{1}{q} \mathbb{E}[|Y|^q]

Proposizione 1.4.17 (Disuguaglianza di Hölder). Se 1 \le p, q \le \infty con \frac{1}{p} + \frac{1}{q} = 1 (oppure p=1, q=\infty o viceversa), e se X \in \mathcal{L}^p(\Omega, \mathcal{F}, \mathbb{P}), Y \in \mathcal{L}^q(\Omega, \mathcal{F}, \mathbb{P}), allora XY \in \mathcal{L}^1(\Omega, \mathcal{F}, \mathbb{P}) e

|\mathbb{E}[XY]| \le \|X\|_p \|Y\|_q

Definizione 2.1.1. La \sigma-algebra prodotto su E, denotata con \bigotimes_{i \in I} \mathcal{E}_i, è la più piccola \sigma-algebra che rende misurabili le proiezioni \pi_i per ogni i \in I. Equivalentemente, la \sigma-algebra prodotto è la \sigma-algebra generata dagli insiemi della forma \pi_i^{-1}(A_i), al variare di i \in I e di A_i \in \mathcal{E}_i.

Definizione 2.1.2 Un rettangolo è un insieme del tipo

\pi_{i_1}^{-1}(A_1) \cap \dots \cap \pi_{i_k}^{-1}(A_k) = \pi_{\{i_1, i_2, \dots, i_k\}}^{-1}(A_{i_1} \times A_{i_2} \times \dots \times A_{i_k}),

per k \ge 1, i_1, i_2, \dots, i_k \in I e A_{i_h} \in \mathcal{E}_{i_h} per ogni h=1,2,\dots,k.

Definizione 2.1.3 Un cilindro è un insieme del tipo \pi_J^{-1}(A), con J \subset I un insieme finito, e A \in \bigotimes_{j \in J} \mathcal{E}_j.

Definizione 2.2.1. Le \sigma-algebre \mathcal{F}_1, \mathcal{F}_2 \subset \mathcal{F} si dicono indipendenti se per ogni A_1 \in \mathcal{F}_1 e A_2 \in \mathcal{F}_2, gli eventi A_1, A_2 sono indipendenti. Più in generale, le \sigma-algebre (\mathcal{F}_i)_{i \in I}, con \mathcal{F}_i \subset \mathcal{F} per ogni i \in I, sono indipendenti se per ogni J \subset I finito e per ogni A_i \in \mathcal{F}_i e i \in J,

\mathbb{P}\left[\bigcap_{i \in J} A_i\right] = \prod_{i \in J} \mathbb{P}[A_i].

Proposizione 2.2.2. Siano X_1, X_2 due variabili aleatorie a valori rispettivamente in (E_1, \mathcal{E}_1) e (E_2, \mathcal{E}_2) e sia, per ogni i, \mathcal{D}_i un \pi-sistema che genera \mathcal{E}_i. Le variabili aleatorie X_1 e X_2 sono indipendenti se e solo se

\mathbb{P}[X_1 \in B_1, X_2 \in B_2] = \mathbb{P}[X_1 \in B_1] \mathbb{P}[X_2 \in B_2]

per ogni B_1 \in \mathcal{D}_1, B_2 \in \mathcal{D}_2.

Teorema 2.2.3 Sia (X_i)_{i \in I} una famiglia di variabili aleatorie. Sono allora equivalenti:

• le variabili aleatorie (X_i)_{i \in I} sono indipendenti,

• per ogni k \geq 2 e per ogni j_1, \ldots, j_k \subset I disgiunti, le variabili X_{j_1}, \ldots, X_{j_k} sono indipendenti.

Proposizione 2.3.1. Sia f: E \times F \to \mathbb{R} misurabile positiva. Allora:

• per ogni x \in E la funzione y \mapsto f(x, y) è \mathcal{F}-misurabile
• la funzione x \mapsto \int_F f(x, y) \mathbb{Q}(dy) è \mathcal{E}-misurabile.

Inoltre la prima proprietà si estende anche a funzioni misurabili (senza il vincoli sul segno), e la seconda a funzioni integrabili.

Definizione. Si ricorda che, se C \subset E \times F, si chiama sezione (nel punto x \in E) l’insieme

C_x \coloneqq \{y \in F : (x,y) \in C\}

Teorema 2.3.2 (Fubini-Tonelli). Dato C \in \mathcal{E} \otimes \mathcal{F}, si ponga

\mathbb{P} \otimes \mathbb{Q}(C) = \int_E \mathbb{Q}(C_x) \mathbb{P}(\mathrm d x)

La funzione d’insieme \mathbb{P} \otimes \mathbb{Q} è una probabilità, ed è l’unica probabilità su \mathcal{E} \otimes \mathcal{F} tale che \mathbb{P} \otimes \mathbb{Q}(A \times B) = \mathbb{P}(A) \mathbb{Q}(B) per ogni A \in \mathcal{E}, B \in \mathcal{F}. Inoltre per ogni funzione f misurabile positiva su E \times F, vale la formula

\iint_{E \times F} f(x,y) \mathbb{P} \otimes \mathbb{Q}(\mathrm d x, \mathrm d y) = \int_E \left(\int_F f(x,y) \mathbb{Q}(\mathrm d y)\right) \mathbb{P}(\mathrm d x).

Teorema 2.3.7 (estensione ad un prodotto arbitrario). Dati gli spazi di probabilità (\Omega_i, \mathcal{F}_i, \mathbb{P}_i), si consideri lo spazio prodotto \Omega = \prod_{i \in I} \Omega_i munito della \sigma-algebra prodotto \mathcal{F} = \bigotimes_{i \in I} \mathcal{F}_i. Allora esiste una unica probabilità \mathbb{P} su (\Omega, \mathcal{F}) tale che per ogni I \subset J finito, ed ogni A_i \in \mathcal{F}_i, j \in J,

\mathbb{P}\Big[\bigcap_{j \in J} \pi_j^{-1}(A_j)\Big] = \prod_{j \in J} \mathbb{P}_j[A_j].

Teorema 2.3.8. Nel contesto illustrato precedentemente, esiste sullo spazio prodotto \prod_{i \in I} E_i munito della \sigma-algebra prodotto \bigotimes_{i \in I} \mathcal{E}_i una unica probabilità \mu, indicata con \bigotimes_{i \in I} \mu_i, tale che per ogni rettangolo \pi_{j_1}^{-1}(A_1) \cap \cdots \cap \pi_{j_k}^{-1}(A_k),

\mu\left(\pi_{j_1}^{-1}(A_1) \cap \cdots \cap \pi_{j_k}^{-1}(A_k)\right) = \prod_{i=1}^{k} \mu_{j_i}(A_i)

Definizione 2.3.9 (nucleo di probabilità). Dati due spazi misurabili (E_1, \mathcal{E}_1) e (E_2, \mathcal{E}_2), un nucleo di probabilità da E_1 a E_2 è una funzione k : E_1 \times \mathcal{E}_2 \to [0,1] tale che

• per ogni A \in \mathcal{E}_2, la funzione x \mapsto k(x, A) è \mathcal{E}_1-misurabile,

• per ogni x \in E_1, k(x, \cdot) è una probabilità su (E_2, \mathcal{E}_2).

Definizione 2.3.11 (composizione di nuclei). Dati tre spazi misurabili (E_i, \mathcal{E}_i), i = 1, 2, 3, un nucleo k_1 da E_1 a E_2, e un nucleo k_2 da E_1 \times E_2 a E_3, si definisce la composizione k_1 \otimes k_2 come il nucleo da E_1 a E_2 \times E_3 definito da

k_1 \otimes k_2(x, A) = \int_{E_2} \left(\int_{E_3} \mathbb{1}_A(y, z) k_2(x, y, \mathrm d z)\right) k_1(x, \mathrm d y),

per ogni x \in E_1 e ogni A \in \mathcal{E}_2 \otimes \mathcal{E}_3.

Teorema 2.3.12 (Ionescu-Tulcea). Siano assegnate una successione di spazi di misura (E_n, \mathcal{E}_n)_{n \geq 0}, una misura di probabilità \mu_0 su (E_0, \mathcal{E}_0) e, per ogni n \geq 1, un nucleo k_n da \prod_{0}^{n-1} E_i a E_n, allora esiste uno spazio di probabilità (\Omega, \mathcal{G}, \mathbb{P}) e una successione (X_n)_{n \geq 0} di variabili aleatorie, con X_n : \Omega \to E_n, tali che per ogni n le variabili aleatorie (X_0, X_1, \ldots, X_n) hanno legge \bigotimes_{i=0}^{n-1} k_i.

Informalmente, k_n è la legge condizionale di X_n sapendo X_0, X_1, \ldots, X_{n-1}.

Definizione. Su uno spazio (\Omega, \mathcal{F}, \mathbb{P}) sia data una successione (A_n)_{n \geq 1} \subset \mathcal{F} di eventi. Si definiscono il limite superiore della successione,

\limsup_n A_n = \bigcap_{n \geq 1} \bigcup_{k \geq n} A_k = \{\omega \in \Omega : \omega \in A_n \text{ per infiniti } n\},

e il limite inferiore della successione,

\liminf_n A_n = \bigcup_{n \geq 1} \bigcap_{k \geq n} A_k = \{\omega \in \Omega : \omega \in A_n \text{ definitivamente}\}.

Lemma 2.4.1. Per una successione (A_n)_{n \geq 1} \subset \mathcal{F},

• (\limsup_n A_n)^c = \liminf_n A_n^c

• \limsup_n A_n = \{\sum_1 \mathbb{1}_{A_n} = \infty\}

• \liminf_n A_n = \{\limsup_n \mathbb{1}_{A_n}\} = \liminf_n \mathbb{1}_{A_n}

• \mathbb{P}[\liminf_n A_n] \leq \liminf_n \mathbb{P}[A_n]

• \limsup_n \mathbb{P}[A_n] \leq \mathbb{P}[\limsup_n A_n]

Definizione 2.4.2 La \sigma-algebra coda \mathcal{F}^\infty generata da una successione (X_n)_{n \geq 1} di variabili aleatorie indipendenti è definita come

\mathcal{F}^\infty = \bigcap_{n=1}^{\infty} \mathcal{F}^n

dove per ogni n \geq 1, \mathcal{F}^n = \sigma(X_n, X_{n+1}, \ldots).

Teorema 2.4.4 (Legge 0-1, Kolmogorov). La \sigma-algebra \mathcal{F}^\infty è banale, cioè \mathbb{P}[A] \in \{0, 1\} per ogni A \in \mathcal{F}^\infty.

Lemma 2.4.11 (Borel-Cantelli I). Sia data una successione (A_n)_{n=1}^\infty di eventi su uno spazio di probabilità (\Omega, \mathcal{F}, \mathbb{P}). Se

\sum_{n \geq 1} \mathbb{P}[A_n] < \infty,

allora \mathbb{P}[\limsup_n A_n] = 0.

Lemma 2.4.12 (Borel-Cantelli II). Data una successione (A_n)_{n \geq 1} di eventi indipendenti su uno spazio di probabilità (\Omega, \mathcal{F}, \mathbb{P}), se

\sum_{n=1}^\infty \mathbb{P}[A_n] = \infty,

allora \mathbb{P}[\limsup_n A_n] = 1.

Proposizione 2.4.17. (Borel-Cantelli II, forma debole). Sia data una successione (A_n)_{n \ge 1} di eventi a due a due indipendenti su uno spazio di probabilità (\Omega, \mathcal{F}, \mathbb{P}). Se

\sum_{n=1}^\infty \mathbb{P}[A_n] = \infty,

allora \mathbb{P}[\limsup_n A_n] = 1.

Definizione 3.1.1. Definiamo la funzione caratteristica come una funzione \phi_X: \mathbb{R} \to \mathbb{C} tale che

\phi_X(t) = \mathbb{E}[e^{itX}]

Proposizione. Valgono le seguenti proprietà:

• Limitatezza del modulo: \phi_X(0) = 1 e \forall t. \; |\phi_X(t)| \le 1

• Linearità: \forall t. \; \phi_{aX+b}(t) = e^{ibt} \phi_X(at)

• X, Y indipendenti \Rightarrow \forall t. \; \phi_{X+Y}(t) = \phi_X(t) \phi_Y(t)

• \phi_X è uniformemente continua.

Teorema 3.2.1. Sia X una variabile aleatoria reale con momenti fino all’indice k \ge 1. Allora \phi_X è differenziabile k volte con derivate continue date da:

\phi_X^{(j)}(t) = i^j \mathbb{E}[X^j e^{itX}]

per ogni t e ogni j=1, \dots, k.

Proposizione 3.3.3. Sia X una variabile aleatoria reale. Se esistono M > 0 e r > 0 tali che \mathbb{E}[|X|^n] \le M \frac{n!}{r^n} per ogni n, allora per ogni t_0 \in \mathbb{R}:

\phi_X(t) = \sum_{n=0}^\infty \frac{\phi_X^{(n)}(t_0)}{n!} (t-t_0)^n

e la serie converge per |t-t_0| < r.

Corollario 3.3.4. Se X, Y sono variabili aleatorie reali tali che \mathbb{E}[X^n] = \mathbb{E}[Y^n] per ogni n e per entrambe vale la maggiorazione della Proposizione 3.3.3, allora \phi_X = \phi_Y (e di conseguenza P_X = P_Y).

Lemma 3.4.1. Siano X, Y variabili aleatorie indipendenti. Supponiamo che Y abbia densità f. Allora X+Y ha densità g data da:

g(z) = \mathbb{E}[f(z-X)]

Corollario 3.4.2. Siano X, Y variabili aleatorie reali indipendenti, con Y \sim N(0,1). Sia \epsilon > 0 e sia g_\epsilon la densità di X + \sqrt{\epsilon} Y. Allora:

• g_\epsilon è continua e limitata.
• Inoltre, se anche X ha densità f continua e limitata, allora:
  • g_\epsilon(z) \le \sup_x f(x)
  • g_\epsilon(z) \to f(z) per ogni z (per \epsilon \to 0).

Teorema 3.5.1 (Plancherel). Vale la seguente uguaglianza (la trasformata di Fourier è un’isometria tra L^2 e L^2, a meno di una costante):

\int |\hat{f}(t)|^2 \mathrm d t = 2\pi \int |f(x)|^2 \mathrm d x

Se X è una variabile aleatoria con densità f continua e limitata e funzione caratteristica \phi, allora

\int |\phi(t)|^2 \mathrm d t = 2\pi \int |f(x)|^2 \mathrm d x

Teorema 3.5.2. Se X è una variabile aleatoria reale tale che la sua funzione caratteristica \phi_X è integrabile, allora X ha densità f_X continua e limitata data da:

f_X(x) = \frac{1}{2\pi} \int \phi_X(t) e^{-itx} \mathrm d t

Teorema 3.5.3. Se X e Y hanno la stessa funzione caratteristica, allora hanno la stessa legge.

Teorema 3.5.6. X e Y sono indipendenti \Leftrightarrow \phi_{(X,Y)}(t) = \phi_X(t_1) \phi_Y(t_2) per ogni t=(t_1, t_2).

Definizione 3.6.1. Sia X una variabile aleatoria reale. Definiamo la funzione generatrice dei momenti come la funzione \Psi_X: \mathbb{R} \to (-\infty, +\infty] tale che

\Psi_X(t) \coloneqq \mathbb{E}[e^{tX}]

Chiamiamo dominio di \Psi_X l’insieme \{t \in \mathbb{R} \mid \Psi_X(t) < +\infty\}.

Lemma 3.6.3. Se per un certo a > 0 si ha che

\tag{*}
\sum_{n=0}^{+\infty} \frac{a^n}{n!} \mathbb{E}[|X|^n] < +\infty

allora:

• Lo stesso vale per ogni s tale che |s| < a.

• \Psi_X è analitica in (-a, a) e \Psi_X(s) = \sum_{n=0}^{+\infty} \frac{s^n}{n!} \mathbb{E}[X^n].

• \Psi_X^{(n)}(0) = \mathbb{E}[X^n].

• Se esistono M, r > 0 tali che \mathbb{E}[|X|^n] \le M \frac{n!}{r^n}, allora (*) vale per ogni a \in (0, r).

Definizione. Si dice che (X_n)_{n \ge 1} converge a X in probabilità se, \forall \varepsilon > 0, \lim_n \mathbb{P}\{|X_n - X| > \varepsilon\} = 0.

Definizione. Si dice che (X_n)_{n \ge 1} converge a X quasi certamente se, per quasi ogni \omega, la successione di numeri X_n(\omega) converge a X(\omega). Può anche essere espresso come

\mathbb P [ \lim_n X_n = X ] = 1

Definizione. Si dice che (X_n)_{n \ge 1} converge a X in L^p se ogni X_n (ed X) appartiene a L^p e \lim_n \|X_n - X\|_p = 0.

Proposizione. Se q \le p, allora la convergenza in L^p implica la convergenza in L^q.

Proposizione. Se X_n converge a X in L^p, allora X_n \to X in probabilità.

Proposizione. Se X_n \to X quasi certamente, allora X_n \to X in probabilità.

Proposizione. Se X_n \to X in probabilità, allora esiste una sottosuccessione X_{n_k} tale che X_{n_k} \to X quasi certamente.

Proposizione 4.1.4. Sia (X_n)_{n \ge 1} una successione di variabili aleatorie. Sono equivalenti le affermazioni seguenti, a) X_n \to X in probabilità, b) da ogni sottosuccessione si può estrarre una ulteriore sottosuccessione convergente ad X q.c.

Proposizione 4.1.5 (variante del teorema di convergenza dominata). Supponiamo che X_n \to X in probabilità e che esista Y integrabile tale che si abbia, per ogni n, |X_n| \le Y. Allora \mathbb{E}[X_n] \to \mathbb{E}[X].

Proposizione. La distanza d induce la convergenza in probabilità, cioè X_n \to X in probabilità se e solo se d(X_n, X) \to 0.

Teorema 4.1.6. Ogni successione di variabili aleatorie di Cauchy in probabilità converge (in probabilità).

Corollario 4.1.7. Lo spazio L^p(\Omega, \mathcal{F}, \mathbb{P}) è completo.

Definizione. Si dice che \mu_n \to \mu vagamente se \int f(x) \mu_n(dx) \to \int f(x) \mu(dx) per ogni f \in C_c(\mathbb{R}), dove C_c(\mathbb{R}) è lo spazio delle funzioni continue a supporto compatto.

Definizione. Si dice che \mu_n \to \mu debolmente se \int f(x) \mu_n(dx) \to \int f(x) \mu(dx) per ogni f \in C_0(\mathbb{R}), dove C_0(\mathbb{R}) è lo spazio delle funzioni continue tali che \lim_{|x| \to \infty} f(x) = 0.

Definizione. Si dice che \mu_n \to \mu strettamente se \int f(x) \mu_n(dx) \to \int f(x) \mu(dx) per ogni f \in C_b(\mathbb{R}), dove C_b(\mathbb{R}) è lo spazio delle funzioni continue e limitate.

Teorema (Cesaro). Se f(x) \to 0 per x \to \infty, allora \frac{1}{n} \int_0^n f(x) dx \to 0.

Proposizione 1. Siano (\mu_n)_{n \ge 1} e \mu misure finite. Sono equivalenti:

• \mu_n \to \mu strettamente,
• \mu_n \to \mu vagamente e \mu_n(\mathbb{R}) \to \mu(\mathbb{R}).

Proposizione 2. Siano (\mu_n)_{n \ge 1} e \mu misure finite. Sono equivalenti:

• \mu_n \to \mu debolmente,
• \mu_n \to \mu vagamente e \sup_n \mu_n(\mathbb{R}) < \infty.

Teorema. Sia (\mu_n)_{n \ge 1} una successione di misure di probabilità e \mu una misura finita.

• Se \mu_n \to \mu strettamente \Rightarrow F_{\mu_n}(x) \to F_\mu(x) in ogni punto x di continuità di F_\mu.
• Se F_{\mu_n}(x) \to F_\mu(x) per ogni x in un insieme denso di \mathbb{R} \Rightarrow \mu_n \to \mu vagamente.

Teorema (Helly). Sia (\mu_n)_{n \ge 1} una successione di misure di probabilità su \mathbb{R}. Allora esiste una sottosuccessione convergente vagamente a una misura finita \mu.

Definizione. Una famiglia \mathcal{M} di misure di probabilità si dice tesa se per ogni \varepsilon > 0, esiste un compatto K \subset \mathbb{R} tale che:

\forall \mu \in \mathcal{M}, \quad \mu(K^\complement) < \varepsilon

Teorema (Prohorov). Sia \mathcal{M} una famiglia di misure di probabilità. Allora \mathcal{M} è sequenzialmente relativamente compatta per la convergenza stretta \Leftrightarrow \mathcal{M} è tesa.

Teorema 4.2.8 (Portmanteau). Siano (\mu_n)_{n \ge 1}, \mu misure di probabilità. Allora sono equivalenti:

1. \mu_n \to \mu strettamente,
2. \mu(A) \le \liminf_{n \to \infty} \mu_n(A) per ogni aperto A,
3. \mu(C) \ge \limsup_{n \to \infty} \mu_n(C) per ogni chiuso C,
4. \mu(B) = \lim_{n \to \infty} \mu_n(B) per ogni Boreliano B tale che \mu(\partial B) = 0,
5. \int f \mu(dx) \le \liminf_{n \to \infty} \int f \mu_n(dx) per ogni f limitata e semicontinua inferiormente,
6. \int f \mu(dx) \ge \limsup_{n \to \infty} \int f \mu_n(dx) per ogni f limitata e semicontinua superiormente,
7. \int f \mu(dx) = \lim_{n \to \infty} \int f \mu_n(dx) per ogni f Boreliana limitata e tale che l’insieme dei suoi punti di discontinuità sia trascurabile per la misura limite \mu.

Definizione. Siano (X_n)_{n \ge 1} e X variabili aleatorie a valori in \mathbb{R}^d. Si dice che (X_n)_{n \ge 1} converge in legge a X se

\forall f \in C_b: \quad
\mathbb{E}[f(X_n)] \xrightarrow{n} \mathbb{E}[f(X)]

Proposizione. Valgono le seguenti proprietà:

1. Se X_n \to X in legge e g è continua, allora g(X_n) \to g(X) in legge.

2. X_n \to X in probabilità \implies X_n \to X in legge.

3. Se X_n \to c (costante) in legge, allora X_n \to c in probabilità.

Teorema. Siano (X_n)_{n \ge 1} e X variabili aleatorie reali. Sono equivalenti:

1. X_n \to X in legge.
2. F_{X_n}(t) \to F_X(t) in tutti i punti t in cui F_X è continua.
3. F_{X_n}(t) \to F_X(t) su un insieme denso di \mathbb{R}.

Teorema (di Lévy). Siano (X_n)_{n \ge 1} e X variabili aleatorie.

1. Se X_n \to X in legge, allora \phi_{X_n}(t) \to \phi_X(t) puntualmente.
2. Se (\phi_{X_n})_{n \ge 1} converge puntualmente a una funzione \phi continua in 0, allora \phi è la funzione caratteristica di una variabile aleatoria X e X_n \to X in legge.

Definizione (Metrica di Lévy-Prokhorov). Siano \mu, \nu misure finite su \mathbb{R}. La distanza di Lévy-Prokhorov è definita come:

\pi(\mu, \nu) = \inf \{ \varepsilon > 0 : \mu(A) \le \nu(A^\varepsilon) + \varepsilon \text{ e } \nu(A) \le \mu(A^\varepsilon) + \varepsilon \text{ per ogni Boreliano } A \}

dove A^\varepsilon = \{ x \in \mathbb{R} : d(x, A) < \varepsilon \} = \bigcup_{x \in A} B_\varepsilon(x).

Definizione (Metrica BL). Un’altra metrica è definita tramite funzioni Lipschitziane limitate:

d_{BL}(\mu, \nu) = \sup \left\{ \left| \int f \, d\mu - \int f \, d\nu \right| : \|f\|_\infty \le 1, \text{Lip}(f) \le 1 \right\}

dove \text{Lip}(f) = \sup_{x \neq y} \frac{|f(x) - f(y)|}{|x - y|}.

Proposizione. Siano (X_n)_{n \ge 1} e X variabili aleatorie, allora:

• X_n \to X q.c. \Rightarrow X_n \to X in probabilità \implies X_n \to X in legge.

Definizione. Siano X, Y variabili aleatorie con varianze finite. La covarianza di X e Y è definita come:

\text{Cov}(X, Y) = \mathbb E[(X - \mathbb E X)(Y - \mathbb E Y)] = \mathbb E[XY] - \mathbb E[X] \mathbb E[Y]

Se \text{Cov}(X, Y) = 0, allora X e Y si dicono scorrelate. In particolare, se X e Y sono indipendenti, allora sono scorrelate (ma non il viceversa).

Teorema (Legge debole in L^2). Siano (X_n)_{n \ge 1} variabili aleatorie scorrelate, con \mathbb E [X_n] \to m e \sup_{n \ge 1} \text{Var}(X_n) < \infty. Allora vale la legge debole dei grandi numeri:

\frac{S_n}{n} - m \xrightarrow{\mathbb P} 0

Teorema. Siano (X_n)_{n \ge 1} indipendenti e con la stessa distribuzione (i.i.d.) e \mathbb E[|X_1|] < \infty. Allora vale la legge debole dei grandi numeri.

Siano (X_n)_{n \ge 1} indipendenti e con la stessa legge, tali che:

\lim_{x \to +\infty} x P(|X_1| > x) = 0

Posto m_n = \mathbb E[X_1 \bbone_{\{|X_1| \le n\}}], si ha:

\frac{S_n}{n} - m_n \xrightarrow{\mathbb P} 0

Si noti che se P(|X_1| > x) \sim \frac{1}{x \log x}, allora E[|X_1|] = \int_0^{+\infty} P(|X_1| > x) dx = \infty, ma la condizione sopra è soddisfatta. Se invece X_1 ha legge di Cauchy, allora \lim_{x \to +\infty} x P(|X_1| > x) esiste ed è finito e strettamente positivo.

Siano (X_n)_{n \ge 1} variabili aleatorie indipendenti e con la stessa legge (i.i.d.). Se \mathbb E[X_1^4] < \infty, allora vale la legge forte dei grandi numeri:

\frac{S_n}{n} \xrightarrow{q.c.} \mathbb E[X_1]

Proposizione (Disuguaglianza di Kolmogorov). Siano (X_n)_{n \ge 1} variabili aleatorie indipendenti con \mathbb E[X_n] = 0 e \mathbb E[X_n^2] < \infty per ogni n. Allora per ogni \varepsilon > 0:

\mathbb P \left( \max_{1 \le k \le n} |S_k| \ge \varepsilon \right) \le \frac{1}{\varepsilon^2} \mathbb E[S_n^2] = \frac{1}{\varepsilon^2} \sum_{k=1}^n \text{Var}(X_k)

Teorema (Convergenza serie aleatorie). Siano (X_n)_{n \ge 1} variabili aleatorie indipendenti tali che \mathbb E[X_n] = 0 e \sum_{n=1}^\infty \mathbb E[X_n^2] < \infty. Allora la serie \sum_{n=1}^\infty X_n converge quasi certamente.

Lemma (Kronecker). Sia a_n \uparrow \infty e (y_n)_{n \ge 1} una successione di numeri reali tale che \sum_{n=1}^\infty y_n /a_n converge \Rightarrow \frac{1}{a_n} \sum_{k=1}^n y_k \to 0.

Teorema (Legge forte dei grandi numeri). Siano (X_n)_{n \ge 1} variabili aleatorie indipendenti, con \mathbb E[X_n^2] < \infty e tali che

\sum_{n=1}^\infty \frac{\text{Var}(X_n)}{n^2} < \infty

Allora vale la legge forte dei grandi numeri:

\frac{1}{n} (S_n - \mathbb E[S_n]) \to 0 \quad \text{quasi certamente}

Teorema (Legge forte di Kolmogorov). Siano (X_n)_{n \ge 1} variabili aleatorie indipendenti, con la stessa legge e con momenti primi finiti (\mathbb E[|X_1|] < \infty). Allora vale la legge forte dei grandi numeri:

\frac{S_n - \mathbb E[S_n]}{n} \to 0 \quad \text{q.c.}

In particolare \frac{1}{n} S_n \to \mathbb E[X_1] q.c.

Teorema (Legge forte di Kolmogorov 2). Siano (X_n)_{n \ge 1} variabili aleatorie indipendenti, con la stessa legge (i.i.d.) e con momenti primi finiti. Allora vale la segue legge forte dei grandi numeri:

\frac{S_n}{n} \xrightarrow{q.c.} \mathbb{E}[X_1]

Proposizione. Siano (X_n)_{n \ge 1} variabili aleatorie indipendenti con stessa legge.

1. Se \mathbb{P} \left[ \lim \frac{S_n}{n} \text{ esiste finito} \right] = 1, allora \mathbb{E}|X_1| < \infty.

2. Se \mathbb{E}|X_1| = \infty, allora \mathbb{P} \left( \lim \frac{S_n}{n} \text{ esiste finito} \right) = 0.

3. Supponiamo \mathbb{E}(X_1)_+ = \infty e \mathbb{E}(X_1)_- < \infty, allora \lim \frac{S_n}{n} = +\infty q.c.

Teorema 6.1.1. Sia (X, Y) un vettore gaussiano. Allora X e Y sono indipendenti se e solo se sono non correlati.

Lemma 6.1.3. Sia X un vettore aleatorio in L^2 con matrice di covarianza Q. Allora per ogni u \in \mathbb{R}^d si ha

\text{Var}(\langle X, u \rangle) = u^T Q u

Proposizione 6.2.1. Se X \sim N(m, Q) a valori in \mathbb{R}^d e A \in \mathbb{R}^{m \times d}, b \in \mathbb{R}^m, allora AX+b \sim N(Am+b, AQA^T).

Proposizione 6.3.1. Data m \in \mathbb{R}^d e Q \in \mathbb{R}^{d \times d} simmetrica semidefinita positiva, allora esiste un vettore aleatorio X \sim N(m, Q).

Teorema (TCL). Sia (X_n)_{n \ge 1} una successione di variabili aleatorie reali indipendenti e con la stessa distribuzione (i.i.d.) e momento secondo finito. Sia S_n = X_1 + \dots + X_n, allora

\frac{S_n - \mathbb{E}[S_n]}{\text{sd}(S_n)} \xrightarrow{\mathcal{L}} Z \sim \mathcal{N}(0, 1)

ovvero, converge in legge a una variabile gaussiana standard.

Teorema (TCL, caso multidimensionale). Sia (X_n)_{n \ge 1} una successione di variabili aleatorie in \mathbb{R}^d indipendenti, con la stessa legge e momento secondo finito. Sia Q la matrice di covarianza di X_1 e S_n = X_1 + \dots + X_n. Allora

\frac{S_n - \mathbb{E}[S_n]}{\sqrt{n}} \xrightarrow{\mathcal{L}} Z \sim \mathcal{N}(0, Q)

ovvero, converge in legge a una variabile Gaussiana multidimensionale con media 0 e matrice di covarianza Q.

Fatto. In generale, se (z_k)_{1 \le k \le n} e (w_k)_{1 \le k \le n} sono numeri complessi tali che |z_k|, |w_k| \le \theta, allora

\left| \prod_{k=1}^n z_k - \prod_{k=1}^n w_k \right| \le \theta^{n-1} \sum_{k=1}^n |z_k - w_k|

Teorema. Sia (X_n)_{n \ge 1} una successione di variabili aleatorie indipendenti con \mathbb{E}[X_n] = m, \text{Var}(X_n) = \sigma^2 e \sup_n \mathbb{E}[|X_n|^3] < \infty. Allora vale il TCL:

\frac{S_n - \mathbb{E}[S_n]}{\text{sd}(S_n)} \xrightarrow{\mathcal{L}} \mathcal{N}(0, 1)

Teorema (Berry-Esseen). Sia (X_n)_{n \ge 1} i.i.d. con \mathbb{E}[|X_1|^3] < \infty. Allora:

\left| F_{\frac{S_n - \mathbb{E}[S_n]}{\text{sd}(S_n)}}(x) - \Phi(x) \right| \le C \frac{\mathbb{E}[|X_1|^3]}{\sigma^3 \sqrt{n}}

dove \Phi è la funzione di ripartizione di una gaussiana standard e C è una costante universale (C \approx 0.4785).

Definizione. Diciamo che (X_n)_{n \ge 1} soddisfa un teorema del limite centrale se esistono delle successioni (c_n)_{n \ge 1} e (\sigma_n)_{n \ge 1} tali che

\frac{S_n - c_n}{\sigma_n}

converge in legge a una distribuzione non degenere.

Teorema. Sia (X_n)_{n \ge 1} una successione di variabili aleatorie indipendenti con la stessa legge tali che:

• \lim_{x \to +\infty} \dfrac{\mathbb{P}[X_1 > x]}{\mathbb{P}[|X_1| > x]} = \theta \in [0, 1]

• \mathbb{P}[|X_1| > x] = L(x) / x^\alpha, dove L è una funzione a variazione lenta, cioè \forall t > 0, \lim_{x \to +\infty} \frac{L(tx)}{L(x)} = 1 (ad esempio L(x) = \ln(x))

Allora esiste una successione c_n tale che \frac{S_n - c_n}{\sigma_n} converge in legge, dove

c_n = n \mathbb{E}[X_1 \bbone_{\{|X_1| \le \sigma_n\}}], \quad \sigma_n = \inf \{x \mid \mathbb{P}[|X_1| > x] \le 1/n\}

e il limite ha funzione caratteristica

\large \phi(t) = e^{itc - G |t|^\alpha (1 + i(2\theta - 1) \text{sgn}(t) W_\alpha(t))}

con

W_\alpha(t) = \begin{cases} \tan(\pi\alpha/2) & \text{se } \alpha \ne 1 \\[0.5em]
\dfrac{2}{\pi} \log |t| & \text{se } \alpha = 1 \end{cases}

Le leggi con funzione caratteristica di questa forma sono dette \alpha-stabili.

Definizione. Una variabile aleatoria X si dice stabile se per ogni k \in \mathbb{N} esistono a_k > 0 e b_k \in \mathbb{R} tali che

\frac{1}{a_k} (X_1 + \dots + X_k - b_k) \stackrel{\mathscr L}{=} X

dove (X_i) sono copie indipendenti di X.

Teorema. Una legge è stabile se e solo se è limite di un TCL (ovvero è limite in legge di una somma di variabili i.i.d. opportunamente riscalata e traslata).

Teorema. Le leggi \alpha-stabili sono le sole leggi stabili.

Ricordiamo che: (\Omega, \mathcal{F}, \mathbb{P}), X integrabile, \mathcal{E} \subseteq \mathcal{F} \sigma-algebra. Una variabile aleatoria Y è una speranza condizionale di X data \mathcal{E} se:

• Y è \mathcal{E}-misurabile,
• Y è integrabile,
• \mathbb{E}[X \bbone_A] = \mathbb{E}[Y \bbone_A], \quad \forall A \in \mathcal{E}.

e scriveremo Y = \mathbb{E}[X | \mathcal{E}].

Proposizione.

1. \mathbb{E}[\mathbb{E}[X | \mathcal{E}]] = \mathbb{E}[X]

2. \mathbb{E}[cX + Y | \mathcal{E}] = c \mathbb{E}[X | \mathcal{E}] + \mathbb{E}[Y | \mathcal{E}]

3. Se X \le Y q.c., allora \mathbb{E}[X | \mathcal{E}] \le \mathbb{E}[Y | \mathcal{E}] q.c.

4. Se X è \mathcal{E}-misurabile, allora \mathbb{E}[X | \mathcal{E}] = X q.c.

5. Se X è indipendente da \mathcal{E}, allora \mathbb{E}[X | \mathcal{E}] = \mathbb{E}[X] q.c.

6. Se \mathcal{G} \subseteq \mathcal{E} \subseteq \mathcal{F}, allora \mathbb{E}[\mathbb{E}[X | \mathcal{E}] | \mathcal{G}] = \mathbb{E}[X | \mathcal{G}] q.c.

7. Se X_n \uparrow X q.c., allora \mathbb{E}[X_n | \mathcal{E}] \uparrow \mathbb{E}[X | \mathcal{E}] q.c.

8. Se X, Y e XY sono integrabili e Y è \mathcal{E}-misurabile, allora \mathbb{E}[XY | \mathcal{E}] = Y \mathbb{E}[X | \mathcal{E}].

9. Se \varphi è convessa e X, \varphi(X) integrabili, allora \varphi(\mathbb{E}[X | \mathcal{E}]) \le \mathbb{E}[\varphi(X) | \mathcal{E}].

10. Se 1 \le p < \infty e X \in \mathcal{L}^p, allora \mathbb{E}[X | \mathcal{E}] \in \mathcal{L}^p e |\mathbb{E}[X | \mathcal{E}]|^p \le \mathbb{E}[|X|^p | \mathcal{E}]. (per p = \infty vale \sup_\Omega \mathbb{E}[X | \mathcal{E}] \le \mathbb{E}[\sup X | \mathcal{E}])

Lemma. (Freezing Lemma) Siano X una v.a. \mathcal{E}-misurabile e Y una v.a. indipendente da \mathcal{E}. Sia \phi una funzione misurabile tale che \phi(X, Y) sia integrabile. Allora

\mathbb{E}[\phi(X, Y) \mid \mathcal{E}] = g(X) \text{ q.c.}

dove g(x) = \mathbb{E}[\phi(x, Y)].

Teorema. Nelle ipotesi della definizione, la speranza condizionale esiste ed è unica a meno di uguaglianza q.c.

Trucco. Per dimostrare che \mathbb{E}[\;\dots \mid \mathcal{F}_n] = \mathbb{E}[\;\dots \mid X_n], ci basta far vedere che \mathbb{E}[\;\dots \mid \mathcal{F}_n] = h(X_n) (ovvero è una funzione di X_n).

Fatto. Se (X, Y) ha densità congiunta f_{X,Y}(x,y) e f_Y(y) > 0, allora la densità, detta densità condizionale, della speranza condizionale \mathbb{E}[X \mid Y=y] è data da:

f_{X|Y}(x \mid y) \coloneqq
\begin{cases}
\dfrac{f_{X,Y}(x, y)}{f_Y(y)} & \text{se } f_Y(y) \neq 0 \\[1em]
0 & \text{altrimenti}
\end{cases}

Sia (\Omega, \mathcal{F}, \mathbb{P}) uno spazio di probabilità allora una filtrazione è una famiglia (\mathcal{F}_n)_{n \ge 0} crescente di \sigma-algebre contenute in \mathcal{F}, cioè

\mathcal{F}_0 \subseteq \mathcal{F}_1 \subseteq \mathcal{F}_2 \subseteq \cdots \subseteq \mathcal{F}.

Definizione. Sia S uno spazio di stati (al più numerabile). Data una famiglia di variabili aleatorie (X_n)_{n\ge 0} a valori in S ed una filtrazione (\mathcal{F}_n)_{n\ge 0} tale che ogni X_n sia \mathcal{F}_n-misurabile, con \mathcal{F}_n = \sigma(X_0, X_1, \dots, X_n), allora (X_n)_{n\ge 0} è detta catena di Markov se per ogni n\ge 0 e per ogni x\in S vale

\mathbb{P}[X_{n+1}=x \mid \mathcal{F}_n] = \mathbb{P}[X_{n+1}=x \mid X_n].

In particolare, prendendo la filtrazione naturale \mathcal{F}_n = \sigma(X_0,\dots,X_n) la proprietà si può scrivere come

\mathbb{P}[X_{n+1}=x \mid X_0,\dots,X_n] = \mathbb{P}[X_{n+1}=x \mid X_n].

Proposizione. Una famiglia di variabili aleatorie (X_n)_{n\ge 0} a valori in S è una catena di Markov se e solo se per ogni n\ge 1 e per ogni y,x_0,x_1,\dots,x_n\in S tali che \mathbb{P}[X_0=x_0,\dots,X_n=x_n]>0 vale

\mathbb{P}[X_{n+1}=y \mid X_0=x_0,\dots,X_n=x_n]
=
\mathbb{P}[X_{n+1}=y \mid X_n=x_n].

Una catena di Markov (X_n)_{n \ge 0} si dice omogenea se la probabilità di transizione non dipende dal tempo n, ovvero:

\mathbb{P}[X_{n+1} = y \mid X_n = x] = p_{x,y}

per ogni n \ge 0 e ogni x, y \in S.

Teorema. (X_n)_{n \in \mathbb{N}} è una catena di Markov omogenea se e solo se vale:

\mathbb{P}[X_0 = x_0, \dots, X_n = x_n] = q_{x_0} \, p_{x_0, x_1} \, p_{x_1, x_2} \cdots p_{x_{n-1}, x_n}

per ogni n \ge 0 e ogni x_0, x_1, \dots, x_n \in S.

Proposizione. Sia Q = (q_x)_{x \in S} e P = (p_{x,y})_{x,y \in S}. Allora:

1. La legge di X_n è Q P^n.
2. La legge condizionale di X_{n+m} dato X_n è P^m, ovvero:

   \mathbb{P}[X_{n+m} = y \mid X_n = x] = (P^m)_{x,y}

Teorema. Sia (X_n)_{n \in \mathbb{N}} una catena di Markov. Allora per ogni n \ge 0, la catena passata (X_{n+m})_{m \le 0} è una catena di Markov indipendente da \sigma(X_0, \dots, X_{n-1}).

Definizione. Dato A \subseteq S, allora la variabile aleatoria U_A, detta tempo di primo arrivo in A, è definita come:

U_A = \inf \{n \ge 0 : X_n \in A\}

con la convenzione \inf(\varnothing) = +\infty. Definiamo inoltre:

• a_{A,x} = \mathbb{P}[U_A < \infty \mid X_0 = x], la probabilità di passare da A partendo da x. (forse detta hitting probability??)

• m_{A,x} = \mathbb{E}[U_A \mid X_0 = x], il tempo medio di arrivo in A partendo da x. (forse detta hitting time??)

Teorema. La famiglia (a_{A,x})_{x \in S} è la minima soluzione positiva del sistema:

\begin{cases}
    a_x = 1 & \text{se } x \in A \\
    a_x = \displaystyle\sum_{y \in S} p_{x,y} a_y & \text{se } x \notin A
\end{cases}

Cioè, se (a_x)_{x \in S} è una soluzione tale che a_x \ge 0 per ogni x, allora a_x \ge a_{A,x} per ogni x \in S.

Corollario. La famiglia (m_{A,x})_{x \in S} è la minima soluzione positiva del sistema:

\begin{cases}
    m_x = 0 & \text{se } x \in A \\
    m_x = 1 + \displaystyle\sum_{y \notin A} p_{x,y} m_y & \text{se } x \notin A
\end{cases}

Sia (X_n)_{n \ge 0} una catena di Markov a valori in S. Per ogni x \in S definiamo:

• U_x \coloneqq \inf \{n \ge 0 : X_n = x\}, il tempo di primo arrivo in x.
• T_x \coloneqq \inf \{n \ge 1 : X_n = x\}, il tempo di primo passaggio (o ritorno) in x.

Definiamo inoltre:

• p_{x,y}(n) \coloneqq \mathbb{P}[X_n = y \mid X_0 = x], con p_{x,y}(0) = \delta_{x,y}.
• f_{x,y}(n) \coloneqq \mathbb{P}[T_y = n \mid X_0 = x], con f_{x,y}(0) = 0.
• f_{x,y} \coloneqq \sum_{n=1}^\infty f_{x,y}(n) = \mathbb{P}[T_y < \infty \mid X_0 = x].

Si osservi che x è ricorrente se e solo se f_{x,x} = 1.

Definizione. Sia (X_n)_{n \ge 0} una catena di Markov a valori in S. Indichiamo il numero di visite allo stato x \in S come

N_x \coloneqq \sum_{n=0}^\infty \bbone_{\{X_n = x\}}.

Allora diciamo che un elemento x \in S è ricorrente (o rispettivamente transiente) se:

\mathbb{P}[\exists n \ge 1 : X_n = x \mid X_0 = x] = 1
\quad (\text{risp. } < 1).

Teorema (di Abel). Sia G(t) = \sum_{n=0}^\infty a_n t^n una serie di potenze convergente per |t| < 1. Allora:

• Se \sum a_n converge, allora G(t) \xrightarrow{t \uparrow 1} \sum a_n.
• Se \sum a_n = \infty, allora G(t) \xrightarrow{t \uparrow 1} \infty.

Lemma. Siano P_{x,y}(t) = \sum_{n=0}^\infty p_{x,y}(n) t^n e F_{x,y}(t) = \sum_{n=0}^\infty f_{x,y}(n) t^n. Allora per ogni t \in (-1, 1) vale:

P_{x,y}(t) = \delta_{x,y} + F_{x,y}(t) P_{y,y}(t)

Proposizione. Siano x, y \in S. Allora:

1. y è ricorrente \iff \mathbb{E}[N_y \mid X_0 = y] = \infty. In tal caso, se f_{x,y} > 0, allora \mathbb{E}[N_y \mid X_0 = x] = \infty.
2. y è transiente \iff \mathbb{E}[N_y \mid X_0 = y] < \infty. In tal caso, se f_{x,y} > 0, allora \mathbb{E}[N_y \mid X_0 = x] < \infty.

In particolare vale la relazione:

\mathbb{E}[N_y \mid X_0 = x] = \sum_{n=0}^\infty p_{x,y}(n).

Proposizione. Sia x \in S. Allora:

• x è ricorrente \iff \mathbb{P}[N_x = \infty \mid X_0 = x] = 1.
• x è transiente \iff \mathbb{P}[N_x = \infty \mid X_0 = x] = 0.

Definizione. Sia (X_n)_{n \ge 0} una catena di Markov a valori in S. Allora dati x, y \in S, si dice che x conduce a y se

\mathbb{P}[\exists n \ge 0 : X_n = y \mid X_0 = x] > 0

e si indica con x \to y. Si dice che x e y comunicano se x \to y e y \to x, e si indica con x \leftrightarrow y.

Proposizione. Dati x, y \in S, Sono equivalenti:

1. x \to y.

2. Esistono n \ge 0 e una successione di stati z_0, z_1, \dots, z_n tali che z_0 = x, z_n = y e p_{z_i, z_{i+1}} > 0 per ogni i \in \{0, \dots, n-1\}.

3. Esiste n \ge 0 tale che p_{x,y}(n) > 0.

4. f_{x,y} > 0.

Definizione. Sia (X_n)_{n \ge 0} una catena di Markov a valori in S e sia C \subseteq S.

• C si dice chiuso se per ogni x \in C, x \to y \implies y \in C.
• C si dice irriducibile se x \leftrightarrow y per ogni x, y \in C.

Proposizione. Sia (X_n)_{n \ge 0} una catena di Markov su S e sia C \subseteq S.

1. Se C è chiuso e finito, allora ogni x \in C è ricorrente.
2. Se C è una classe di equivalenza di stati ricorrenti, allora C è chiuso.
3. Se C è una classe di equivalenza, allora gli stati di C sono o tutti ricorrenti o tutti transienti.

Teorema (di decomposizione). Sia (X_n)_{n \ge 0} una catena di Markov omogenea su S. Allora lo spazio degli stati S può essere partizionato come:

S = T \cup \bigcup_{k \in I} C_k

dove T è l’insieme di tutti gli stati transienti e ogni C_k è una classe di equivalenza chiusa, irriducibile e fatta di stati ricorrenti.

Lemma. Se la catena è irriducibile e ricorrente, allora \mathbb{P}[T_y < +\infty \mid X_0 = x] = 1 per ogni x, y \in S. In particolare \mathbb{P}[T_y < \infty] = 1 per ogni y.

Definizione. Si dice che \mu è una misura invariante (o stazionaria) se \mu = \mu P, ovvero se per ogni x \in S:

\mu_x = \sum_{y \in S} \mu_y p_{y,x}.

Se \mu è una probabilità, allora si dice che \mu è una legge invariante.

Definizione. Siano x, y \in S, il tempo medio \gamma_x^y, cioè il tempo trascorso in x tra due visite consecutive in y, è definito come:

\gamma_x^y = \mathbb{E} \left[ \sum_{n=0}^{T_y-1} \bbone_{\{X_n = x\}} \mid X_0 = y \right].

Proposizione. Se la catena è irriducibile e ricorrente, allora:

1. \gamma_y^y = 1.
2. (\gamma_x^y)_{x \in S} è una misura invariante.
3. 0 < \gamma_x^y < \infty per ogni x \in S.

Inoltre, se la catena è irriducibile ed esiste una misura invariante \rho tale che \rho_y = 1 per un certo y \in S, allora \rho_x = \gamma_x^y per ogni x \in S.

Definizione. Uno stato ricorrente y \in S si dice:

• ricorrente nullo se \mathbb{E}[T_y \mid X_0 = y] = \infty.
• ricorrente positivo se \mathbb{E}[T_y \mid X_0 = y] < \infty.

Teorema. Se la catena è irriducibile, le seguenti affermazioni sono equivalenti:

1. Ogni stato è ricorrente positivo.
2. Esiste uno stato ricorrente positivo.
3. Esiste una legge invariante.

Definizione. Il periodo di uno stato x \in S è definito come il massimo comun divisore dei tempi di ritorno possibili:

d(x) = \gcd \{n \ge 1 : p_{x,x}(n) > 0\}.

Se d(x) = 1, lo stato si dice aperiodico.

Definizione. Siano A, B due eventi con \mathbb{P}[B] > 0. La probabilità condizionata di A dato B è

\mathbb{P}[A \mid B] = \frac{\mathbb{P}[A \cap B]}{\mathbb{P}[B]}

Definizione. Siano A e (B_i)_{i \in I} eventi tali che (B_i)_{i \in I} è una partizione dello spazio e \mathbb{P}[B_i] > 0 per ogni i \in I. Allora la formula di disintegrazione è

\mathbb{P}[A] = \sum_{i \in I} \mathbb{P}[A \mid B_i] \mathbb{P}[B_i]

Teorema. (Bayes) Siano A, B due eventi con \mathbb{P}[B] > 0. Allora

\mathbb{P}[B \mid A] = \frac{\mathbb{P}[A \mid B] \mathbb{P}[B]}{\mathbb{P}[A]}

o nel caso generale, se (B_j)_{j \in I} è una partizione dello spazio con \mathbb{P}[B_j] > 0 per ogni j \in I,

\mathbb{P}[B_j \mid A] = \frac{\mathbb{P}[A \mid B_j] \mathbb{P}[B_j]}{\sum_{i \in I} \mathbb{P}[A \mid B_i] \mathbb{P}[B_i]}

Definizione. La varianza di una variabile aleatoria reale X è

\text{Var}(X) = \mathbb{E}[(X - \mathbb{E}[X])^2] = \mathbb{E}[X^2] - \mathbb{E}[X]^2

Proposizione. (Markov) Sia X una v.a. reale non negativa. Allora, per ogni a > 0,

\mathbb{P}[X \ge a] \le \frac{\mathbb{E}[X]}{a}

Proposizione. (Chebyshev) Sia X una v.a. reale con varianza finita. Allora, per ogni a > 0,

\mathbb{P}[|X - \mathbb{E}[X]| \ge a] \le \frac{\text{Var}(X)}{a^2}

Proposizione. Se X è una v.a. con \text{Var}(X) = 0, allora X è costante quasi certamente.

Proposizione. Siano X, Y due variabili aleatorie indipendenti con la stessa legge. Se \mathbb{P}[X = Y] = 1, allora per ogni insieme misurabile A si ha \mathbb{P}[X \in A] \in \{0, 1\}.

Proposizione. Sia X una variabile aleatoria tale che per ogni insieme misurabile A si ha \mathbb{P}[X \in A] \in \{0, 1\}. Allora esiste una costante c tale che \mathbb{P}[X = c] = 1.

Teorema (del Limite Centrale). Si considerano n variabili aleatorie X_j indipendenti e identicamente distribuite, con \mathbb{E}[X_j] = \mu e \text{Var}[X_j] = \sigma^2, per j = 1, \ldots, n, con 0 < \sigma^2 < +\infty.

Y_n = \frac{\frac{1}{n}\sum_{j=1}^n X_j - \mu}{\sigma/\sqrt{n}}
\xrightarrow{x} \mathcal{N}(0, 1)

in legge.

Esercizio 1.1. Sia (A_n)_{n \in \mathbb{N}} una successione di eventi su uno spazio di probabilità (\Omega, \mathcal{F}, \mathbb{P}). Mostrare che

\mathbb{P}\left[\bigcup_n A_n\right] \le \sum_n \mathbb{P}[A_n].

Esercizio 1.2.

• Mostrare che l’intersezione di \sigma-algebre è una \sigma-algebra.

• Mostrare che, se \mathcal{F}_n \subset \mathcal{F}_{n+1} per ogni n, allora \bigcup_n \mathcal{F}_n è un’algebra.

• Mostrare infine con un esempio che \bigcup_n \mathcal{F}_n non è in generale una \sigma-algebra.

Esercizio 1.4. Se \Omega = \mathbb{R}, \mathcal{A} sia la famiglia delle unioni finite di intervalli del tipo (a, b], con -\infty \le a < b \le +\infty. Mostrare che \mathcal{A} è un’algebra ma non una \sigma-algebra.

Esercizio 2.1. Siano \mathcal{I}, \mathcal{I}' due \pi-sistemi per cui A, A' sono indipendenti per ogni A \in \mathcal{I} e A' \in \mathcal{I}'. Mostrare che le \sigma-algebre \sigma(\mathcal{I}) e \sigma(\mathcal{I}') sono indipendenti.

Esercizio 2.2. Siano X e Y due variabili aleatorie di densità congiunta f rispetto alla misura di Lebesgue bidimensionale. Calcolare la densità (rispetto alla misura di Lebesgue sulla retta) della variabile aleatoria Z = X + Y.

Esercizio 2.6. Siano X_1, \dots, X_n variabili aleatorie indipendenti, con funzione di ripartizione F_{X_1}, \dots, F_{X_n}. Siano M_n = \max\{X_1, \dots, X_n\} e m_n = \min\{X_1, \dots, X_n\}, con funzioni di ripartizione rispettivamente F_{M_n}, F_{m_n}. Mostrare che

F_{M_n}(t) = \prod_{k=1}^n F_{X_k}(t), \quad 1 - F_{m_n}(t) = \prod_{k=1}^n (1 - F_{X_k}(t))

In particolare, se le variabili aleatorie X_k hanno tutte la stessa distribuzione, abbiamo

F_{M_n}(t) = F_{X_1}(t)^n, \quad 1 - F_{m_n}(t) = (1 - F_{X_1}(t))^n

Esercizio 2.9. Siano X, Y due variabili aleatorie indipendenti (positive?), entrambe non costanti. Posto Z = X \cdot Y, mostrare che le variabili aleatorie X, Y, Z non sono una famiglia di variabili aleatorie indipendenti.

Esercizio 3.3. Se X è una variabile aleatoria a valori in \mathbb{Z} e \Phi_X è la sua funzione caratteristica, mostrare che \Phi_X è periodica. Mostrare inoltre che

\mathbb{P}[X = k] = \frac{1}{2\pi} \int_{-\pi}^{\pi} e^{-ikt} \Phi_X(t) \mathrm d t.

(Vale anche il viceversa).

Esercizio 3.7. Determinare la funzione caratteristica di una variabile aleatoria Gaussiana di media m e varianza \sigma^2.

Esercizio 3.9. Mostrare che, se X, Y sono indipendenti con legge di Cauchy, allora X + Y ha legge di Cauchy. Concludere che se X_1, \dots, X_n hanno legge di Cauchy, allora \frac{1}{n}(X_1 + \dots + X_n) ha la stessa legge di X_1.

Esercizio 3.16. Se \Phi è una funzione caratteristica e \Phi(t) = 1 + o(t^2) vicino allo zero, allora \Phi \equiv 1.

Esercizio 3.17. Trovare una variabile aleatoria X con densità e tale che la sua funzione caratteristica \Phi_X non sia integrabile, ovvero \int |\Phi_X(t)| \mathrm d t = \infty.

Esercizio 3.20. Trovare tre variabili aleatorie X, Y, Z tali che X + Y e X + Z abbiano la stessa legge, ma Y e Z abbiano leggi differenti.

Esercizio 3.21. Mostrare che, se X, Y sono indipendenti e X + Y ha la stessa legge di X, allora Y = 0 q.c.

Esercizio 4.13. Sia dato uno spazio di probabilità (\Omega, \mathcal{F}, \mathbb{P}) con \Omega numerabile. Mostrare che una successione (X_n)_{n\ge 1} converge a X in probabilità se e solo se converge quasi certamente (q.c.).

Esercizio 5.2. Date le variabili aleatorie (X_n)_{n \ge 1} indipendenti ed identicamente distribuite, sia \phi la comune funzione caratteristica. Allora \phi'(0) = ia se e solo se \frac{1}{n}(X_1 + \dots + X_n) \to a in probabilità.

(Nota. Forse serve assumere che \mathbb{E}[|X_1|] < \infty?)

Esercizio 5.3. Date le variabili aleatorie (X_n)_{n \ge 1} a due a due non correlate, con \mathbb{E}[X_n] = \mu_n e \frac{1}{n} \text{Var}(X_n) \to 0, mostrare che \frac{1}{n}(S_n - \mathbb{E}[S_n]) \to 0 in L^2 e in probabilità, dove si è posto S_n = X_1 + \dots + X_n.

Esercizio 5.4. Siano (X_n)_{n \ge 1} variabili indipendenti ed identicamente distribuite e con momento primo, e (Y_n)_{n \ge 1} indipendenti ed identicamente distribuite con \mathbb{E}[Y_1] \neq 0. Provare che

\frac{X_1 + \dots + X_n}{Y_1 + \dots + Y_n} \to \frac{\mathbb{E} X_1}{\mathbb{E} Y_1} \quad \text{q.c.}

Esercizio 5.5. Siano (X_n)_{n \ge 1} indipendenti ed identicamente distribuite con densità f(x) = 3x^2 \bbone_{[0,1]}(x) e sia Y_n = (X_1 \cdots X_n)^{\frac{1}{n}}. Stabilire se la successione Y_n converge in qualche senso, e in caso positivo determinare il limite.

Esercizio 6.2. Sia X un vettore aleatorio (non necessariamente Gaussiano) a valori in \mathbb{R}^d, in L^2 (cioè con tutte le componenti in L^2) e tale che la matrice Q = (\text{Cov}(X_i, X_j))_{i,j} sia singolare (cioè \det Q = 0). Mostrare che, per ogni v \in \ker Q, X \cdot v è costante q.c.. In particolare, preso il sottospazio affine H = (\ker Q)^\perp + \mathbb{E}[X], di codimensione almeno 1, si ha X \in H q.c.. Come conseguenza, X non è assolutamente continuo (rispetto alla misura di Lebesgue d-dimensionale).

Esercizio 6.7. Sia X_1 una variabile aleatoria Gaussiana standard. Sia V una variabile aleatoria con legge Rademacher indipendente da X_1 e sia X_2 = VX_1. Mostrare che:

• X_2 è una variabile aleatoria Gaussiana standard;
• X = (X_1, X_2) non è un vettore Gaussiano;
• X_1 e X_2 sono non correlate ma dipendenti;
• X non è assolutamente continuo.

Esercizio 8.1. Siano dati un insieme numerabile S, uno spazio misurabile (E, \mathcal{E}), una successione (\xi_n)_{n \ge 1} di variabili aleatorie indipendenti e con ugual legge a valori in E, e una funzione misurabile \phi : S \times E \to S. Dato x \in S si definisce la successione (X_n)_{n \ge 0} di variabili aleatorie come

X_0 = x, \quad X_{n+1} = \phi(X_n, \xi_{n+1}).

• Mostrare che (X_n)_{n \ge 0} è una catena di Markov omogenea.
• Determinare le probabilità di transizione.

Esercizio 8.5. Siano date due catene di Markov (X_n)_{n \ge 0} e (Y_n)_{n \ge 0}.

• Mostrare che in generale (X_n + Y_n)_{n \ge 0} non è una catena di Markov.
• Stabilire con un controesempio che in generale la proprietà precedente non è vera anche se le catene sono indipendenti.

Esercizio 8.6. Siano date le variabili aleatorie (X_n)_{n \ge 1} indipendenti e con legge Rademacher. Posto S_0 = M_0 = 0 e, per n \ge 1,

S_n = \sum_{k=1}^n X_k, \quad M_n = \max_{1 \le k \le n} S_k,

mostrare che:

• (M_n)_{n \ge 0} e (M_n - S_n)_{n \ge 0} non sono catene di Markov,
• (S_n, M_n)_{n \ge 0} è una catena di Markov su \mathbb{Z}^2,
• (S_n, M_n - S_n)_{n \ge 0} è una catena di Markov su \mathbb{Z} \times \mathbb{N}.

Esercizio. Sia X una v.a. positiva con \mathbb{E}[X] = 1

• \mathbb{E}[\log X] \leq 0

• Se \mathbb{E}[\log X] = 0 allora X = 1 q.c.

Definizione. Consideriamo i seguenti spazi di polinomi:

• \mathcal{P}_n lo spazio vettoriale dei polinomi reali di grado al più n.

• \mathcal{P} lo spazio vettoriale di tutti i polinomi a coefficienti reali.

Definizione. Dato \langle \cdot, \cdot \rangle prodotto scalare su \mathcal{P}, l’insieme

\left\{ p_i(x) \mid \forall i \in \mathbb{N}, p_i(x) \in \mathcal{P}_i, \deg p_i = i, \text{ e } \forall j \neq i, \langle p_i, p_j \rangle = 0 \right\}

è detto insieme di polinomi ortogonali rispetto a \langle \cdot, \cdot \rangle. In altre parole, è un insieme di polinomi di grado crescente ognuno ortogonale a tutti gli altri rispetto al prodotto scalare dato.

Il prodotto scalare \langle \cdot, \cdot \rangle induce la norma \|p\| = \sqrt{\langle p, p \rangle} e diciamo che l’insieme \{ p_i / h_i \} con h_i = \|p_i\| è un insieme di polinomi ortonormali.

Teorema. Sia \{ p_0, p_1, \dots \} un insieme di polinomi ortogonali. Allora

\forall q \in \mathcal{P}_n, \forall i > n \; \langle p_i, q \rangle = 0

ovvero dato un polinomio q di grado al più n, esso è ortogonale a tutti i polinomi ortogonali di grado maggiore di n.

In altre parole, per ogni n abbiamo che p_{n+1} \perp \mathcal{P}_n.

Proposizione. Gli insiemi di polinomi ortogonali sono unici a meno di una costante moltiplicativa.

Teorema (Proprietà di norma minima). Tra tutti i polinomi di grado n che hanno coefficiente del termine di grado massimo uguale a p_n(x), il polinomio p_n(x) è di norma minima.

Definizione. Consideriamo a, b \in \overline{\mathbb{R}} con a < b ed una funzione peso w(x) : [a, b] \to \mathbb{R} tale che \forall x \in \mathbb{R}, w(x) > 0 e per ogni polinomio f \in \mathcal{P} l’integrale \int_a^b f(x) w(x) \mathrm{d}x esiste finito.

Dati f, g \in \mathcal{P}, definiamo

\langle f, g \rangle := \int_a^b f(x) g(x) w(x) \mathrm{d}x

detto prodotto scalare integrale su [a, b] con peso w. Abbiamo anche una norma indotta.

Proposizione. Questo prodotto scalare verifica la proprietà

\langle x f(x), g(x) \rangle = \langle f(x), x g(x) \rangle

Rispetto al prodotto scalare euclideo questa proprietà diventa

\langle S f, g \rangle = \langle f, S g \rangle \\[1em]
S \coloneqq
\begin{bmatrix}
    0 &   & \\
    1 & 0 & \\
      & 1 & \ddots  \\
      &   & \ddots \\
\end{bmatrix}

dove S è l’operatore di shift a destra che rappresenta la moltiplicazione per x.

Teorema. Dato un insieme di polinomi ortogonali \{p_n\}_n rispetto ad un prodotto scalare integrale, i polinomi sono tutti di grado \ge 1 ed i loro zeri sono reali, semplici ed interni all’intervallo (a, b).

Teorema. Sia \{p_i(x)\}_i un insieme di polinomi ortogonali rispetto ad un prodotto scalare integrale con p_0(x) = a_0 e p_1(x) = a_1 x + b_1. Allora esistono tre successioni di costanti A_i, B_i, C_i \in \mathbb{R} tali che:

p_{i+1}(x) = (x A_{i+1} + B_{i+1}) p_i(x) - C_i p_{i-1}(x)

con A_{i+1} \neq 0 e C_i \neq 0. Inoltre le costanti sono date da:

A_{i+1} = \frac{\langle p_{i+1}, p_{i+1} \rangle}{\langle x p_i, p_{i+1} \rangle}, \quad B_{i+1} = - A_{i+1} \frac{\langle x p_i, p_i \rangle}{\langle p_i, p_i \rangle}, \quad C_i = \frac{A_{i+1}}{A_i} \frac{\langle p_i, p_i \rangle}{\langle p_{i-1}, p_{i-1} \rangle}

Definizione. Dati p(x), q(x) il bezoutiano B(x, y) è

B(x, y) := \frac{p(x)q(y) - p(y)q(x)}{x - y}
= \frac{1}{x - y} \left|\begin{matrix} p(x) & p(y) \\ q(x) & q(y) \end{matrix}\right|

a cui si associa la matrice B_n = (b_{ij}) con b_{ij} := [B(x, y)]_{x^i y^j}, matrice dei coefficienti dei monomi x^i y^j di B(x, y) ovvero

B(x, y) = \sum_{i, j} b_{ij} x^i y^j \\[0.5em]
\rightsquigarrow B_n \coloneqq
\begin{bmatrix}
    b_{00} & b_{01} & \cdots & b_{0n} \\
    b_{10} & b_{11} & \cdots & b_{1n} \\
    \vdots & \vdots & \ddots & \vdots \\
    b_{n0} & b_{n1} & \cdots & b_{nn}
\end{bmatrix}

• Un’altra proprietà è che se p, q sono polinomi ortogonali di grado n+1, B(x, y) è somma di prodotti di polinomi ortogonali.
• La fattorizzazione LU di B_n dà i quozienti e i resti della divisione euclidea di p, q.

Teorema. Sia n \ge 0:

M_n(x) = \begin{bmatrix} \mu_0 & \mu_1 & \dots & \mu_n \\ \mu_1 & \mu_2 & \dots & \mu_{n+1} \\ \vdots & \vdots & \ddots & \vdots \\ \mu_{n-1} & \mu_n & \dots & \mu_{2n-1} \\ 1 & x & \dots & x^n \end{bmatrix}

e p_n(x) = \det M_n(x). Allora i p_n(x) sono ortogonali rispetto al prodotto scalare integrale.

Definizione. Chiamiamo H_n = (h_{ij})_{i,j=1,\dots,n} con h_{ij} := \mu_{i+j-2}.

• Avremo \mu_{i+j-2} = \langle x^{i-1}, x^{j-1} \rangle.
• È costante lungo le anti-diagonali, quindi è anche simmetrica.
• H_n è una matrice di Hankel.
• L’inversa di una di queste matrici è di Bezout.
• Per w(x) = 1 su [0, 1], H_n = \left( \frac{1}{i+j-1} \right) è detta matrice di Hilbert.

Teorema. Sia s(x) \in C^n[a, b] tale che \forall k = 0, \dots, n-1, s^{(k)}(a) = s^{(k)}(b) = 0. Allora la funzione t(x) = s^{(n)}(x) / \omega(x) è ortogonale a ogni polinomio di grado al più n-1. Dunque

p_n(x) = \frac{\beta_n}{\omega(x)} \frac{\mathrm{d}^n}{\mathrm{d}x^n} s_n(x), \quad n \ge 0

con \beta_n \in \mathbb{R}, s_n(x) \in C^n[a, b], s_n^{(k)}(a) = s_n^{(k)}(b) = 0 per k = 0, \dots, n-1.

Teorema. I polinomi T_n(x) definiti sopra verificano

T_n(\cos \theta) = \cos n\theta

Teorema. Possiamo caratterizzare gli zeri di T_n(x):

x_k^{(n)} := \cos \frac{(2k-1)\pi}{2n}, \quad k = 1, \dots, n

ed i massimi/minimi sono assunti in t_k^{(n)} = \cos(k\pi/n) per k = 0, \dots, n.

Teorema. Tra i polinomi monici di grado n con n \ge 1, quello che minimizza la norma infinito su [-1, 1] è

\frac{1}{2^{n-1}} T_n(x)

e vale che \left\| T_n(x) / 2^{n-1} \right\|_\infty = 1/2^{n-1} (ovvero \left\| T_n(x) \right\|_\infty = 1).

Definizione. Considereremo formule di quadratura della forma

S_{n+1}[f] = \sum_{i=0}^n w_i f(x_i)

con x_i \in [a, b] detti nodi e w_i detti pesi (più precisamente una formula di quadratura è quindi identificata da \{(x_i, w_i)\}_{i=0}^n). La quantità

r_{n+1} := S[f] - S_{n+1}[f]

che rappresenta l’errore di troncamento è detto resto.

Definizione. Il grado di precisione di una formula \sum_{i=0}^n w_i f(x_i) è l’intero k tale che per ogni funzione:

• f(x) = x^j, j=0, \dots, k \implies r_{n+1} = 0
• f(x) = x^{k+1} \implies r_{n+1} \neq 0

Teorema. Una formula di integrazione S_{n+1}[f] è interpolatoria \iff grado di precisione \ge n.

Teorema. Sia f \in C[a, b] e sia \{ S_{n+1}(f) \}_n una successione di formule di quadratura interpolatorie con

S_{n+1}[f] = \sum_{i=0}^n w_i^{(n)} f(x_i^{(n)})

tali che \exists H costante per cui

\forall n \quad \sum_i |w_i^{(n)}| < H

allora \lim_n r_{n+1} = 0.

Teorema. I coefficienti di una formula interpolatoria S_{n+1}(f) con grado di precisione \ge 2n sono tutti positivi.

Definizione (Newton-Cotes). Siano h = (b - a)/n e x_i = a + ih per i = 0, \dots, n su [a, b]. Una formula di quadratura S_{n+1}[f] interpolatoria su questi n+1 nodi equidistanti è detta di Newton-Cotes.

Teorema (Errore di Newton-Cotes). Sia S_{n+1}[f] una formula di Newton-Cotes.

1. Se n è pari e f \in C^{n+2}[a, b], allora \exists \xi \in (a, b) tale che: r_{n+1} = \frac{f^{(n+2)}(\xi)}{(n+2)!} \int_a^b x \pi_n(x) \mathrm dx

2. Se n è dispari e f \in C^{n+1}[a, b], allora \exists \xi \in (a, b) tale che: r_{n+1} = \frac{f^{(n+1)}(\xi)}{(n+1)!} \int_a^b \pi_n(x) \mathrm dx

Le formule di Newton-Cotes hanno grado di precisione n+1 per n pari e n per n dispari.

Teorema (Eulero-Maclaurin). Sia f \in C^{2r+2}[a, b] e sia x_i = a + ih, i=0, \dots, N, h = (b-a)/N e sia

T(a:h:b)[f] = \frac{h}{2} \left( f(a) + 2 \sum_{i=1}^{N-1} f(x_i) + f(b) \right)

Allora

T(a:h:b)[f] - \int_a^b f(x) \mathrm dx = \sum_{j=1}^r \frac{B_{2j} h^{2j}}{(2j)!} \left( f^{(2j-1)}(b) - f^{(2j-1)}(a) \right) + R_{2r+2}(f, a, b, h)

con R_{2r+2}(f, a, b, h) = O(h^{2r+2}) e i coefficienti B_j sono i numeri di Bernoulli definiti da

B_0 = 1, \quad \sum_{i=0}^{n-1} \binom{n}{i} B_i = 0, \quad n \ge 2

e vale

\begin{aligned}
|R_{2r+2}(f, a, b, h)| &\le 2 \frac{|B_{2r+2}| h^{2r+2}}{(2r+2)!} \int_a^b |f^{(2r+2)}(x)| \mathrm dx \\
&\approx 2 \left( \frac{h}{2\pi} \right)^{2r+2} \int_a^b |f^{(2r+2)}(x)| \mathrm dx
\end{aligned}

Definizione (Metodo di Romberg). Il metodo di Romberg consiste nell’applicare questa tecnica con passi successivi:

h_1 = \frac{b-a}{n_1}, \quad h_2 = \frac{h_1}{n_2}, \quad \dots, \quad h_q = \frac{h_1}{n_q}

Con n_1 < n_2 < \dots < n_q interi, poniamo

T_{m,1} := T(a:h_m:b)[f] \quad \forall m=1, \dots, q

T_{m, k+1} = T_{m, k} + \frac{T_{m, k} - T_{m-1, k}}{(h_{m-k}/h_m)^2 - 1} \quad \forall k

che ci permette di calcolare i valori di estrapolazione. Di solito per riciclare il lavoro già fatto si sceglie h_m / h_{m-1} = 2, in questo modo il denominatore (h_{m-k}/h_m)^2 - 1 diventa 2^{2k} - 1.

\begin{bmatrix}
T_{1,1} \\
T_{2,1} & T_{2,2} \\
T_{3,1} & T_{3,2} & T_{3,3} \\
\vdots & \vdots & \vdots & \ddots
\end{bmatrix}

Calcolato iterativamente per righe e ci si ferma quando due termini successivi in una riga sono minori di una certa tolleranza ovvero quando |T_{m, k} - T_{m, k-1}| < \varepsilon.

Teorema. In questo caso l’errore del metodo di Romberg è

T_{m, k} - \int_a^b f = r_k h^{2k} (b-a) f^{(2k)}(\xi)

per \xi \in (a, b) con

r_k = 2^{k(k-1)} |B_{2k}| / (2k)! \quad h = \frac{b-a}{2^{m-1}}

Teorema. Sia t_m un polinomio trigonometrico di grado m

t_m(x) = \sum_{j=0}^m (a_j \cos(jx) + b_j \sin(jx))

e si consideri S[t_m] = \int_0^{2\pi} t_m(x) \mathrm dx, allora la formula dei trapezi con h = 2\pi/N e N > m calcola esattamente S[t_m].

Vogliamo approssimare \int_{-1}^{+1} f(x) \mathrm dx. Come nodi prendiamo:

\begin{gathered}
    x_k := \cos \theta_k, \quad \theta_k := \frac{(2k-1)\pi}{2n}, \quad k = 1, \dots, n \\
    w_k^{F1} = \frac{2}{n} \left( 1 - 2 \sum_{j=1}^{\lfloor n/2 \rfloor} \frac{\cos(2j\theta_k)}{4j^2-1} \right)
\end{gathered}

Le formule di Fejer del II tipo usano:

\begin{gathered}
    x_k := \cos \theta_k, \quad \theta_k = \frac{k\pi}{2n}, \quad k = 1, \dots, n-1 \\
    w_k^{F2} := \frac{4 \sin \theta_k}{n} \sum_{j=1}^{\lfloor n/2 \rfloor} \frac{\sin(2j-1)\theta_k}{2j-1}
\end{gathered}

Le quadrature di Clenshaw-Curtis invece sono formule chiuse su [-1, 1], con x_0 = -1, x_n = 1.

\begin{gathered}
    x_k = \cos \theta_k, \quad \theta_k = \frac{k\pi}{n}, \quad k = 0, \dots, n \\
    w_k^{cc} = \frac{c_k}{n} \left( 1 - \sum_{j=1}^{\lfloor n/2 \rfloor} \frac{b_j}{4j^2 - 1} \cos(2j\theta_k) \right)
\end{gathered}

con

b_j =
\begin{cases}
    1 & j = n/2 \\
    2 & j < n/2
\end{cases},
\quad c_k =
\begin{cases}
    1 & k = 0, n \\
    2 & \text{altrimenti}
\end{cases}

Teorema. Sia n \geq 0 e 1 \leq k \leq n + 1 e sia S_{n+1}[f] una formula di integrazione interpolatoria, allora:

S_{n+1}[f] ha grado di precisione \leq n + k \iff per ogni p(x) con \deg p \lt n vale:

\int_a^b p(x) \pi_n(x) \omega(x) \mathrm dx = \langle p, \pi_n \rangle = 0

dove \omega(x) è una funzione peso positiva quasi ovunque su [a, b].

Teorema (Formula per i pesi gaussiani). Sia p_n(x) l’n-esimo polinomio ortogonale monico su [a, b] rispetto a \omega(x), h_n := \langle p_n, p_n \rangle, allora i coefficienti di S_{n+1}[f] sono dati da:

w_i := \frac{h_n}{p_{n+1}'(x_i) p_n(x_i)}

Teorema (Weierstrass). Se f \in C[a, b], allora \forall \epsilon > 0 esiste p_\epsilon(x) polinomio tale che:

\forall x \in [a, b] \quad |f(x) - p_\epsilon(x)| \le \epsilon

Questo è equivalente a dire che

\max_{x \in [a, b]} |f(x) - p_\epsilon(x)| \le \epsilon

ovvero \|f - p_\epsilon\|_\infty \le \epsilon.

Teorema. Ogni norma su V è una funzione uniformemente continua nella topologia indotta dalla norma stessa.

Definizione. Nel contesto precedente:

• g_n è detta funzione di migliore approssimazione.
• f - g_n è il resto dell’approssimazione.
• \delta_n := \|f - g_n\| è l’errore (assoluto) di approssimazione.

Teorema. Sia (V, \|\cdot\|) uno spazio vettoriale normato. Fissiamo \{\phi_0, \dots, \phi_n\} \subset V funzioni linearmente indipendenti. Sia G_n := \text{span}\{\phi_0, \dots, \phi_n\} e f \in V. Allora:

1. Il problema dell’approssimazione lineare di f rispetto a G_n ha soluzione.

2. L’insieme delle soluzioni è convesso.

3. Fissata una successione (\phi_i)_{i \ge 0}, definiamo per ogni n l’errore \delta_n rispetto allo spazio G_n := \text{span}\{\phi_i\}_{i=0}^n. Allora (\delta_n)_n è debolmente decrescente e ammette limite, ovvero \exists \lim_n \delta_n \ge 0.

Definizione. Sia (V, \|\cdot\|) uno spazio normato. V è detto strettamente convesso se \forall f, g \in V con f \neq g, \|f\| \le m, \|g\| \le m, si ha che:

\left\| f + g \right\| < 2m \iff \left\| \frac{f+g}{2} \right\| < m

Definizione. Sia (V, \|\cdot\|) uno spazio vettoriale normato. V è detto spazio di Banach se è completo rispetto alla norma \|\cdot\|, ovvero se ogni successione di Cauchy in V converge ad un elemento di V.

Definizione. Sia H uno spazio vettoriale dotato di prodotto scalare \langle \cdot, \cdot \rangle. Sia \|v\| := \sqrt{\langle v, v \rangle} la norma indotta dal prodotto scalare. V è detto spazio di Hilbert se è completo rispetto alla norma indotta.

Proposizione. In uno spazio con prodotto scalare vale la regola del parallelogramma: \forall u, v \in V:

\|u+v\|^2 + \|u-v\|^2 = 2(\|u\|^2 + \|v\|^2)

Viceversa, se in uno spazio normato vale questa proprietà, allora la norma è indotta dal prodotto scalare definito da:

\langle u, v \rangle = \frac{1}{4} (\|u+v\|^2 - \|u-v\|^2)

Teorema. Sia (V, \|\cdot\|) uno spazio normato con norma indotta da un prodotto scalare. Siano \{\phi_i\}_{i=0}^n \subset V linearmente indipendenti e G_n := \text{span}\{\phi_i\}_{i=0}^n. Sia f \in V. Allora:

1. Esiste un’unica g_n \in G_n che realizza il minimo della distanza:

   \min_{g \in G_n} \|f - g\|

2. g \in G_n è soluzione del problema dell’approssimazione lineare se e solo se:

\forall v \in G_n \quad \langle f - g, v \rangle = 0

Definizione. Sia H uno spazio di Hilbert. Un insieme ortogonale \{\phi_j\}_{j \in \mathbb{N}} \subset H è detto completo (o massimale) se non esiste alcun elemento non nullo di H che sia ortogonale a tutti i \phi_j, ovvero:

\nexists y \in H, y \neq 0 \quad \text{tale che} \quad \forall j \in \mathbb{N} \quad \langle y, \phi_j \rangle = 0

Teorema. Sia H uno spazio di Hilbert e \{\phi_j\}_{j \in \mathbb{N}} \subset H un insieme ortogonale. Sia f \in H e per ogni n sia g_n la migliore approssimazione di f su G_n = \text{span}\{\phi_0, \dots, \phi_n\}. Siano r_n = f - g_n il resto e \delta_n = \|r_n\| l’errore. Allora:

i) \delta_n^2 = \|f\|^2 - \sum_{i=0}^n \frac{\langle f, \phi_i \rangle^2}{\langle \phi_i, \phi_i \rangle} ii) La serie \sum_{i=0}^\infty \frac{\langle f, \phi_i \rangle^2}{\langle \phi_i, \phi_i \rangle} è convergente e vale la disuguaglianza di Bessel:

\sum_{i=0}^\infty \frac{\langle f, \phi_i \rangle^2}{\langle \phi_i, \phi_i \rangle} \le \|f\|^2

iii) Se l’insieme \{\phi_i\} è completo, allora vale l’identità di Parseval:

\|f\|^2 = \sum_{i=0}^\infty \frac{\langle f, \phi_i \rangle^2}{\langle \phi_i, \phi_i \rangle}

Definizione. Dato un intervallo [a, b], una tavola dei nodi su [a, b] è un insieme di punti:

\left\{ x_i^{(n)} \in [a, b] \mid i=0, \dots, n, \quad n \in \mathbb{N}, \quad x_i^{(n)} \neq x_j^{(n)} \text{ per } i \neq j \right\}

Definizione. La quantità \Lambda_n := \max_{x \in [a, b]} \lambda_n(x) è detta costante di Lebesgue.

Proposizione. \|\mathcal{A}_n\|_\infty = \Lambda_n.

Teorema (Faber). Per ogni tavola dei nodi su [a, b], esiste una funzione f \in C[a, b] tale che la successione dei polinomi interpolatori (\mathcal{A}_n(f))_n non converge a f in norma uniforme.

Teorema (Banach-Steinhaus). Siano V, W spazi di Banach e \{T_n\}_n una successione di operatori lineari e continui da V in W. Se vale la limitatezza puntuale, ovvero:

\forall v \in V \quad \sup_n \|T_n(v)\|_W < +\infty

allora la successione è uniformemente limitata in norma operatoriale:

\sup_n \|T_n\|_{\mathcal{L}(V, W)} < +\infty

Definizione. Un operatore L: C(K) \to C(K) si dice operatore lineare positivo se:

1. L è lineare: L(\alpha f + \beta g) = \alpha L[f] + \beta L[g]
2. L è positivo: f \ge 0 \implies L[f] \ge 0

Proposizione. Sia L un LPO su C(K). Allora:

• f \le g \implies L[f] \le L[g] (Monotonia)
• |L[f]| \le L[|f|]

Definizione. Se \{L_n\}_n è una successione di operatori lineari su C(K) e f \in C(K), diciamo che \{L_n\}_n approssima bene f se:

\lim_{n \to \infty} \|L_n[f] - f\|_\infty = 0

Definizione. Gli operatori di Bernstein B_n: C[0, 1] \to \mathcal{P}_n sono definiti da:

B_n[f](x) = \sum_{k=0}^n f\left(\frac{k}{n}\right) \binom{n}{k} x^k (1-x)^{n-k}

Definizione (Tipo e difetto).

• Diciamo che r è una funzione razionale di tipo (m, n) se r \in \mathcal{R}_{m, n}.
• Diremo che r ha tipo esatto (\mu, \nu) se r = p/q con \deg p = \mu, \deg q = \nu e \gcd(p, q) = 1.
• Data r di tipo (m, n), il difetto di r è d = \min \{m-\mu, n-\nu\} con (\mu, \nu) il tipo esatto di r.

Convenzione: se r = 0 \implies \mu = -\infty, d = n.

Definizione. Una funzione razionale r \in \mathcal{R}_{m, n} è approssimazione di Padé di f di tipo (m, n) se:

f(z) = r(z) + O(z^l) \quad \text{per } z \to 0

con l massimo esponente possibile. (L. Trefethen, “Approximation Theory and Approximation Practice”)

Teorema. Data f(z) = \sum_{i=0}^\infty c_i z^i, r \in \mathcal{R}_{m, n} è approssimazione di Padé di f di tipo (m, n) se e solo se:

f(z) = r(z) + O(z^{m+n+1-d})

dove d è il difetto di r. (Inoltre r esiste ed è unico).

Teorema (Equioscillazione di Chebyshev). Sia f \in C[a, b]. Un polinomio p \in \mathcal{P}_n è il polinomio di migliore approssimazione minimax se e solo se la funzione resto r(x) = f(x) - p(x) ha almeno n+2 punti di equioscillazione. Inoltre, il polinomio di migliore approssimazione è unico.

Teorema (de la Vallée-Poussin). Sia f \in C[a, b], p \in \mathcal{P}_n un polinomio qualunque e supponiamo che esistano n+2 punti a \le x_0 < x_1 < \dots < x_{n+1} \le b tali che:

f(x_i) - p(x_i) = (-1)^i d_i, \quad i = 0, \dots, n+1

con tutti i d_i \neq 0 e tutti dello stesso segno (ovvero il resto f(x) - p(x) oscilla tra i punti x_i). Allora vale che:

\min_{i = 0, \dots, n+1} |d_i| \le \delta_n^*

Definizione. Siano f \in C[a, b] e p \in \mathcal{P}_n. Diciamo che i punti x_0, \dots, x_k con a \le x_0 < \dots < x_k \le b sono di equioscillazione per la funzione resto r(x) = f(x) - p(x) se per ogni i:

r(x_i) = (-1)^i d, \quad \text{con } |d| = \|r\|_\infty

L’insieme \mathcal A = \{x_0, \dots, x_k\} è detto alternante.

Proposizione. Sia \mathcal A un insieme alternante per f e p con f \neq p. Allora \mathcal A ha cardinalità finita.

Definizione. Se x \in [a, b] è tale che r(x) = \|f - p\|_\infty, x si dice punto superiore. Se invece r(x) = -\|f - p\|_\infty, x si dice punto inferiore.

Teorema (Equioscillazione di Chebyshev pt.1). Sia f \in C[a, b].

1. Un polinomio p \in \mathcal{P}_n è il polinomio di migliore approssimazione minimax se e solo se la funzione resto r(x) = f(x) - p(x) ha almeno n+2 punti di equioscillazione.

2. Inoltre, il polinomio di migliore approssimazione è unico.

Proposizione. Sia f \in C^{n+1}[a, b] tale che f^{(n+1)}(x) \neq 0 per ogni x \in [a, b]. Allora il polinomio di migliore approssimazione p \in \mathcal{P}_n ha esattamente n+2 punti di equioscillazione (di cui i due estremi sono a e b).

La funzione resto r(x) è detta allora funzione standard.

Teorema. Sia f \in C[a, b]. Per l’approssimazione minimax vale \delta_n^* \to 0 per n \to \infty (ovvero vale la proprietà di buona approssimazione).

Teorema (Jackson). Sia f \in C^k[a, b]. Allora esiste una costante \gamma (che non dipende da n) tale che:

\delta_n^* \le \frac{\gamma \|f^{(k)}\|_\infty}{n^k}

Definizione. Un insieme alternante sezionato \mathcal{A} è un insieme alternante \{x_0, \dots, x_k\} associato ad un insieme di intervalli \{I_0, \dots, I_k\} (dette sezioni) tali che:

• Ogni I_j è un intervallo chiuso non banale contenuto in [a, b].

• Gli intervalli \{I_0, \dots, I_k\} formano una partizione di [a, b], ovvero \bigcup_{j=0}^k I_j = [a, b] e gli interni sono disgiunti (I_i \cap I_j può essere al più un punto comune).

• x_i \in I_i per ogni i.

• Se x_i è un punto superiore, allora l’intervallo I_i non contiene punti inferiori.

• Se x_i è un punto inferiore, allora l’intervallo I_i non contiene punti superiori.

Teorema. Sia \mathcal A un insieme alternante per r(x). Allora esiste un insieme \mathcal A' alternante e sezionato tale che \mathcal A \subseteq \mathcal A'.

Lemma. Nelle ipotesi precedenti, esiste \varepsilon > 0 tale che per ogni i = 0, \dots, k:

• Se I_i è una sezione inferiore, allora -\delta \le r(x) \le \delta - \varepsilon per ogni x \in I_i.
• Se I_i è una sezione superiore, allora -\delta + \varepsilon \le r(x) \le \delta per ogni x \in I_i.

Teorema. Siano f \in C[a, b], p \in \mathcal{P}_n e \delta = \|f - p\|_\infty > 0. Sia \mathcal{A} = \{x_0, \dots, x_k\} un insieme alternante sezionato per il resto r(x) = f(x) - p(x). Se k \le n, allora esiste un polinomio q \in \mathcal{P}_k \subseteq \mathcal{P}_n tale che:

\|f - (p + q)\|_\infty < \delta

Teorema (Equioscillazione di Chebyshev pt.2). Sia f \in C[a, b]. Un polinomio p \in \mathcal{P}_n è il polinomio di migliore approssimazione minimax se e solo se la funzione resto r(x) = f(x) - p(x) ha almeno n+2 punti di equioscillazione.

Teorema (Stima dell’errore minimax). Sia f \in C^{n+1}[a, b] tale che f^{(n+1)}(x) \neq 0 per ogni x \in [a, b] e siano m, M tali che 0 < m \le |f^{(n+1)}(x)| \le M su [a, b]. Allora la migliore approssimazione uniforme \delta_n^* soddisfa:

\frac{m (b - a)^{n+1}}{2^{2n+1} (n+1)!} \le \delta_n^* \le \frac{M (b - a)^{n+1}}{2^{2n+1} (n+1)!}

Teorema (Convergenza di Remez). Siano f \in C[a, b], n \in \mathbb{N}. Siano \{x_i^{(k)}\} e p^{(k)} i punti e i polinomi generati dall’algoritmo di Remez, p^* il polinomio di migliore approssimazione minimax e x_i^* i suoi punti di equioscillazione. Allora:

1. \lim_{k \to \infty} \|p^{(k)} - p^*\|_\infty = 0 (convergenza dei polinomi).
2. Se f \in C^2[a, b], r_n^* è una funzione standard e (r_n^*)''(x_i^*) \neq 0 per ogni i, allora la convergenza è quadratica. Ovvero, posto \delta_n^{(k)} = \|f - p^{(k)}\|_\infty, esiste \gamma > 0 tale che:

   \frac{\delta_n^{(k+1)} - \delta_n^*}{(\delta_n^{(k)} - \delta_n^*)^2} \le \gamma

Teorema.

1. Una funzione razionale s = p/q \in \mathcal{R}_{m,n} (ridotta ai minimi termini) è di migliore approssimazione se e solo se la funzione resto r(x) = f(x) - s(x) ha almeno m + n - d + 2 punti di equioscillazione, dove d = \min \{ m - \deg(p), n - \deg(q) \} è il difetto di s in \mathcal{R}_{m,n}.
2. La funzione razionale di migliore approssimazione minimax esiste ed è unica.

Definizione. Sia t : [a, b] \to \mathbb{R} e siano i nodi a = x_0 < x_1 < \dots < x_n = b. Diciamo che t è un polinomio a tratti di grado k \in \mathbb{N} rispetto alla partizione \{x_i\} se la restrizione di t a ciascun intervallo [x_i, x_{i+1}], indicata con t|_{[x_i, x_{i+1}]}, coincide con una funzione polinomiale di grado al più k.

Proposizione. Sia f \in C^{n+1}[a, b] and p_n il polinomio di interpolazione di grado n. Allora per ogni x \in [a, b] esiste \xi \in (a, b) tale che:

r(x) = f(x) - p_n(x) = \prod_{i=0}^n (x - x_i) \frac{f^{(n+1)}(\xi)}{(n+1)!}

Definizione. Una funzione s(x) : [a, b] \to \mathbb{R} è una funzione spline di ordine k per f rispetto ai nodi \{x_i\} se valgono le seguenti condizioni:

• s_i := s|_{[x_i, x_{i+1}]} è un polinomio di grado < k.
• s(x_i) = f(x_i) per ogni i.
• s \in C^{k-2}[a, b].

Definizione. Le condizioni aggiuntive per ottenere l’unicità della spline cubica sono dette condizioni al contorno. Le più comuni sono:

• Spline naturali: s''(a) = 0 e s''(b) = 0.

• Spline complete: s'(a) = f'(a) e s'(b) = f'(b).

• Spline not-a-knot: s_0'''(x_1) = s_1'''(x_1) e s_{n-2}'''(x_{n-1}) = s_{n-1}'''(x_{n-1}).

• Spline periodiche: s'(a) = s'(b) e s''(a) = s''(b).

Definizione. Sia s(x) : [a, b] \to \mathbb{R} una spline cubica. I momenti di s(x) sono i valori della derivata seconda nei nodi:

\mu_i := s''(x_i), \quad i = 0, \dots, n

Teorema. Sia f : [a, b] \to \mathbb{R} con a = x_0 < x_1 < \dots < x_n = b e s(x) una spline cubica per f con nodi \{x_i\}. Allora vale:

\begin{aligned}
s_i(x) = &\mu_{i+1} \frac{(x - x_i)^3}{6h_i} - \mu_i \frac{(x - x_{i+1})^3}{6h_i} \\
&+ \left[ \frac{f_{i+1} - f_i}{h_i} - \frac{h_i}{6}(\mu_{i+1} - \mu_i) \right](x - x_i) + f_i - \mu_i \frac{h_i^2}{6}
\end{aligned}

Teorema. Sia f : [a, b] \to \mathbb{R} e \{x_i\} una partizione. La funzione s(x) è una spline cubica per f se e solo se i momenti \mu_i soddisfano il sistema lineare sopra definito per ogni i = 1, \dots, n-1, con l’aggiunta delle opportune condizioni al contorno.

Proposizione. Sia M la matrice associata al sistema delle spline complete. Allora:

1. M è invertibile e a predominanza diagonale in senso stretto.
2. \|M^{-1}\|_\infty \le 1.
3. Utilizzando la notazione (|A|)_{ij} := |A_{ij}|, si ha |M^{-1}| [1, 2, \dots, 2, 1]^T = [1, \dots, 1]^T.

Lemma (Neumann). Sia A \in \mathbb{R}^{n \times n} con \|A\| < 1 (dove \|\cdot\| è la norma indotta). Allora:

1. (I - A) è invertibile.
2. La serie \sum_{j=0}^\infty A^j converge a (I - A)^{-1}.
3. \|(I - A)^{-1}\| \le \dfrac{1}{1 - \|A\|}.

Teorema. Siano f \in C^4[a, b] e s(x) la spline cubica completa su nodi equispaziati con passo h. Siano \mu_i i momenti di s e sia M := \|f^{(4)}\|_\infty. Allora:

\max_{i=0, \dots, n} |f''(x_i) - \mu_i| \le \frac{3}{4} M h^2

Teorema. Nelle ipotesi del teorema precedente, si hanno le seguenti stime di errore in norma infinito:

1. \|f'''(x) - s'''(x)\|_{\infty, [x_i, x_{i+1}]} \le 2 M h

2. \|f''(x) - s''(x)\|_{\infty, [a, b]} \le \frac{7}{4} M h^2

3. \|f'(x) - s'(x)\|_\infty \le \frac{7}{4} M h^3

4. \|f(x) - s(x)\|_\infty \le \frac{7}{8} M h^4

Teorema (Proprietà di minima curvatura). Sia f : [a, b] \to \mathbb{R} con nodi \{x_i\}. Allora la spline naturale s(x) \in C^2[a, b] minimizza la quantità

\int_a^b [g''(x)]^2 \mathrm dx

per ogni g \in C^2[a, b] con g(x_i) = f(x_i) per ogni i.

Teorema (Proprietà di minima curvatura per spline complete). Sia f: [a, b] \to \mathbb{R} di classe C^1[a, b] con nodi \{x_i\}. Allora la spline completa s(x) \in C^2[a, b] minimizza la quantità

\int_a^b (g''(x))^2 \mathrm dx

al variare di g \in C^2[a, b] tale che g(x_i) = f(x_i) per ogni i, e che soddisfa le condizioni al contorno g'(a) = f'(a) e g'(b) = f'(b).

Teorema. Siano a, b, c, d, e, f \in \mathbb{R} i coefficienti e c(x,y) la funzione associata. Supponiamo che la conica

\mathcal{C} := \{ (x,y) \in \mathbb{R}^2 \mid c(x,y) = 0 \}

sia non degenere, cioè:

\begin{vmatrix} a & b/2 & c/2 \\ b/2 & d & e/2 \\ c/2 & e/2 & f \end{vmatrix} \neq 0

Allora si distinguono tre casi in base a \Delta := b^2 - 4ac:

• \Delta < 0: ellisse \rightsquigarrow problemi ellittici.

• \Delta = 0: parabola \rightsquigarrow problemi parabolici.

• \Delta > 0: iperbole \rightsquigarrow problemi iperbolici.

Definizione. L’equazione

\Delta u = f(x,y)

è chiamata equazione di Poisson.

Si distinguono vari tipi di condizioni al bordo:

• Dirichlet: valore di u noto sulla frontiera, ad esempio per l’equazione del calore stiabiliamo la temperatura sulla frontiera

  u(x,y) = f(x,y) \text{ su } \partial \Omega

• Neumann: valore della derivata normale di u noto sulla frontiera, ad esempio per il flusso di calore attraverso la frontiera

  \dfrac{\partial u}{\partial \hat{n}} = g(x,y) \text{ su } \partial \Omega

• Robin: combinazione delle due precedenti

  \alpha \dfrac{\partial u}{\partial \hat{n}} + \beta u = r(x,y) \text{ su } \partial \Omega

Definizione (Equazione delle onde).

\begin{cases} \dfrac{\partial^2 u}{\partial t^2} - \lambda \dfrac{\partial^2 u}{\partial x^2} = 0 & \lambda > 0 \\[1em] u(\cdot, 0) = u_0, \quad \dfrac{\partial u}{\partial t} (\cdot, 0) = v_0 \\[1em] u(0,t) = u(1,t) = 0 \end{cases}

Definizione (Equazione di trasporto).

\begin{cases} \dfrac{\partial u}{\partial t} - c \dfrac{\partial u}{\partial x} = f(x,t) \\[1em] u(\cdot, 0) = g \end{cases}

Teorema (Principio del massimo, continuo). Sia L un operatore ellittico della forma

L[u] = -\sum_{i,j=1}^d a_{ij}(x) \frac{\partial^2 u}{\partial x_i \partial x_j} - \sum_{i=1}^d b_i(x) \frac{\partial u}{\partial x_i}

con (a_{ij}) uniformemente definita positiva e coefficienti continui su \overline{\Omega}. Se u \in C^2(\Omega) \cap C^0(\overline{\Omega}) è una sottosoluzione, cioè L[u] \le 0 in \Omega, allora

\max_{x \in \overline{\Omega}} u(x) = \max_{x \in \partial \Omega} u(x)

Teorema (Principio del massimo, discreto). Sia \mathbf{v} \in \mathbb{R}^{n+2} un vettore tale che (A_n \mathbf{v})_i \ge 0 per i=1, \dots, n. Allora

\max_{i=1,\dots,n} v_i \le \max(v_0, v_{n+1})

Teorema (Stima dell’errore). L’errore globale soddisfa la stima:

\|\mathbf{\epsilon}^{(n)}\|_\infty \le \frac{h^2}{8} \|\mathbf{\tau}^{(n)}\|_\infty

Proposizione. Siano A, X, B matrici. Consideriamo:

\text{vec}(AXB) = (B^T \otimes A) \text{vec}(X)

Definizione. Il quoziente di Rayleigh è l’applicazione

r : \mathbb{R}^n \setminus \{0\} \to \mathbb{R}, \quad x \mapsto \frac{x^T A x}{x^T x}

Teorema. Siano \lambda_1 \ge \dots \ge \lambda_n gli autovalori di A. Allora

\max_{x \neq 0} r(x) = \lambda_1, \quad \min_{x \neq 0} r(x) = \lambda_n

Teorema (Courant-Fischer). Siano \lambda_1 \ge \dots \ge \lambda_n gli autovalori di A. Sia V_k \subseteq \mathbb{R}^n un sottospazio di dimensione k. Allora:

\min_{\substack{V_k \subset \mathbb{R}^n \\ \dim V_k = k}} \max_{x \in V_k \setminus \{0\}} r(x) = \lambda_{n-k+1} \quad \forall k

\max_{\substack{V_k \subset \mathbb{R}^n \\ \dim V_k = k}} \min_{x \in V_k \setminus \{0\}} r(x) = \lambda_k \quad \forall k

Corollario (Teorema di separazione di Cauchy). Sia A una matrice reale simmetrica n \times n con autovalori \alpha_1 \ge \dots \ge \alpha_n. Sia U \in \mathbb{R}^{n \times (n-1)} tale che U^T U = I_{n-1}, allora gli autovalori di B = U^T A U sono \beta_1 \ge \dots \ge \beta_{n-1} e vale:

\alpha_1 \ge \beta_1 \ge \alpha_2 \ge \dots \ge \beta_{n-1} \ge \alpha_n

Si dice che gli autovalori di B separano quelli di A.

Corollario. Sia A una matrice tridiagonale simmetrica n \times n. Allora gli autovalori di una qualsiasi sottomatrice principale di A \in \mathbb{R}^{(n-1) \times (n-1)} separano gli autovalori di A.

Teorema. Gli zeri del polinomio ortogonale p_n(x) separano strettamente gli zeri di p_{n+1}(x) per ogni n \ge 1.