Allgemeine Wahrscheinlichkeitstheorie

Wahrscheinlichkeitsräume (1)

Bisher beschränkten wir uns auf ein abzählbares $\Omega$ (Vermeidung technischer Schwierigkeiten). Es gibt jedoch Zufallsexperimente, für welche ein überabzählbares $\Omega$ angemessen ist.

1. Messung einer physikalischen Größe mit einer großen Genauigkeit. ( $\Omega =\mathbb {R}$ )

2. Exakter Zeitpunkt des Eintretens eines Erdbebenstoßes oder eines Telefonanrufs. ( $\Omega =\mathbb {R} _{+}$ )

3. Idealisiertes Roulette. ( $\Omega =[0,2\pi [$ )

4. Pseudo-Zufallszahlen. ( $\Omega =[0,1]$ )

Wahrscheinlichkeitsräume (2)

In Beispiel 4. verlangen wir intuitiv von einer Wahrscheinlichkeitsverteilung $P$ auf $[0,1]$ : $P([a,b])=P(b)-P(a),0\leq a\leq b\leq 1$ , insbesondere

(*)

P(\lbrace w\rbrace )=0

.

Das mathematische Problem besteht nun darin, dass es keine Abbildung $P:{\mathcal {S}}([0,1])\to [0,1]$ gibt, die normiert und $\sigma$ -additiv ist und (*) erfüllt.

Ausweg aus diesem Dilemma: Statt auf ganz ${\mathcal {S}}(\Omega )$ , definiert man $P$ nur noch auf einem Teilsystem von Teilmengen $A\subset \Omega$ , d.h. auf einem Teilsystem ${\mathcal {U}}\subset {\mathcal {S}}(\Omega )$ . ${\mathcal {U}}$ soll so beschaffen sein, dass die üblichen Mengenoperationen $\cap ,\cup ,...$ nicht aus ${\mathcal {U}}$ herausführen.

σ-Algebra (Definition)

Ist $\Omega$ eine beliebige, nichtleere Menge, so heißt ein Mengensystem ${\mathcal {U}}\subset {\mathcal {S}}(\Omega )$ eine $\sigma$ -Algebra über $\Omega$ , wenn gilt

a) $\Omega \in {\mathcal {U}}$

b) $A\in {\mathcal {U}}\Rightarrow {\bar {A}}\in {\mathcal {U}}$

c) $A_{1},A_{2},...\in {\mathcal {U}}\Rightarrow \cup _{i=1}^{\infty }A_{i}\in {\mathcal {U}}$

Bemerkung

1. Es ist $\varnothing ={\bar {\Omega }}\in {\mathcal {S}}$

2. $A_{1},A_{2},...\in {\mathcal {S}}\Rightarrow \cap _{i=1}^{\infty }A_{i}=\cup _{i=1}^{\infty }{\bar {A}}_{i}\in {\mathcal {U}}$

3. In c) bzw 2. können wir auch $\cup _{i=1}^{\infty }$ bzw. $\cap _{i=1}^{\infty }$ einsetzen. Setze $A_{n+1}=A_{n+2}=...=\varnothing$ bzw. $A_{n+1}=A_{n+2}=...=\Omega$ .

4. ${\mathcal {B}}(\Omega )$ ist eine $\sigma$ -Algebra ('größte'), $\lbrace \varnothing ,\Omega \rbrace$ ist eine $\sigma$ -Algebra ('kleinste').

5. Ist ${\mathcal {I}}\subset {\mathcal {S}}(\Omega )$ ein vorgegebenes Mengensystem, so existiert unter den $\sigma$ -Algebraen, die ${\mathcal {I}}$ umfassen, eine kleinste $\sigma$ -Algebra (!). Wir nennen sie die von ${\mathcal {I}}$ erzeugte $\sigma$ -Algebra $\sigma ({\mathcal {I}})$ . ${\mathcal {I}}$ heißt dann Erzeugendensystem von $\sigma ({\mathcal {I}})$ .

6. Ein Paar $(\Omega ,{\mathcal {U}})$ , ${\mathcal {U}}$ $\sigma$ -Algebra über $\Omega$ , heißt messbarer Raum.

Definition

Ein Triplet $(\Omega ,{\mathcal {U}},P)$ heißt (allgemeiner) Wahrscheinlichkeitsraum, falls

a) $\Omega$ nichtleere Menge

b) ${\mathcal {U}}$ $\sigma$ -Algebra über $\Omega$

c) $P:{\mathcal {U}}\to [0,1]$ mit

(i)

P(\Omega )=1

(ii)

P(\cup _{i=1}^{\infty }A_{i})=\sum _{i=1}^{\infty }P(A_{i})

für paarweise disjunkte

A_{1},A_{2},...\in {\mathcal {U}}

Bemerkung

1. $P$ heißt Wahrscheinlichkeitsverteilung auf $(\Omega ,{\mathcal {U}})$ . Auch die übrigen Bezeichnungen vom Beginn der Vorlesung sind weiterhin gültig, wenn man ${\mathcal {S}}(\Omega )$ durch die $\sigma$ -Algebra ${\mathcal {U}}$ ersetzt ( $A\in {\mathcal {U}}$ statt $A\in \Omega$ (oder $A\in {\mathcal {S}}(\Omega )$ )).

2. Der diskrete Wahrscheinlichkeitsraum ergibt sich als Spezialfall der Definition: $\Omega$ abzählbar, ${\mathcal {U}}={\mathcal {S}}(\Omega )=\sigma \lbrace \lbrace w\rbrace w\in \Omega \rbrace$ .

Borelsche σ-Algebra

Konstruktion der Borelschen $\sigma$ -Algebra über $\Omega =\mathbb {R} ^{k},k\geq 1$ . Das Mengensystem ${\mathcal {I}}^{k}\subset {\mathcal {S}}(\mathbb {R} ^{k})$ bestehe aus allen k-dimensionalen Intervallen. Für $a=(a_{1},...a_{k}),b=(b_{1},...,b_{k})\in \mathbb {R} ^{k}$ (d.h. $a_{i}=-\infty$ und $b_{i}=+\infty$ sind zugelassen) mit $a<b$ (d.h. $a_{i}<b_{i}$ für $i=1,...,k$ ) definiert man das k-dimensionale Intervall $(a,b]=\otimes _{i=1}^{n}(a_{i},b_{i}]=\lbrace x\in \mathbb {R} ^{k}:a_{i}<x_{i}<b_{i}$ , für $i=1,...,k\rbrace$ .
Man führt das Mengensystem ${\mathcal {I}}^{k}=\lbrace (a,b],a<b\rbrace$ ein (beachte $\mathbb {R} ^{k}\in {\mathcal {I}}^{k}$ ).
Sei ${\mathcal {B}}^{k}=\sigma ({\mathcal {I}}^{k})$ die kleinste $\sigma$ -Algebra, die alle $k$ -dimensionalen Intervalle auf ${\mathcal {I}}^{k}$ enthält. ${\mathcal {B}}$ heißt $\sigma$ -Algebra der Borelschen Mengen oder kurz Borelsche $\sigma$ -Algebra.

Satz

Satz aus der Topologie/Maßtheorie:

a) Die $\sigma$ -Algebra ${\mathcal {B}}^{k}$ der Borelschen Mengen enthält alle offenen und alle abgeschlossenen Mengen des $\mathbb {R} ^{k}$ .

b) Es gibt nicht-Borelsche Mengen des $\mathbb {R} ^{k}$ .

c) ${\mathcal {B}}^{k}$ wir auch erzeugt von jedem der drei folgenden Mengensystemen:

das System der offenen Intervalle $(a,b)$ des $\mathbb {R} ^{k}$ .
das System der abgeschlossenen Intervalle $[a,b]$ des $\mathbb {R} ^{k}$ .
das System der links abgeschlossenen und rechts offenen Mengen $[a,b)$ des $\mathbb {R} ^{k}$ .

Zur Festlegung einer Wahrscheinlichkeitsverteilung $P$ auf $\mathbb {R} ^{k}$ braucht man nicht alle $P(B),B\in {\mathcal {B}}^{k}$ auf allen Intervallen. Es gilt nämlich folgender Satz.

Fortsetzungssatz von Caratheodory

Sei ${\tilde {P}}:{\mathcal {I}}^{k}\to [0,1]$ eine Abbildung, so dass gilt:

i) ${\tilde {P}}(\mathbb {R} ^{k})=1$

ii) ${\tilde {P}}(\cup _{i=1}^{\infty }I_{i})=\sum _{i=1}^{\infty }{\tilde {P}}(I_{i})$ für paarweise disjunkte $I_{1},I_{2},...\in {\mathcal {I}}^{k}$ mit $\cup _{i=1}^{\infty }I_{i}\in {\mathcal {I}}^{k}$

Dann existiert genau eine Wahrscheinlichkeitsverteilung $P$ auf ${\mathcal {B}}^{k}$ , so dass $P|{\mathcal {I}}^{k}={\tilde {P}}$ (d.h. $P(I)={\tilde {P}}(I)$ für alle $I\in {\mathcal {I}}^{k}$ ). ( $P$ heißt Fortsetzung von ${\tilde {P}}$ auf ganz ${\mathcal {B}}^{k}$ .)

Bemerkung

Öfter ist nun eine Teilmenge von $\mathbb {R} ^{k}$ als Ergebnisraum $\Omega$ von Interesse (z.B.: $\Omega =[0,1]^{k}$ ). Dann werden alls Größen auf $\Omega \subset \mathbb {R} ^{k}$ eingeschränkt: $\Omega \cap {\mathcal {I}}^{k}=\lbrace \Omega \cap I,I\in {\mathcal {I}}^{k}\rbrace$ statt ${\mathcal {I}}^{k}$ ; $\Omega \cap {\mathcal {B}}^{k}=\lbrace \Omega \cap {\mathcal {B}}^{k},B\in {\mathcal {B}}^{k}\rbrace$ statt ${\mathcal {B}}^{k}$ ('Borelsche Mengen in $\Omega$ '); $P|\Omega \cap {\mathcal {B}}^{k}$ statt $P$ ('Restriktion von $P$ auf $\Omega \cap {\mathcal {B}}^{k}$ '). $(\Omega ,\Omega \cap {\mathcal {B}}^{k},P|\Omega \cap {\mathcal {B}}^{k})$ bilden einen Wahrscheinlichkeitsraum.

Idealisiertes Roulette (Beispiel)

$\Omega =[0,2\pi ),\Omega \cap {\mathcal {I}}^{1}=\lbrace (a,b],0\leq a<b\leq 2\pi \rbrace$ .

Durch ${\tilde {P}}(a,b]={\frac {b-a}{2\pi }}$ wird auf $\Omega \cap {\mathcal {I}}^{1}$ eine Abbildung in $[0,1]$ definiert, welche die Eigenschaften i) und ii) des Fortsetzungssatzes erfüllt.

${\tilde {P}}$ legt eine Wahrscheinlichkeitsverteilung $P$ auf $\Omega \cap {\mathcal {B}}^{1}$ fest ('Gleichverteilung auf $[0,2\pi )$ ').

Beispiel

Zeitpunkt des Auftretens eines Ereignisses $\Omega =[0,\infty )$ ; durch ${\tilde {P}}(a,b]=e^{-\lambda a}e^{-\lambda b},0\leq a\leq b\leq \infty$ ( $\lambda >0$ fest) wird eine Wahrscheinlichkeitsverteilung $P$ auf $[0,\infty )\cap {\mathcal {B}}^{1}\equiv {\mathcal {B}}_{+}^{1}$ festgelegt ('Exponentialverteilung mit Paramter $\lambda$ ').

Bemerkung

Zukünftig schreiben wir statt ${\tilde {P}}$ ebenfalls $P$ .

Unabhängigkeit

Die Unabhängigkeit von Ereignissen $A_{1},...,A_{n}\in {\mathcal {U}}$ in einem Wahrscheinlichkeitsraum $(\Omega ,{\mathcal {U}},P)$ definiert man wie bereits geschehen durch die Eigenschaft: $P(A_{j_{1}}\cap ...\cap A_{j_{k}})=P(A_{j_{1}})\cdot ...\cdot P(A_{j_{k}})$ für alle $\varnothing \neq \lbrace j_{1},...,j_{k}\rbrace \subset \lbrace 1,...,n\rbrace$ . Sind $P_{1},...P_{k}$ Wahrscheinlichkeitsverteilungene auf $(\mathbb {R} ,{\mathcal {B}}^{1})$ , so heißt die Wahrscheinlichkeitsverteilung $P$ auf $(\mathbb {R} ^{k},{\mathcal {B}}_{j}^{k})$ Produkt der $P_{1},...,P_{k}$ , kurz $P=P_{1}\times ...\times P_{k}$ , falls $P(B_{1}\times ...\times B_{k})=P_{1}(B_{1})\cdot ...\cdot P_{k}(B_{k})$ für alle $B_{1},...,B_{k}\in {\mathcal {B}}^{1}$ .

Bemerkung

Der Begriff des Produktes von (allgemeinen) Wahrscheinlichkeitsräumen $(\Omega _{i},{\mathcal {U}}_{i},P_{i})$ , $i=1,...,n$ verlangt den Begriff der Produkt- $\sigma$ -Algebra ${\mathcal {U}}={\mathcal {U}}_{1}\times ...\times {\mathcal {U}}_{k}$ . Wir beschränken uns auf den Spezialfall ${\mathcal {U}}_{i}={\mathcal {B}}^{1},{\mathcal {U}}={\mathcal {B}}^{k}$ , für den wir diesen Begriff nicht benötigen.

(Elementare) bedingte Wahrscheinlichkeit

Der Begriff $P(B|A)$ , falls $P(A)>0$ , der (elementaren) bedingten Wahrscheinlichkeit, und die Formel von der totalen Wahrscheinlichkeit, Bayessche Formel, Produkt gelten auf die Wahrscheinlichkeitsräume $(\Omega ,{\mathcal {U}},P)$ , falls alle auftretenden Ereignisse $A,B,A_{1},...,A_{m}$ aus ${\mathcal {U}}$ genommen werden. Der allgemeine Begriff der bedingten Wahrscheinlichkeitsverteilung und des bedingten Erwartungswertes werden hier nicht gebraucht.

Verteilungsfunktion, Dichte

Zunächst Beschränkung auf den Wahrscheinlichkeitsraum $(\mathbb {R} ,{\mathcal {B}}^{1},P)$ . Zur Festlegung von Wahrscheinlichkeitsverteilungen auf $(\mathbb {R} ,{\mathcal {B}}^{1})$ (bzw. auf $(\mathbb {R} \cap \Omega ,{\mathcal {B}}^{1}\cap \Omega )$ ) reicht es aus, wegen $(a,b]=(-\infty ,b]\setminus (-\infty ,a]$ und $P(a,b]=P(-\infty ,b]-P(-\infty ,a]$ , alleine die Funktion $F(t)=P(-\infty ,t],t\in \mathbb {R}$ zu betrachten.

(kumulative) Verteilungsfunktion (Definition)

Sei $P$ eine Wahrscheinlichkeitsverteilung auf $(\mathbb {R} ,{\mathcal {B}}^{1})$ . Dann heißt die Funktion $F_{P}:\mathbb {R} \to [0,1],F_{P}(t)=P(-\infty ,t],t\in \mathbb {R}$ , (kumulative) Verteilungsfunktion von $P$ .

(Im Folgenden sei $F(t+)=lim_{s\downarrow t}F(s),F(t-)=lim_{s\uparrow t}F(s)$ , (falls existiert).)

Satz

Sei $F(t)\equiv F_{P}(t),t\in \mathbb {R}$ , Verteilungsfunktion von $P$ . Dann gilt:

i) $F(t)$ ist (nicht notwendig streng) monoton wachsend, $0\leq F(t)\leq 1$ .

ii) $F(t+)=F(t)$ ("rechtsseitig stetig")

iii) $F(t-)=F(t)-P(\lbrace w\rbrace )$

iv) $lim_{t\to -\infty }F(t)=0,lim_{t\to \infty }F(t)=1$

Beweis (1)

i) Monotonieeigenschaft von $P$ .

ii) Sei $t_{n}\downarrow t(t_{n}>t)$ . Zerlege $(t,t_{n}]=\bigcup _{i=n}^{\infty }(t_{i+1},t_{i}]$ . Dann ist

F(t+)=lim_{n\to \infty }F(t_{n})=lim_{n\to \infty }[F(t)+P(t,t_{n}]]

=lim_{n\to \infty }[F(t)+\sum _{i=n}^{\infty }P(t_{i+1},t_{i}]]=F(t)+0

da die Reihe $\sum _{i=1}^{\infty }P(t_{i+1},t_{i}]=P(t,t_{1}]<\infty$ konvergiert.

Beweis (2)

iii) Sei $t_{n}\uparrow t(t_{n}<t)$ . Zerlege $(t_{1},t_{n}=\bigcup _{i=1}^{n-1}(t_{i},t_{i+1}]$ . Dann ist

F(t-)=lim_{n\to \infty }F(t_{n})=lim_{n\to \infty }[F(t_{1})+P(t_{1},t_{n}]]

=lim_{n\to \infty }[F(t_{1}1)+\sum _{i=1}^{n-1}P(t_{i},t_{i+1}]]

=F(t_{1})+P(\bigcup _{i=1}^{\infty }(t_{i},t_{i+1}])=F(t_{1})+P(t_{1},t)

=P(-\infty ,t)=F(t)-P(\lbrace w\rbrace )

iv) Analog zu ii) und iii).

Bemerkung

Die Limiten in ii), iii), iv) existieren wegen i).

Notation

Im Folgenden bezeichne $\langle a,b\rangle$ für $-\infty \leq a<b\leq \infty$ eines der Intervalle $[a,b],(a,b),[a,b),(a,b]$ . Wobei im Fall $a=-\infty$ nur $(-\infty ,b\rangle$ und im Fall $b=\infty$ nur $\langle a,\infty )$ zugelassen wird.

Formeln für P⟨a,b⟩ </math>

Sei $F$ Verteilungsfunktion von $P$ .

$P(a,b]=F(b)-F(a)$ , inbesondere $P(-\infty ,b)=F(b)$ .
$P(a,b)=F(b-)-F(a)$ , inbesondere $P(a,\infty )=1-F(a)$ .
$P[a,b]=P(b)-P(a-)$ .
$[a,b)=F(b-)-F(a-)$ .

Bemerkungen

1. Falls $F$ bei $a$ stetig und $F$ auf dem Intervall $[a,b]$ konstant ist, so ist $P[a,b]=0$ .

2. Zusammen mit dem Fortsetzungssatz folgt, dass $P$ durch Vorgabe einer Verteilungsfunktion (d.i. eine Funktion $F(t),t\in \mathbb {R}$ , mit den Eigenschaften i), ii), iv)) eindeutig festgelegt wird, wenn man setzt $P(a,b]=F(b)-F(a)$ .

Im Fall der Exponentialverteilung aus dem Beispiel 1.5.3, bei der $F(t)=\left\{{\begin{array}{ll}0,&t<0\\\lambda e^{-\lambda t},&t\geq 0\end{array}}\right.$ ist, stellt man fest, dass $F'=f$ bzw. $F(t)=\int _{-\infty }^{t}f(x)dx$ , mit $f(x)=\left\{{\begin{array}{ll}0,&x<0\\\lambda e^{-\lambda t},&x\geq 0\end{array}}\right.$ .

Wahrscheinlichkeitsdichte (Definition)

Sei $F_{P}(t),t\in \mathbb {R}$ , Verteilungsfunktion von $P$ . Existiert dann eine messbare Funktion $f_{P}:\mathbb {R} \to [0,\infty )$ mit $F_{P}(t)=\int _{-\infty }^{\infty }f_{P}(x)dx$ für alle $t\in \mathbb {R}$ , so heißt $f_{P}(x),x\in \mathbb {R}$ , Wahrscheinlichkeitsdichte oder kurz Dichte von $P$ .

Bemerkung

1. Das Integral $\int _{-\infty }^{\infty }$ lässt sich als uneigentliches Riemann-Integral oder als Lebesgue-Integral auffassen. Der Begriff 'messbar' wird später erläutert.

2. Ist die stetige Verteilungsfunktion $F$ auf $\mathbb {R} \setminus D$ ( $D$ leer oder endlich) stetig differenzierbar, so besitzt $F$ die Dichte $f(x)=F'(x),x\in \mathbb {R} \setminus D$ , ( $f(x)$ auf $D$ beliebig festgelegt).

3. Besitzt $F$ eine Dichte, so ist $F(t),t\in \mathbb {R}$ stetig (d.h. $F(t)=F(t+)=F(t-)$ ) und die Formeln für $P\langle a,b\rangle$ liefert für alle vier Intervalltypen die Formel $P\langle a,b\rangle =F(b)-F(a)$ .

Satz

Besitzt eine Wahrscheinlichkeitsverteilung $P$ auf $(\mathbb {R} ,{\mathcal {B}})$ eine Dichte $f=f_{P}$ , so gilt:

P\langle a,b\rangle =\int _{a}^{b}f(x)dx

Insbesondere gilt:

\int _{-\infty }^{\infty }f(x)dx=1

Beweis

Folgt direkt aus Bemerkung 3.

Bemerkung

1. Wir können also eine Dichte $f$ durch die Eigenschaft $f:\mathbb {R} \in [0,\infty )$ , $f$ integrierbar mit $\int _{-\infty }^{\infty }f(x)dx=1$ festlegen.

2. Durch Vorgabe einer Dichte $f$ ist eine Wahrscheinlichkeitsverteilung $P$ auf $(\mathbb {R} ,{\mathcal {B}})$ eindeutig festgelegt.

3. Der Begriff der Dichte spielt im Fall $\Omega =\mathbb {R}$ die gleiche Rolle wie der Begriff der Wahrscheinlichkeitsfunktion im Falle eines abzählbaren $\Omega$ (nur: eine Dichte braucht nicht notwendigerweise zu existieren!).

Gleichverteilung (Beispiel)

Gleichverteilung auf dem Intervall $\Omega =[A,B]\subset \mathbb {R} ,A<B$ .

Dichte:

f(x)=\left\{{\begin{array}{ll}0,&x\notin [A,B]\\{\frac {1}{B-A}},&x\in [A,B]\end{array}}\right.

Verteilungsfunktion:

F(x)=\left\{{\begin{array}{ll}0,&x<A\\{\frac {x-A}{B-A}},&A\leq x\leq B\\1,&x>B\end{array}}\right.

Exponentialverteilung (Beispiel)

Exponentialverteilung mit dem Parameter $\lambda >0$ :

Dichte:

f(x)=\left\{{\begin{array}{ll}0,&x<0\\\lambda e^{-\lambda x},&x\geq 0\end{array}}\right.

Verteilungsfunktion:

F(x)=\left\{{\begin{array}{ll}0,&x<0\\1-e^{-\lambda e},&x\geq 0\end{array}}\right.

Verwendung:

Wartezeit (bis zum Eintreten eines Ereignisses).

Diskrete Verteilung (Beispiel)

Diskrete Verteilung auf $\lbrace x_{1},x_{2},...\rbrace \subset \mathbb {R}$ (oder $\lbrace x_{1},...,x_{n}\rbrace \subset \mathbb {R}$ ) mit vorgegebener Wahrscheinlichkeitsfunktion $P\lbrace x_{i}\rbrace$ . Setze für $A\in {\mathcal {B}}^{1}$

P(A)=\sum _{i,x_{i}\leq x}P(\lbrace x_{i}\rbrace )

$P$ bildet ein Wahrscheinlichkeitsmaß auf $(\mathbb {R} ,{\mathcal {B}})$ , mit der Verteilungsfunktion:

F(x)=\sum _{i:x_{i}\leq x}P(\lbrace x_{i}\rbrace )

Es existiert jedoch keine Dichte!

Normalverteilung (Beispiel)

Normalverteilung mit Parametern $\mu$ und $\sigma ^{2},\mu \in \mathbb {R} ,\sigma ^{2}>0$ :

Dichte:

\phi _{\mu ,\sigma ^{2}}(x)={\frac {1}{{\sqrt {2\pi }}\sigma }}e^{{\frac {1}{2}}\cdot ({\frac {x-\mu }{\sigma }})^{2}}

Verteilungsfunktion:

\Phi _{\mu ,\sigma ^{2}}(x)=\int _{-\infty }^{x}\phi _{\mu ,\sigma ^{2}}(t)dt

Abkürzung: $N(\mu ,\sigma ^{2})$

Verwendung: Symmetrisch um einen 'wahren' Wert $\mu$ streuende Messgröße.

Spezialfall: $N(0,1)$ 'Standard-Normalverteilung', man schreibt $\phi =\phi _{0,1},\Phi =\Phi _{0,1}$ .

Umrechnung (1)

$\phi _{\mu ,\sigma ^{2}}(x)={\frac {1}{\sigma }}\phi ({\frac {x-\mu }{\sigma }}),\Phi _{\mu ,\sigma ^{2}}(x)=\Phi ({\frac {x-\mu }{\sigma }})$ (Substitutionsregel)

Aus dieser Beziehung folgt:

\int _{-\infty }^{\infty }\phi _{\mu ,\sigma ^{2}}(x)dx=\Phi _{\mu ,\sigma ^{2}}(\infty )=\Phi (\infty )=\int _{-\infty }^{\infty }\phi (x)dx=1,

so dass $\phi _{\mu ,\sigma ^{2}}$ eine Dichte ist.

Umrechnung (2)

Das Konzept der Dichte lässt sich auch im Fall $\Omega =\mathbb {R} ^{k}$ verwirklichen. Eine Dichte im $\mathbb {R} ^{k}$ ist eine nicht negative (aber messbare) Funktion $f(x)=f(x_{1},...,x_{k}),x\in \mathbb {R}$ mit (Integrierbarkeit vorausgesetzt):

\int _{\mathbb {R} ^{k}}f(x_{1},...,x_{k})d^{k}x=1

Für ein $B\in {\mathcal {B}}^{k}$ definiert man

\int _{B}f(x_{1},...,x_{k})d^{k}x=\int _{\mathbb {R} ^{k}}f(x)d^{k}x=\int _{\mathbb {R} ^{k}}1_{B}(x)f(x)d^{k}x.

Wir benötigen den folgenden Satz der Integrationstheorie.

Satz

Ist $f\geq 0$ eine integrierbare Funktion auf dem $\mathbb {R} ^{k}$ , so wird durch $B\mapsto \int _{B}f(x)d^{k}x,b\in {\mathcal {B}}^{k}$ eine $\sigma$ -additive Abbildung von ${\mathcal {B}}^{k}$ in $[0,\infty )$ definiert. D.h. für paarweise disjunkte $B_{1},...,B_{k}\in {\mathcal {B}}^{k}$ gilt:

\int _{\bigcup B_{i}}f(x)d^{k}x=\sum _{i=1}^{\infty }\int _{B_{i}}f(x)d^{k}x

Beweis

Über den Satz der monotonen Konvergenz.

Satz

Sei $f(x),x\in \mathbb {R} ^{k}$ eine Dichte und $(a,b]$ ein $n$ -dimensionales Intervall $(a,b]=\otimes _{i=1}^{k}(a_{i},b_{i}]$ .

a) Setzt man

(*)

P(a,b]=\int _{(a,b]}f(x)d^{k}x

so wird eine Wahrscheinlichkeitsverteilung $P$ auf $(\mathbb {R} ^{k},{\mathcal {B}}^{k})$ eindeutig festgelegt. (Anstelle von $(a,b]$ lässt sich auch jeder andere Intervalltyp $\langle a,b\rangle =\otimes _{i=1}^{k}\langle a_{i},b_{i}\rangle$ einsetzen.)

b) Für die Wahrscheinlichkeitsverteilung $P$ aus a) gilt, allgemeiner als (*):

P(B)=\int _{B}f(x)d^{k}x(B\in {\mathcal {B}}^{k})

Beweis

a) Durch (*) wird eine Abbildung $P:F^{k}\to [0,1]$ definiert, die wegen $\int _{\mathbb {R} ^{k}}f(x)d^{k}x=1$ normiert ist und aufgrund des vorangegangenen Satzes $\sigma$ -additiv auf $F^{k}$ ist. Nach dem Fortsetzungssatz hat sie eine eindeutige Fortsetzung auf ${\mathcal {B}}^{k}$ .

b) Folgt dann aus dem vorangegangenen Satz und der Eindeutigkeitsaussage von a).

Beispiel

$k$ -dimensionale Normalenverteilung mit Paramter $\mu \in \mathbb {R} ^{k}$ und $\Sigma$ (symmetrische $k\times k$ -Matrix, positiv definit), kurz $N(\mu ,\Sigma )$ -Verteilung.

Dichte:

f(x)={\frac {1}{\sqrt {(s\pi )^{k}det(\Sigma )}}}e^{-{\frac {1}{2}}(x-\mu )^{T}\cdot \Sigma ^{-1}\cdot (x-\mu )}

mit

x\in \mathbb {R} ^{k}.

Abkürzung:

(N_{k}(\mu ,\Sigma )).

Spezialfall

$N_{k}(0,I_{k})$ ( $k$ -dimensionale Standard-Normalenverteilung).

Im Fall $\mu =0\in \mathbb {R} ^{k}$ und $\Sigma =I_{k}$ ( $k$ -dimensionale Einheitsmatrix) reduziert sich die Gleichung der Dichte aus dem obigen Beispiel auf

f(x)={\frac {1}{\sqrt {(s\pi )^{k}}}}e^{-{\frac {1}{2}}(x_{1}^{2}+...+x_{k}^{2})}=\Pi _{i=1}^{k}{\frac {e^{-{\frac {1}{2}}x}}{\sqrt {(s\pi )}}}

mit

x=(x_{1},...,x_{k})\in \mathbb {R} ^{k}

.

$f(x)$ hat die Normierungseigenschaft.

Zufallsvariablen, Zufallsvekoren

Zu Beginn der Vorlesung hatten wir jede Abbildung: $\Omega \to \Omega '$ als Zufallsgröße bezeichnet: $(\Omega ,{\mathcal {U}},P)\to (\Omega ',{\mathcal {U}}',P_{X})$ . Jetzt müssen wir sicherstellen, dass die Urbilder $X^{-1}(A'),A'\in {\mathcal {U}}'$ auch Element von ${\mathcal {U}}$ sind.

Zufallsgröße (Definition)

a) Sind $(\Omega ,{\mathcal {U}}),(\Omega ',{\mathcal {U}}')$ messbare Räume, so heißt eine Abbildung $X:\Omega \to \Omega '$ Zufallsgröße (auf $(\Omega ,{\mathcal {U}})$ , mit Werten in $\Omega '$ ), falls

X^{-1}(A')\in {\mathcal {U}}\forall A'\in {\mathcal {U}}'

b) Ist $X:\Omega \to \Omega '$ Zufallsgröße und $P$ eine Wahrscheinlichkeitsverteilung auf $(\Omega ,{\mathcal {U}})$ , so heißt $P_{X}:{\mathcal {U}}'\to [0,1]$ mit

P_{X}(A')=P(X^{-1}(A')),A'\in {\mathcal {U}}'

Verteilung von $X$ .

Bemerkung

1. Man zeige genau wie zu Beginn der Vorlesung, dass $P_{X}$ eine Wahrscheinlichkeitsverteilung auf $(\Omega ',{\mathcal {U}}')$ ist.

2. In der Maßtheorie nennt man eine Abbildung $X$ mit der Eigenschaft a) messbar bezüglich ${\mathcal {U}},{\mathcal {U}}'$ . (Eine messbare Funktion $f:\mathbb {R} ^{k}\to \mathbb {R}$ ist also messbar bezüglich ${\mathcal {B}}^{k},{\mathcal {B}}^{1}$ .)

3. Im Fall $\Omega '=\mathbb {R} ^{k},{\mathcal {U}}'={\mathcal {B}}^{k}$ spricht man von einem $k$ -dimensionalen Zufallsvektor, im Fall $k=1$ von einer Zufallsvariablen.

4. Es gibt nichtmessbare Funktionen $F:\mathbb {R} \to \mathbb {R}$ . Ist nämlich $C\subset \mathbb {R} ^{1}$ nicht borelsch, so ist $f=1_{C}$ nicht messbar.

Satz

Seien $(\Omega ,{\mathcal {U}}),(\Omega ',{\mathcal {U}}')$ messbare Räume, $F'\subset {\mathcal {U}}'$ sei Erzeugendensystem von ${\mathcal {U}}'$ (d.h. $\sigma (F')={\mathcal {U}}'$ ). Die Abbildung $X:\Omega \to \Omega '$ ist genau dann Zufallsgröße, wenn

$X^{-1}(A')\in {\mathcal {U}},\forall A'\in F'$ .

Beweis

Aus 1) folgt 3) (trivial). Sei nun 3) erfüllt. Setze

\phi '=\lbrace A'\in {\mathcal {U}}':X^{-1}(A')\in {\mathcal {U}}\rbrace

,

man zeigt, dass $\phi '$ eine $\sigma$ -Algebra ist. Aus $F'\subset \phi '\subset {\mathcal {U}}'$ folgt

{\mathcal {U}}'=\sigma (F')\subset \sigma (\phi ')=\phi '\subset \sigma ({\mathcal {U}}')={\mathcal {U}}'\Rightarrow \phi '={\mathcal {U}}'.

Korollar

Sei $(\Omega ,{\mathcal {U}})$ ein messbarer Raum, $X:\Omega \to \mathbb {R}$ ist Zufallsvariable genau dann, wenn

\lbrace X<b\rbrace \equiv X^{-1}(-\infty ,b]\in {\mathcal {U}},\forall b\in \mathbb {R}

(äquivalent: $\leq ,\geq ,>$ statt $<$ )
Insbesondere ist jede stetige (stückweise stetige) Abbildung $X:\mathbb {R} ^{k}\to \mathbb {R}$ Zufallsvariable auf $(\mathbb {R} ^{k},{\mathcal {B}}^{k})$ .

Beweis

Setze $F'=\lbrace (-\infty ,b]:b\in \mathbb {R} \rbrace$ . Man zeigt, dass $\sigma (F')={\mathcal {B}}^{1}$ , so dass der vorangegangene Satz anwendbar ist. Für ein stetiges $X:\mathbb {R} ^{k}\to \mathbb {R}$ ist $X^{-1}(-\infty ,b)$ offene Menge, ist in $\mathbb {R} ^{k}$ , also aus ${\mathcal {B}}^{k}$ .

Satz

Sei $X=(X_{1},...,X_{,}k)$ eine Abbildung: $\Omega \to \mathbb {R} ^{k}$ , und $(\Omega ,{\mathcal {U}})$ messbarer Raum. Dann ist $X$ ein Zufallsvektor genau dann, wenn jedes $X_{i}$ eine Zufallsvariable ist ( $i=1,...,k$ ).

Beweis

Es gilt:

X_{i}^{-1}(a,b]=X^{-1}(\mathbb {R} \times ...\times \mathbb {R} \times (a,b]\times \mathbb {R} \times ...\times \mathbb {R} )

mit $(a,b]$ an der $i$ -ten Stelle, woraus die Behauptung folgt.

Satz

Sind $(\Omega ,{\mathcal {U}}),(\Omega ',{\mathcal {U}}'),(\Omega '',{\mathcal {U}}'')$ messbare Räume und $X:\Omega \to \Omega ',Y:\Omega '\to \Omega ''$ Zufallsgrößen, so ist auch $Y\circ X:\Omega \to \Omega ''$ eine Zufallsgröße (Beweis klar).

Sprechweise

Die eingeführte Notaion " $F$ ist eine Verteilungsfunktion von $P$ " und " $f$ ist Dichte von $P$ " wird durch die Verteilung $P_{X}$ von $X$ angewandt:

Man sagt dann " $F$ ist Verteilungsfunktion von $X$ "(d.h. $F_{X}(x)=P(x\in X)=P_{X}(-\infty ,x]$ für eine Zufallsvariable von $X$ ) und $f_{X}$ ist Dichte von $X$ (aber $X$ hat Dichte $f$ ).

Beispiel

Ist die Zufallsvariable $X$ eine Wartezeit und $P_{X}$ eine Exponentialverteilung (mit $\lambda >0$ ), so hat $X$ die

Verteilungsfunktion:

F_{X}(x)=\left\{{\begin{array}{ll}0,&x<0\\1-e^{-\lambda x},&x\geq 0\end{array}}\right.

bzw. die Dichte:

f_{X}(x)=\left\{{\begin{array}{ll}0,&x<0\\\lambda e^{-\lambda x},&x\geq 0\end{array}}\right.

Hat der Zufallsvektor $X=(X_{1},...,X_{k})$ die Dichte $f(x)=f_{X}(x),x\in \mathbb {R} ^{k}$ , so gilt für ein $k$ -dimensionales Intervall $(a,b]=\otimes _{i=1}^{k}(a_{i},b_{i}]$ :

P_{X}(a,b]=\int _{a_{k}}^{b_{k}}...\int _{a_{1}}^{b_{1}}f(x_{1},...,x_{k})dx_{1}...dx_{k}

Hat $X$ die Dichte $f(x),x\in \mathbb {R} ^{k}$ , so hat die Komponente $X_{i}$ die Randdichte

f_{X_{i}}(x_{i})=\int _{\mathbb {R} ^{k-1}}f(x_{1},...,x_{k})dx_{1}...dx_{i-1}dx_{i+1}...dx_{k}

.

Der folgende Satz gibt die Dichte von $\phi \circ X$ an, wenn die Dichte von $X$ gegeben ist.

Transformationssatz für Dichten

Der $k$ -dimensionale Zufallsvektor $X$ besitzt die Dichte $f(x),x\in \mathbb {R} ^{k}$ , wobei für eine offene Menge $U\subset \mathbb {R} ^{k}$ gilt: $f(x)=0$ für $x\notin U$ . Sei $\phi :U\to V,V\subset \mathbb {R} ^{k}$ eine bijektive Abbildung mit $\phi ,\phi ^{-1}$ stetig differenzierbar.

Dann hat der $k$ -dimensionale Zufallsvektor $Y=\phi \circ X$ eine Dichte und es gilt

g(y)=0,y\notin V

g(y)=f(\phi ^{-1}(y))\cdot |det({\frac {d\phi ^{-1}}{dy}}(y))|,y\in V

wobei $({\frac {d\phi ^{-1}}{dy}}(y))=({\frac {d\phi _{i}^{-1}}{dy_{j}}}(y)),(i,j=1,...,k)$ die $k\times k$ Funktionsmatrix von $\phi ^{-1}$ ist.

Bemerkung

Zur Festlegung der Verteilung (und damit der Dichte) von $Y=\phi \circ X$ genügt es, $\phi$ alleine auf $U$ festzulegen. Sind nämlich $\phi$ und ${\tilde {\phi }}:\mathbb {R} ^{k}\to \mathbb {R} ^{k}$ mit $\phi |U={\tilde {\phi }}|U$ , so gilt $P_{{\tilde {\phi }}\circ X}=P_{\phi \circ X}$ .

In der Tat, sei $B\in {\mathcal {B}}^{k}$ , dann

P_{{\tilde {\phi }}\circ X}(B)=P(X\in {\tilde {\phi }}^{-1}(B))=P(X\in {\tilde {\phi }}^{-1}(B)\cap U)

=P(X\in \phi ^{-1}(B)\cap U)=P(X\in \phi ^{-1}(B))=P_{\phi \circ X}(B)

die zweite Gleichheit gilt wegen

P(X\in {\bar {U}})=\int _{\bar {U}}f(x)dx=0,

da $f(x)=0$ für $x\notin U$ .

Beweis

Sei $A\in {\mathcal {B}}^{k}$ offen, dann gilt wegen der zweiten Gleichheit ( $P(X\in {\bar {U}})=0$ ):

P_{\phi \circ X}(A)=P(X\in \phi ^{-1}(A))=P(X\in \phi ^{-1}(A)\cap U)

=\int _{\phi ^{-1}(A)\cap U}f(x)dx=\int _{\phi ^{-1}(a\cap V)}f(x)dx

=\int _{(A\cap V)}f(\phi ^{-1}(x))\cdot |det{\frac {d\phi ^{-1}}{dy}}(y)|dy\equiv \int _{A}g(y)dy

wobei wir den Transformationssatz für Integrale angewandt haben. Speziell gilt für offenes $A=\otimes _{i=k}^{k}(a_{i},b_{i})$ :

P_{\phi \circ X}(A)=\int _{a_{k}}^{b_{k}}...\int _{a_{1}}^{b_{1}}g(y)dy

d.h. $g(y)$ ist Dichte von $\phi \circ X$ .

Korollar

Besitzt der $k$ -dimensionale Zufallsvektor $X$ die Dichte $f(x),x\in \mathbb {R} ^{k}$ , so lautet die Dichte $g(y),y\in \mathbb {R} ^{k}$ von $Y=A\cdot X+b$ , (A invertierbare $k\times k$ -Matrix, $b\in \mathbb {R} ^{k}$ )

g(y)={\frac {1}{|detA|}}f(A^{-1}(y-b)),y\in \mathbb {R} ^{k}.

Beweis

\phi (X)=A\cdot X+b

ist auf

U=\mathbb {R} ^{k}

bijektiv, mit

\phi ^{-1}(y)=A^{-1}(y-b)

und

det({\frac {d\phi ^{-1}(y)}{dy}})=det(A^{-1})={\frac {1}{det(A)}}.

Beispiel

$k$ -dimensionale Normalenverteilung.

1. Ist $X$ $N(0,I_{k})$ -verteilt (d.h. $f(x)=({\frac {1}{\sqrt {2\pi }}})^{k}e^{-{\frac {1}{2}}x^{T}x},x=(x_{1},...,x_{k})^{T}$ ), so besitzt $Y=A\cdot X+\mu$ ( $A$ invertierbare $k\times k$ -Matrix, $\mu \in \mathbb {R} ^{k}$ ) die Dichte

g(y)={\frac {1}{|det(A)|}}({\frac {1}{\sqrt {2\pi }}})^{k}\cdot e^{-{\frac {1}{2}}(y-\mu )^{T}(A^{-1})^{T}\cdot A^{-1}(y-\mu )}

={\frac {1}{\sqrt {(2\pi )^{k}det(\Sigma )}}}e^{-{\frac {1}{2}}(y-\mu )^{T}\cdot \Sigma ^{-1}(y-\mu )}

mit $\Sigma =A\cdot A^{T}$ . (Dann ist $\Sigma ^{-1}=(A\cdot A^{T})^{-1}=(A^{-1})\cdot A^{-1}$ , $\Sigma$ symmetrisch, positiv definit, $det(\Sigma )=(det(A))^{2}$ ). $Y$ ist also $N_{k}(\mu ,\Sigma )$ -verteilt.

2. Ist umgekehrt $YN_{k}(\mu ,\Sigma )$ -verteilt ( $\Sigma$ symmetrisch, positiv definit), so ist $X=(\Sigma ^{-{\frac {1}{2}}})^{T}\cdot (y-\mu )N_{k}(0,I_{k})$ -verteilt. Dabei ist $\Sigma ^{-{\frac {1}{2}}}$ eine intvertierbare $k\times k$ -Matrix mit $\Sigma ^{-1}=(\Sigma ^{-{\frac {1}{2}}})\cdot (\Sigma ^{-{\frac {1}{2}}})^{T}$ ( $(\Sigma ^{-{\frac {1}{2}}})^{T}=A$ aus 1.).

Bemerkung

Für symmetrische, positiv definite $B$ existieren verschiedene "Wurzeln" $B^{\frac {1}{2}}$ von $B$ mit (+) $B=B^{\frac {1}{2}}\cdot (B^{\frac {1}{2}})^{T}$ (oben mit $B=\Sigma ^{-1},B^{\frac {1}{2}}=A^{-1}$ ):

1. symmetrische Wurzel, $B^{\frac {1}{2}}$ symmetrisch, positiv definit

2. Cholesky Wurzel, $B^{\frac {1}{2}}$ obere Dreiecksmatrix

In jedem Fall ist $det(B^{\frac {1}{2}})={\sqrt {detB}}$ und (+).

Unabhängige Zufallsvariablen

Definition

a) Die auf $(\Omega ,{\mathcal {U}},P)$ definierten Zufallsvariablen $X_{1},...,X_{n}$ heißen unabhängig, falls für alle $B_{1},...,B_{n}\in {\mathcal {B}}^{1}$ gilt:

P(X_{1}\in B_{1},...,X_{n}\in B_{n})=P(X_{1}\in B_{1})\cdot ...\cdot P(X_{n}\in B_{n})

b) Abzählbar viele Zufallsvariablen $X_{1},X_{2},...$ heißen unabhängig, wenn je endlich viele $X_{i_{1}},...,X_{i_{n}}$ unabhängig sind.

Satz

Die auf $(\Omega ,{\mathcal {U}},P)$ definierten Zufallsvariablen $X_{1},...,X_{n}$ sind unabhängig genau dann, wenn

P_{(X_{1},...,X_{n})}=P_{X_{1}}\times ...\times P_{X_{n}}.

Beweis

Es gelte $P_{(X_{1},...,X_{n})}=P_{X_{1}}\times ...\times P_{X_{n}}$ :

Seien $B_{1},..,B_{n}\in {\mathcal {B}}^{1}$ , dann gilt:

P(X_{1}\in B_{1},...,X_{n}\in B_{n})=P_{(X_{1},...,X_{n})}(B_{1}\times ...\times B_{n})

=P_{X_{1}}\times ...\times P_{X_{n}}(B_{1}\times ...\times B_{n})=P_{X_{1}}(B_{1})\cdot ...\cdot P_{X_{n}}(B_{n})

=P(X_{1}\in B_{1})\cdot ...\cdot P(X_{n}\in B_{n})

Es gelte $X_{1},...,X_{n}$ unabhängig:

P_{(X_{1},...,X_{n})}(B_{1}\times ...\times B_{n})=P(X_{1}\subset B_{1})\cdot ...\cdot P(X_{n}\subset B_{n})

=P(X_{1}\in B_{1})\cdot ...\cdot P(X_{n}\in B_{n})=P_{X_{1}}(B_{1})\cdot ...\cdot P_{X_{n}}(B_{n})

Bemerkung

Da die $\sigma$ -Algebra ${\mathcal {B}}^{n}$ von dem System der Intervalle $(a,b]=\otimes _{1}^{n}(a_{i},b_{i}]$ erzeugt werden, genügt es, statt a) der Definition für alle $a,b\in \mathbb {R} ^{n},a<b$ zu finden:

P(a_{1}\subset X_{1}\leq b_{1},...,a_{n}\subset X_{n}\leq b_{n})=P(a_{1}\subset X_{1}\leq b_{1})\cdot ...\cdot P(a_{n}\subset X_{n}\leq b_{n})

Auch Intervalltypen $[),[],()$ können anstelle von (] verwendet werden.

Satz

Die Zufallsvariablen $X_{1},...,X_{n}$ mögen die Dichten $f_{1},...,f_{n}$ besitzen.

Dann gilt:

X_{1},...,X_{n}

unabhängig

\Uparrow \Downarrow

(X_{1},...,X_{n})

hat Dichte

f(x_{1},...,x_{n})=f(x_{1})\cdot ...\cdot f(x_{n})

Beweis

" $\Downarrow$ " Sind $X_{1},...,X_{n}$ unabhängig, dann folgt:

P_{(x_{1},...,x_{n})}((a_{1},b_{1}]\times ...\times (a_{n},b_{n}])=P_{X_{1}}(a_{1},b_{1}]\cdot ...\cdot P_{X_{n}}(a_{n},b_{n}]

=\int _{a_{1}}^{b_{1}}f_{1}(x_{1})dx_{1}\cdot ...\cdot \int _{a_{n}}^{b_{n}}f_{n}(x_{n})dx_{n}

=\int _{a_{1}}^{b_{1}}...\int _{a_{n}}^{b_{n}}f_{1}(x_{1})\cdot ...\cdot f_{n}(x_{n})dx_{1}\cdot ...\cdot dx_{n}

\Rightarrow (X_{1},...,X_{n})

hat Dichte

f(x_{1},...,x_{n}),(x_{1},...,x_{n})\in \mathbb {R} ^{n}

.

" $\Uparrow$ " Analog.

Beispiel

$X=(X_{1},...,X_{n})$ ist ${\mathcal {N}}(0,I_{k})$ -verteilt genau dann, wenn die $X_{1},...,X_{n}$ unabhängig und ${\mathcal {N}}(0,1)$ -verteilt sind.

Beweis

Sind $X_{1},...,X_{n}$ unabhängig mit den Dichten $f_{X_{i}}(x)=f_{i}(x)={\frac {1}{\sqrt {2\pi }}}e^{-{\frac {x^{2}}{2}}},x\in \mathbb {R}$ so hat $(X_{1},...,X_{n})$ gemäß des Satzes die Dichte

f(x_{1},...,x_{n})=\Pi _{i=1}^{n}f_{i}(x_{i})={\frac {1}{{\sqrt {2\pi }}^{2}}}e^{-{\frac {1}{2}}(x_{1}^{2}+...+x_{n}^{2})}={\frac {1}{{\sqrt {2\pi }}^{n}}}e^{-{\frac {1}{2}}(x^{T}\cdot x)}

mit $x=(x_{1},...,x_{n})$ . Umgekehrt folgt: $X$ hat die Dichte

f(x_{1},...,x_{n})={\frac {1}{{\sqrt {2\pi }}n}}e^{-{\frac {1}{2}}(x^{T}\cdot x)}=\Pi _{i=1}^{n}{\frac {1}{{\sqrt {2\pi }}^{n}}}e^{-{\frac {1}{2}}(x_{i}^{2})}

Man stellt fest, durch Integration $\int _{-\infty }^{\infty }$ über die Komponenten $x_{1},...,x_{i-1},x_{i+1},...,x_{n}$ , dass $f_{i}(x_{i})$ die Dichte von $X_{i}$ sein muss, so dass die Unabhängigkeit und ${\mathcal {N}}(0,1)$ -Verteilung der $X_{i}$ folgt.

Faltungsformel

Für unabhängige $X_{1},X_{2}$ gilt:

P_{X_{1}+X_{2}}(\lbrace x_{1}\rbrace )=\sum _{k}P_{X_{1}}(\lbrace x_{1}\rbrace )\cdot P_{X_{2}}(\lbrace x-x_{1}\rbrace )

Satz

Sind $X_{1},X_{2}$ unabhängige Zufallsvariabeln mit Dichten $f_{1},f_{2}$ , dann besitzt die Zufallsvariable $X_{1}+X_{2}$ die Dichte

f(x)=\int _{-\infty }^{\infty }f_{1}(x_{1})f_{2}(x-x_{1})dx.

Beweis (1)

Für die Verteilungsfunktion $F(y):P(X_{1}+X_{2}\leq y)$ weisen wir $F(y)=\int _{-\infty }^{y}f(x)dx$ nach. Es ist

P(X_{1}+X_{2}\leq y)=P_{(X_{1},X_{2})}(\lbrace (x_{1},x_{2}):x_{1}+x_{2}\leq y\rbrace )

=\int _{\lbrace (x_{1},x_{2}):x_{1}+x_{2}\leq y\rbrace }f_{1}(x_{1})\cdot f_{2}(x_{2})dx_{2}dx_{1}

=\int _{-\infty }^{\infty }\int _{-\infty }^{y-x_{1}}f_{1}(x_{1})\cdot f_{2}(x_{2})dx_{2}dx_{1}

Beweis (2)

=\int _{-\infty }^{\infty }\int _{-\infty }^{y}f_{1}(x_{1})\cdot f_{2}(x_{2}-x_{1})dx_{2}dx_{1}

=\int _{-\infty }^{y}\int _{-\infty }^{\infty }f_{1}(x_{1})\cdot f_{2}(x_{2}-x)dx_{1}dx_{2}

=\int _{-\infty }^{y}\int _{-\infty }^{\infty }f_{1}(x_{1})\cdot f_{2}(x-x_{1})dx_{1}dx_{2}

mit der Dichte $p(x)=\int _{-\infty }^{\infty }f_{1}(x_{1})\cdot f_{2}(x-x_{1})dx_{1}.$

Definition

Sind $X_{1},...,X_{n}$ unabhängige Zufallsvariablen, so heißt die Wahrscheinlichkeitsverteilung

P_{X_{1}+...+X_{n}}\equiv P_{X_{1}}*...*P_{X_{n}}

Faltung von $P_{X_{1}+...+X_{n}}$ (mit " $*$ " ist Faltungssymbol).

Unabhängige Wartezeiten (Beispiel) (1)

Sei $S_{n}$ die Wartezeit zwischen dem $n-1$ -ten und $n$ -ten Ereignis. Die Zufallsvariable $T_{n}=S_{1}+...+S_{n}$ stellt die Wartezeit des $n$ -ten Ereignisses dar. Unter den Voraussetzungen

1. Die Zufallsvariablen $S_{1},S_{2},...$ sind unabhängig

2. Jedes $S_{i}$ ist exponentialverteilt mit dem Paramter $\lambda$ (" $\epsilon (\lambda )$ -verteilt")

wollen wir die Dichte der Zufallsvariable $T_{n}$ berechnen. Es gilt:

f_{n}(x)={\frac {\lambda ^{n}\cdot x^{n-1}}{(n-1)!}}\cdot e^{-\lambda x},x\geq 0

(

f_{n}(x)=0

falls

x<0

)

Unabhängige Wartezeiten (Beispiel) (2)

Die Wahrscheinlichkeitsverteilung mit der Dichte $f_{n}$ heißt Gammaverteilung mit Parametern $n$ und $\lambda$ , kurz $\Gamma (n,\lambda )$ ( $I_{n}$ heißt dann $\Gamma (n,\lambda )$ -verteilt).

\Gamma (n,\lambda )=\epsilon (\lambda )*...*\epsilon (\lambda )

(n-mal gefaltet)

Zerlegt man einen Satz von Zufallsvariablen in disjunkte Gruppen und setzt auf die Gruppen Funktionen an, so erhalten wir unabhängige Zufallsvariablen.

Satz

$X_{1},...,X_{n}$ seien unabhängige Zufallsvariablen, für $m\leq n$ sei $\lbrace 1,...,n\rbrace =I_{1}\cup ...\cup I_{m}$ eine Zerlegung der Indexmenge und $\phi _{j}$ Zufallsvariable auf $(\mathbb {R} ^{k_{j}},{\mathcal {b}}^{k_{j}})$ , $k_{j}=|I_{j}|$ , $j=1,...,m$ $(\sum _{j=1}^{m}k_{j}=n)$ . Bezeichnet $Y_{j}$ den $k_{j}$ -dimensionalen Zufallsvektor $(X_{i},i\in I)$ , dann sind

\phi _{1}\cdot Y_{1},...,\phi _{m}\cdot Y_{m}

unabhängige Zufallsvariablen.

Beweis

Ohne Einschränkung sei

I_{1}=\lbrace 1,...,k_{1}\rbrace ,I_{2}=\lbrace k_{1}+1,...,k_{1}+k_{2}\rbrace ,...

Teil 1

Zunächst zeigen wir, dass die $m$ Zufallsvektoren $Y_{1},...,Y_{m}$ unabhängig sind, im Sinne von

(*)

P_{(Y_{1},...,Y_{m})}(C_{1}\times ...\times C_{m})=P_{Y_{1}}(C_{1})\cdot ...\cdot P_{Y_{m}}(C_{m})

für alle $C_{j}\in {\mathcal {B}}^{k_{j}},j=1,...,m$ .

Für die speziellen $C_{j}$ der Form $C_{j}=B_{1}^{j}\times ...\times B_{k}^{j},B_{l}^{j}\in {\mathcal {B}}^{1}$ gilt wegen $(Y_{1},...,Y_{m})=(X_{1},...,X_{n}),(C_{1},...,C_{m})=(B_{1}^{j},...,B_{k_{m}}^{j})$ :

P_{(Y_{1},...,Y_{m})}(C_{1}\times ...\times C_{m})=P_{(X_{1},...,X_{n})}(B_{1}^{1}\times ...\times B_{k_{m}}^{m})

=P_{X_{1}}(B_{1}^{1})\cdot ...\cdot P_{X_{n}}(B_{k_{m}}^{m})

Teil 2

=\otimes _{i\in I_{1}}P_{X_{i}}(B_{1}^{1}\times ...\times B_{k_{1}}^{1})\cdot ...\cdot \otimes _{i\in I_{m}}P_{X_{i}}(B_{1}^{m}\times ...\times B_{k_{m}}^{m})

=P_{Y_{1}}(C_{1})\cdot ...\cdot P_{Y_{m}}(C_{m})

Nach dem Fortsetzungssatz gilt dann (*) auch für alle $C_{j}\in {\mathcal {B}}^{k_{j}}$ .

Nun wird die Unabhängigkeit der $\phi _{1}\circ Y_{1},...,\phi _{m}\circ Y_{m}$ gezeigt. Es gilt:

P_{\phi _{1}\circ Y_{1},...,\phi _{m}\circ Y_{m})}(B_{1}\times ...\times B_{m})=...=P_{\phi _{1}\circ Y_{1}}(B_{1})\cdot ...\cdot P_{\phi _{m}\circ Y_{m}}(B_{m})

Momente von Zufallsvariablen

Wir führen den Begriff des Erwartungswert $E(X)$ einer Zufallsvariable $X$ ein, indem wir uns a den entsprechenden Begriff für den diskreten Fall durch eine Approximation von $X$ (durch eine Folge diskreter Zufallsvariablen $X_{n}$ ) anhängen.

Definition (1)

Für eine beliebige Zufallsvariable $X$ auf $(\Omega ,{\mathcal {U}})$ definiert man jedes $n\in \mathbb {N}$ die Zufallsvariable ( $n$ -te Approximierte):

X_{n}(w)=\sum _{i=-\infty }^{\infty }{\frac {k}{n}}1_{A_{k,n}}(w)

A_{k,n}=\lbrace w:{\frac {k}{n}}\leq X(w)<{\frac {k+1}{n}}\rbrace

d.h.

\left\{{\begin{array}{ll}X_{n}(w){\frac {k}{n}},&w\in A_{k,n}\\0,&sonst\end{array}}\right.

Definition (2)

Es ist $A_{k,n}\in {\mathcal {U}}$ , so dass $X_{n}$ eine Zufallsvariable ist, und zwar mit höchstens abzählbar vielen Werten ( $\pm {\frac {k}{n}},k\in \mathbb {Z}$ ). Gemäß der Definition für den Erwartungswert diskreter Zufallsvariablen setzen wir für die diskrete Zufallsvariable $X_{n}$ :

E(X_{n})=\sum _{i=-\infty }^{\infty }P(A_{k,n})

(mit $P(A_{k,n})=P_{X_{n}}\lbrace {\frac {k}{n}}\rbrace$ ), sofern

\sum _{i=-\infty }^{\infty }{\frac {|k|}{n}}P(A_{k,n})\equiv E(|X_{n}|)<\infty .

Eigenschaften von X_n, E(X_n)

a) $X_{n}\leq X\leq X_{n}+{\frac {1}{n}}$ , insbesondere $|X-X_{n}|\leq {\frac {1}{n}}$

b) $|X_{n}-X_{m}|\leq {\frac {1}{n}}+{\frac {1}{m}}$ , denn $|X_{n}-X_{m}\leq |X_{n}-X|+|X-X_{m}|$ und a)

c) $E|X_{n}-X_{m}|\leq {\frac {1}{n}}+{\frac {1}{m}}$ , aus b) und Eigenschaften von $E$

d) Existiert $E(X_{n})$ für $n\in \mathbb {N}$ , so existiert auch $E(X_{m})$ für alle $m\geq n$ , denn

E(X_{m})\leq E|X_{m}-X_{n}|+E(X_{m})<\infty

e) Existiert $E(X_{n})$ für (mindestens) ein $n\in \mathbb {N}$ , so bildet $E(X_{n}),n\geq n_{0}$ eine Cauchyfolge, denn

|E(X_{n})-E(X_{m})|=|E(X_{n}-X_{m})|\leq E|X_{n}-X_{m}|={\frac {1}{n}}+{\frac {1}{m}}\to 0,n,m\to \infty

Definition

Falls für (mindestens) ein $n\in \mathbb {N}$ der Erwartungswert $E(X_{n})$ der $n$ -ten Approximation für $X$ existiert, so setzt man $E(X)=lim_{n\to \infty }E(X_{n})$ (Existenz nach e) gesichert) und sagt: $E(X)$ existiert oder $X$ besitzt einen Erwartungswert. Man schreibt auch: $E(X)=\int _{a}X(w)P(dw)$ .

Bemerkung

Dieses " $P$ -Integral von $X$ " ist von Typ "Lebesgue-Stieltjes" (Intervalleinteilung auf der $y$ -Achse), im Unterschied zum Riemann-Integral (Einteilung auf der $x$ -Achse).

Eigenschaften von E(X)

a) $E(X)$ existiert genau dann, wenn $E|X|$ existiert (d.h. $E|X|<\infty$ ).

b) Ist $X(\Omega )$ abzählbar, so ist $E(X)=\sum _{x\in X(\Omega )}x\cdot P_{X}\lbrace w\rbrace$ , falls die Reihe absolut kovergiert.

Beweis (1)

a) Mehrfache Anwendung der Eigenschaften von $E(X_{n})$ a) liefert $|X_{n}|\leq |X|+|X-X_{n}|\leq |X|+{\frac {1}{n}}\leq |X|_{n}+{\frac {2}{n}}$ und $|X|_{n}\leq ...\leq |X_{n}|+{\frac {1}{n}}$ , woraus a) folgt.

Beweis (2)

b) Setze $I_{k,n}=({\frac {k}{n}},{\frac {k+1}{n}}]$ . Wegen $P(X_{n}={\frac {k}{n}})=\sum _{x\in I_{k,n}}P(X=x)$ ist

(*)

\left\{{\begin{array}{ll}E(X_{n})=\sum _{k=-\infty }^{\infty }{\frac {k}{n}}\sum _{x\in I_{k,n}}P(X=x)\\\leq \sum _{k=-\infty }^{\infty }\sum _{x\in I_{k,n}}xP(X=x)\\=\sum _{x\in X(\Omega )}xP(X=x)\\\leq \sum _{k=-\infty }^{\infty }{\frac {k+1}{n}}\sum _{x\in T_{k,n}}P(X=x)=E(X_{n})+{\frac {1}{n}}\end{array}}\right.

Falls die Reihe $\sum xP(X=x)$ absolut konvergiert, so wegen $E(X_{n})\leq \sum |x|P(X=x)+{\frac {1}{n}}<\infty$ (ähnliche Abschätzung wie (*)) auch die Reihe $E(X_{n})$ , so dass $lim_{n\to \infty }$ in (*) die Behauptung liefert.

Im speziellen Fall, dass $X$ eine Dichte besitzt, berechnet sich $E(X)$ wie folgt.

Satz

Besitzt die Zufallsvariable $X$ eine Dichte $f(x),x\in \mathbb {R}$ , so ist

E(X)=\int _{-\infty }^{\infty }xf(x)dx,

sofern $\int _{-\infty }^{\infty }|x|f(x)dx<\infty .$

Beweis

Wegen $P(X_{n}={\frac {k}{n}})=P({\frac {k}{n}}\leq X\leq {\frac {k+1}{n}})=\int _{\frac {k}{n}}^{\frac {k+1}{n}}f(x)dx$ ist:

(*)

E(X_{n})=\sum _{k=-\infty }^{\infty }{\frac {k}{n}}\int _{\frac {k}{n}}^{\frac {k+1}{n}}f(x)dx\leq \sum _{k=-\infty }^{\infty }xf(x)dx

=\int _{-\infty }^{\infty }xf(x)dx\leq \sum _{k=-\infty }^{\infty }{\frac {k+1}{n}}\int _{\frac {k}{n}}^{\frac {k+1}{n}}xf(x)dx=E(X_{n})+{\frac {1}{n}}

(Ähnliche Überlegung zur absoluten Konvergenz $E(X_{n})lim_{n\to \infty }$ in (*) liefert die Behauptung.

Allgemeiner gilt der folgende Satz ( $k$ -dimensionaler Zufallsvektor $X$ , Komposition $\phi \circ X$ ).

Satz

Besitzt ein $k$ -dimensionaler Zufallsvektor $X$ die Dichte $f(x),x\in \mathbb {R}$ , und ist $\phi$ eine (messbare) Funktion von $\mathbb {R} ^{k}\to \mathbb {R}$ , gilt:

E(\phi \circ X)=\int _{\mathbb {R} ^{k}}\phi (x)f(x)d^{k}x,

sofern $\int _{\mathbb {R} ^{k}}|\phi |fd^{k}x<\infty .$

Beweis

Gemäß dem Satz über Verkettung von Zufallsvariablen ist $\phi \circ X$ eine Zufallsvariable. Ähnlich wie oben gilt:

E(\phi \circ X)_{n}=...\leq ...=\int _{\mathbb {R} ^{k}}\phi (x)f(x)d^{k}x\leq ...=E(\phi \circ X)_{n}+{\frac {1}{n}}

Wie bei diskreten Zufallsvariablen haben wir auch hier die Monotonie und die Linearität des Erwartungswertes.

Satz

Sind $X$ und $Y$ Zufallsvariablen mit Erwartungswerten $E(X)$ und $E(Y)$ , so gilt:

a) $E(aX+bY)$ existiert und $E(aX+bY)=aE(X)+bE(Y)$ für alle $a,b\in \mathbb {R}$

b) $E(X)\leq E(Y)$ , falls $X\leq Y$ .

c) $E(1)=1$

Beweis

Folgt aus den entsprechenden Eigenschaften für diskrete Zufallsvariablen. Für die Existenz des Erwartungswertes ist das sogenannte Majorantenkriterium nützlich.

Satz

Sind $X,Y$ Zufallsvariablen mit $|X|\leq Y$ und $E(Y)$ existiert (d.h. $E(Y)<\infty$ ), so existiert auch $E(X)$ (und es ist $E(X)\leq E(Y)$ nach b)).

Beweis

Für die approximierten Zufallsvariablen $|X|_{n}$ und $Y_{n}$ gilt $|X|_{n}\leq Y_{n}$ und deshalb:

E(|X|_{n})\leq E(Y_{n})<\infty

(Letzteres für $n\leq n_{0}$ nach Voraussetzung). Also existiert auch $E|X|$ und - nach den Eigenschaften von $E(X)$ , a) - auch $E(X)$ .

Satz

Existieren für unabhängige Zufallsvariablen $X$ und $Y$ die Erwartungswerte $E(X)$ und $E(Y)$ , so existiert auch der Erwartungswert für $X\cdot Y$ und es gilt

E(X\cdot Y)=E(X)\cdot E(Y).

Beweis

Man kann die Approximation $X_{n},Y_{n}$ in der Form $X_{n}=\phi (X),Y_{n}=\phi (Y)$ schreiben, mit einer geeigneten messbaren Funktion $\phi \equiv \phi _{n}$ . Somit sind dann auch $X_{n},Y_{n}$ unabhängige Zufallsvariablen und $X_{n}\cdot Y_{n}$ hat einen Erwartungswert und es gilt

E(X_{n}\cdot Y_{n})=E(X_{n})\cdot E(Y_{n}).

Wir haben die Ungleichung

|(X\cdot Y)_{n}-X_{n}\cdot Y_{n}|

\leq |(X\cdot Y)_{n}-|X\cdot Y|+|X\cdot Y|-|X_{n}\cdot Y|+|X_{n}\cdot Y|-X_{n}\cdot Y_{n}|

\leq {\frac {1}{n}}+{\frac {1}{n}}|Y|+{\frac {1}{n}}|X_{n}|\leq {\frac {1}{n}}(2+|X|+|Y|)\equiv {\frac {1}{n}}Z

Folgerung

$E(X\cdot Y)_{n}$ existiert, also auch $E(X\cdot Y)$
$E(X_{n}\cdot Y_{n})-E(X\cdot Y)_{n}\to ^{n\to \infty }0$ so dass (*) die Behauptung liefert.

Für das nun folgende ('höhere Momente') wird wiederholt folgende Ungleichung benutzt:

|a\pm b|^{m}\leq C_{m}(|a|^{m}+|b|^{m})

für alle $a,b\in \mathbb {R} ,m\in \mathbb {N}$ , mit $C_{m}=2^{m-1}$ .

Diese Ungleichung folgt aus der Jensenschen Ungleichung in der Form ( $r,m\in \mathbb {N} ,a_{i}>0$ ):

{\frac {1}{r^{m}}}(a_{1}+...+a_{r})^{m}\leq {\frac {1}{r}}(a_{1}^{m}+...+a_{r}^{m})

(im Beweis ist $r=2$ .)

Definition (1)

Sei $(\Omega ,{\mathcal {U}},P)$ ein Wahrscheinlichkeitsraum.

a) Für $m\in \mathbb {N}$ bezeichnet ${\mathcal {L}}_{m}\equiv {\mathcal {L}}_{m}(P)$ die Menge aller Zufallsvariablen auf $(\Omega ,{\mathcal {U}})$ mit $E|X|^{m}<\infty$ . Für $X\in {\mathcal {L}}_{m}$ heißt $E|X|^{m}$ das absolute $m$ -te Moment ( $E(X^{m})$ das $m$ -te).

b) Für $X\in {\mathcal {L}}_{m}$ führt man noch ein: das $m$ -te zentrierte Moment $E((X-EX)^{m})$ und das absolute $m$ -te zentrierte Moment $E(|X_{E}X|^{m})$ .

Definition (2)

c) Speziell für $X\in {\mathcal {L}}_{2}$ heißt $Var(X)=E(X_{E}X)^{2}$ Varianz von $X$ und $\sigma (X)={\sqrt {Var(X)}}$ Standardabweichung von $X$ . Wie bereits bei diskreten Zufallsvariablen gilt auch hier $Var(aX+b)=a^{2}Var(X)$ und $Var(X)=E(X^{2}-(EX)^{2})$ .

Ferner gilt:

$Var(X)=0$ genau dann, wenn $P(X=const)=1$ (' $X=const.$ , $P$ fast überall').
$EX^{2}=0$ genau dann, wenn $P(X=0)=1$ (' $X=0$ , $P$ fast überall')

Beispiel 1

$X$ gleichverteilt auf $[a,b]$ , $a<b$ . Dann ist $X^{*}={\frac {X-a}{b-a}}$ gleichverteilt auf $[0,1]$ und

EX^{*}=\int _{0}^{1}x\cdot 1\cdot dx={\frac {1}{2}}{\stackrel {X=a+(b-a)X^{*}}{\mapsto }}EX=a\cdot {\frac {1}{2}}(b-a)={\frac {1}{2}}(a+b)

E(X^{*})=\int _{0}^{1}x\cdot 1\cdot dx={\frac {1}{3}}

Var(X^{*})={\frac {1}{3}}+{\frac {1}{4}}={\frac {1}{12}},

also $Var(X)={\frac {1}{12}}(b-a)^{2}$ .

Beispiel 2

$X$ exponentialverteilt mit Parameter $\lambda >0$

EX=\int _{0}^{\infty }x\cdot \lambda \cdot e^{-\lambda x}\cdot dx{\stackrel {x=\lambda x}{=}}{\frac {1}{\lambda }}\int _{0}^{\infty }s\cdot e^{-x}\cdot ds={\frac {1}{\lambda }}

EX^{2}=\int _{0}^{\infty }x^{2}\cdot \lambda \cdot e^{-\lambda x}{\stackrel {s=\lambda x}{=}}{\frac {1}{\lambda ^{2}}}\int _{0}^{\infty }s^{2}\cdot e^{-s}\cdot ds={\frac {2}{\lambda ^{2}}}

Var(X)={\frac {2}{\lambda ^{2}}}-{\frac {1}{\lambda ^{2}}}={\frac {1}{\lambda ^{2}}}

Beispiel 3 (1)

Normalverteilung $N(\mu ,\sigma ^{2})$

Ist $X$ $N(\mu ,\sigma )$ -verteilt, dann ist $X^{*}={\frac {X-\mu }{\sigma }}$ $N(0,1)$ -verteilt. Es gilt:

EX^{*}=\int _{-\infty }^{\infty }|x>e^{-{\frac {1}{2}}x^{2}}dx=0

wegen $\phi (x)=\phi (-x)$ und wegen $\int _{\infty }^{\infty }|x>e^{\frac {1}{2x^{2}}}dx<\infty .$

Beispiel 3 (2)

Ferner:

Var(X^{*})=E(X^{*})^{2}=\int _{-\infty }^{\infty }x\cdot x\phi (x)dx=\int _{-\infty }^{\infty }\phi (x)dx=1

Es folgt für $X=\mu +\sigma X^{*}$ : $EX=\mu$ , $Var(X)=\sigma ^{2}.$

Die $N(\mu ,\sigma ^{2})$ -Verteilung kann also als Normalenverteilung mit Erwartungswert $\mu$ und Varianz $\sigma ^{2}$ charakterisiert werden.

Den Anschluss an die Lineare Algebra/Funktionalanalysis liefert der folgende Satz.

Satz

Seien $(\Omega ,{\mathcal {U}},P)$ und $m\in \mathbb {N}$ vorgegeben.

a) ${\mathcal {L}}_{m}$ ist ein linearer Raum.

b) ${\mathcal {L}}_{n}\subset {\mathcal {L}}_{m}$ für alle $n\geq m$ . D.h. aus $E|X|^{n}<\infty$ für ein $n\in \mathbb {N}$ folgt $E|X|^{m}<\infty$ für $m\leq n$ , insbesondere ist $E|X|<\infty$ .

Beweis

a) Majorantenkriterium und die Ungleichung des letzten Satzes liefern für $a,b\in \mathbb {R}$ :

|aX+bY|^{m}\leq C_{m}(|a|^{m}|X|^{m}+|b|^{m}|Y|^{m})

b) Sei $E|X|^{n}<\infty$ . Dann gilt für $m\leq n$ wegen $|X|^{m}\leq 1\cdot 1_{\lbrace |X|\leq 1\rbrace }+|X|1_{\lbrace |X|\geq 1\rbrace }\leq 1+|X|^{n}$ auch $E|X|^{m}<\infty$ .

Wichtig sind die folgenden stochastischen Ungleichungen.

Ungleichungen

Markov-Ungleichung:

Ist $X\in {\mathcal {L}}_{m}$ für ein $m\in \mathbb {N}$ , so gilt für jedes $\epsilon <0$ :

P(|X|\geq \epsilon )\leq {\frac {E|X|^{m}}{\epsilon ^{m}}}

Tschebyschoff-Ungleichung:

Insbesondere für $X\in {\mathcal {L}}_{2}$ :

P(|X-EX|\geq \epsilon )\leq {\frac {Var(X)}{\epsilon ^{2}}}

Beweis

Wiederholte Anwendung der Monotonieeigenschaften von $E$ :

E|X|^{m}\geq E(|X|^{m}1_{\lbrace |X|\geq 1\rbrace })\geq \epsilon ^{m}E(1_{\lbrace |X|\geq 1\rbrace })=\epsilon P(|X|\geq \epsilon )

setzt man in die Markov-Ungleichung speziell $X-EX$ statt $X$ ein, sowie $m=2$ , so erhält man die Tschebyschoff-Ungleichung.

Satz

Für Zufallsvariablen $X,Y\in {\mathcal {L}}_{2}$ gilt $X\cdot Y\in {\mathcal {L}}_{1}$ und $[E(X\cdot Y)]^{2}\leq E(X)^{2}\cdot E(Y)^{2}$ . Das '='-Zeichen gilt genau dann, wenn $aX+bY=0$ , $P$ fast überall für $a,b,a^{2}+b^{2}>0$ .

Bemerkungen

Im linearen Raum ${\mathcal {L}}_{2}$ können wir ein 'Fast-Skalarprodukt' einführen:

Für $X,Y\in {\mathcal {L}}_{1}$ setze $\langle X,Y\rangle =E(X,Y)$ . $\langle \cdot ,\cdot \rangle$ ist dann eine bilineare, symmetrische, positiv semidefinite ( $\langle X,X\rangle \geq 0$ ) Form. Aus $\langle X,X\rangle =0$ folgt aber nur $X=0$ fast überall (und nicht $X=0$ ) .

Definition

Sind $X,Y\in {\mathcal {L}}_{2}$ , dann heißen

a) $Cov(X,Y)=E((X-EX)\cdot (Y-EY))=E(X\cdot Y)-E(X)\cdot E(Y)$ die Kovarianz von $X$ und $Y$ .

b) $X,Y$ unkorreliert, falls $Cov(X,Y)=0$ .

c) $\rho (X,Y)={\frac {Cov(X,Y)}{\sigma (X)\sigma (Y)}}$ Korrelation (oder Korrelationskoeffizient) von $X$ und $Y$ , sofern $\sigma (X),\sigma (Y)>0$ .

Die Folgerungen für diskrete Zufallsvariablen bezüglich der Kovarianz gelten weiterhin sowie die Eigenschaften von der Varianz und der Kovarianz. Im Hinblick auf die obige Bemerkung gilt: $X,Y$ unkorreliert, falls $X-EX\perp Y-EY$ (bezüglich $\langle \cdot ,\cdot \rangle$ ).

Beispiel

Momente der $k$ -dimensionalen Normalverteilung.

Ist $X=(X_{1},...,X_{k})$ $N_{k}(\mu ,\Sigma )$ -verteilt, $\mu =(\mu _{1},...,\mu _{k})^{T}\in \mathbb {R} ^{k},\Sigma =(\sigma _{i,j})$ symmetrische, positiv definite $k\times k$ -Matrix.

Behauptung:

EX_{i}=\mu _{i},Cov(X_{i},X_{j})=\sigma _{i,j}

Bemerkung

Die Parameter $\mu ,\Sigma$ der $N_{k}(\mu ,\Sigma )$ -Verteilung bilden also den Erwartungswert-Vektor bzw. die Matrix der Kovarianz (Cov-Matrix) des $N_{k}(\mu ,\Sigma )$ -verteilten Zufallvektors $X$ .

Charakteristische Funktion

Für diskrete Zufallsvariablen $X$ mit Werten $\mathbb {Z} _{+}$ erwies sich die erzeugende Funktion

G(s)=Es^{X}=\sum _{k=0}^{\infty }s^{k}P_{X}\lbrace k\rbrace

als nützlich, und zwar bei der Berechnung von Momenten, Faltungen und Grenzverteilungen.

Eine vergleichbare Funktion hat die charakteristische Funktion in der allgemeinen Wahrscheinlichkeitstheorie, in der $X$ eine beliebige Zufallsvariable ist. Anstelle des Erwartungswertes $s^{X}$ (der nicht notwendigerweise existiert) bildet man den Erwartungswert der komplexwertigen Variablen " $e^{iX}$ ".

Erinnerung: Komplexe Zahlen

Für eine komplexe Zahl $z=a+bi,a=Re(z)\in \mathbb {R} ,b=Im(z)\in \mathbb {R}$ setze man $|z|={\sqrt {a^{2}+b^{2}}}={\sqrt {z\cdot {\bar {z}}}}$ . Es ist $z=r\cdot e^{i\phi }$ mit $r=|z|,e^{i\phi }=cos(\phi )+i\sin(\phi )$ . Es gilt $|z\cdot w|=|z|\cdot |w|$ .

Definition

Sei $(\Omega ,{\mathcal {U}},P)$ ein Wahrscheinlichkeitsraum.

a) Sind $z_{1},z_{2}$ Zufallsvariablen auf $(\Omega ,{\mathcal {U}})$ , ( $z_{i}:\Omega \to \mathbb {R}$ ) so bildet $z=z_{1}+iz_{2}$ eine komplexwertige Zufallsgröße auf $(\Omega ,{\mathcal {U}})$ , ( $z:\Omega \to \mathbb {C}$ ).

b) Existieren $E(z_{1}),E(z_{2})$ , so heißt die komplexe Zahl $E(z):=E(z_{1})+iE(z_{2})$ Erwartungswert von $z$ .

Hilfssatz

a) Sind $z,{\bar {z}}$ komplexe Zufallsgrößen und existieren $E(z),E({\bar {z}})$ , so gilt:

E(z+{\bar {z}})=E(z)+E({\bar {z}})

E(v\cdot z)=v\cdot E(z),v\in \mathbb {C}

b) $|E(z)|\leq E(|z|)<\infty$ .

Charakteristische Funktion (Definition)

Sei $X$ eine Zufallsvariable auf $(\Omega ,{\mathcal {U}})$ , so heißt die komplexwertige Funktion $\phi _{X}:\mathbb {R} \to \mathbb {C}$ :

\phi _{X}(t)\equiv \phi (t)=e^{itx}=E(cos(tx))+iE(sin(tx))

charakteristische Funktion von $X$ .

Bemerkungen (1)

Aus $e^{itx}=cos(tx)+isin(tx)$ folgt wegen $|cos(tx)|\leq 1$ , $|sin(tx)|\leq 1$ die Existenz von $E(cos(tx))$ und $E(sin(tx))$ , also von $(e^{ixt})$ .

Beispiele für charakteristische Funktionen:
- $\phi _{X}(t)=1$
- $\phi _{X}(t)=cos(t)$
- $\phi _{X}(t)=e^{-{\frac {t^{2}}{2}}}$
- $\phi _{X}(t)=e^{e^{it}-1}$
- $\phi _{X}(t)={\frac {1}{1+it}}$
- $\phi _{X}(t)={\frac {1}{it}}(e^{it}-1),(\phi _{X}(0)=1$
- $\phi _{X}(t)=e^{-|t|}$
- $\phi _{X}(t)=(1-|t|)1_{[-1,1]}(t)$

Bemerkungen (2)

Keine charakteristischen Funktionen sind:
- $\phi (t)=sin(t)$
- $\phi (t)=1-t^{2}$
- $\phi (t)=1_{[-1,1]}(t)$
- $\phi (t)=e^{-|t|^{2}}$

Wegen $|e^{itx}|=1$ gilt $|\phi (t)|=|E(e^{itx})|\leq E(|e^{ixt}|)=E(1)=1$ , $\phi (0)=E(1)=1$ .
$\phi _{X}$ ist gleichmäßig stetig. (ohne Beweis)
$\phi _{aX+b}(t)=E(e^{it(aX+b)})=e^{itb}\cdot E(e^{itaX})=itb\cdot \phi _{X}(ta),a,b\in \mathbb {R} .$

Bemerkungen (3)

Ist $X$ eine Zufallsvariable mit Werten in $\mathbb {Z} _{+}$ , so ist

\phi _{X}(t)=E(e^{itx})=E(cos(tx))+iE(sin(tx))

=\sum _{k=0}^{\infty }cos(tk)\cdot P(X=k)+i\sum _{k=0}^{\infty }sin(tk)\cdot P(X=k)

=\sum _{k=0}^{\infty }(e^{it})^{k}\cdot P(\lbrace k\rbrace )

(vgl. mit $g_{x}(s)=E(s^{x})=\sum _{k=k}^{\infty }sk\cdot P_{x}(\lbrace k\rbrace ),s\in [0,1]$ ) Also (!) lautet die charakteristische Gleichung von $X$ :

$X$ $B(n,p)$ -verteilt: $\phi _{X}(t)=(1-p+pe^{it})^{n},t\in \mathbb {R}$

$X$ $P(\lambda )$ -verteilt: $\phi _{X}(t)=e^{\lambda e^{it}-1},t\in \mathbb {R}$

Beispiel 1

$X$ exponentialverteilt mit Paramter $\lambda >0$ :

\phi _{X}(t)={\frac {\lambda }{\lambda -it}},t\in \mathbb {R}

Beispiel 2 (1)

$X$ sei $N(0,1)$ -verteilt:

\phi _{X}(t)=E(e^{itx})=E(cos(tx))+iE(sin(tx))

=\int _{-\infty }^{\infty }(cos(tx)){\frac {1}{\sqrt {2\pi }}}e^{-{\frac {x^{2}}{2}}}dx+i\int _{-\infty }^{\infty }(sin(tx)){\frac {1}{\sqrt {2\pi }}}e^{-{\frac {x^{2}}{2}}}dx

\Rightarrow \phi '_{X}(t)=\int _{-\infty }^{\infty }(sin(tx)){\frac {1}{\sqrt {2\pi }}}(-x)e^{-{\frac {x^{2}}{2}}}dx

=[(sin(tx)){\frac {1}{\sqrt {2\pi }}}(-x)e^{-{\frac {x^{2}}{2}}}]_{-\infty }^{\infty }

Beispiel 2 (2)

=\int _{-\infty }^{\infty }t\cdot cos(tx){\frac {1}{\sqrt {2\pi }}}e^{-{\frac {x^{2}}{2}}}dx

=-t\cdot \phi _{X}(t){\frac {d}{dt}}(\phi _{X}(t)\cdot e^{-{\frac {x^{2}}{2}}})

=\phi '_{X}(t)\cdot e^{-{\frac {x^{2}}{2}}}+\phi _{X}(t)\cdot t\cdot e^{-{\frac {x^{2}}{2}}}

=e^{-{\frac {x^{2}}{2}}}[\phi '_{X}(t)+t\phi _{X}(t)]=0

Beispiel 2 (3)

\Rightarrow \phi _{X}(t)\cdot e^{-{\frac {x^{2}}{2}}}=c=const.

\Rightarrow \left\{{\begin{array}{ll}\phi _{X}(t)=c\cdot e^{-{\frac {x^{2}}{2}}}\\\phi _{X}(0)=1\Rightarrow c=1\end{array}}\right\}

\Rightarrow \phi _{X}(t)=e^{-{\frac {x^{2}}{2}}}

Beispiel 3

$X$ sei $N(0,1)$ -verteilt $\Rightarrow \phi _{X}(t)=?$

$X=\sigma \Gamma +\mu ,\Gamma$ $N(0,1)$ -verteilt.

\Rightarrow \phi _{X}(t)\cdot e^{it\mu }\cdot \phi _{Y}(\sigma t)=e^{it\mu }\cdot e^{-{\frac {1}{2}}\sigma ^{2}t^{2}}.

Eindeutigkeitssatz

Seien $X,Y$ Zufallsvariablen. Dann gilt:

\phi _{X}=\phi _{Y}\Leftrightarrow P_{X}=P_{Y}

Faltungssatz

Sind $X,Y$ unabhängige Zufallsvariablen, so gilt $\phi _{X+Y}=\phi _{X}+\phi _{y}$ .

Beweis

$\phi _{X+Y}=E(e^{it(x+y)})=E(e^{itx}\cdot e^{ity})=E(e^{itx})\cdot E(e^{ity})=\phi _{X}+\phi _{Y}$

Hilfssatz

Für den obigen Beweis wurde der folgende Hilfssatz genutzt.

Seien $X,Y$ unabhängige Zufallsvariablen, $f=f_{1}+f_{2}$ , $g=g_{1}+g_{2}$ komplexwertige Funktionen, so gilt, falls $E(f(x)),E(g(x))$ existieren:

E(f(x)\cdot g(y))=E(f(x))\cdot E((y))

Beispiel

Es gilt $N(\mu _{1},\sigma _{1}^{2})\times N(\mu _{2},\sigma _{2}^{2})=N(\mu _{1}+\mu _{2},\sigma _{1}^{2}+\sigma _{2}^{2})$ .

Beweis

Sei $X_{1}$ $N(\mu _{1},\sigma _{1}^{2})$ -verteilt und $X_{2}$ $N(\mu _{2},\sigma ^{2})$ -verteilt, mit $X_{1},X_{2}$ unabhängig.

\phi _{X_{1}+X_{2}}(t)=\phi _{X_{1}}\cdot \phi _{X_{2}}(t)=e^{it\mu _{1}}\cdot e^{{\frac {1}{2}}\sigma _{1}^{2}t^{2}}\cdot e^{it\mu _{2}}\cdot e^{-{\frac {1}{2}}\sigma _{2}^{2}t^{2}}

=e^{it(\mu _{1}+\mu _{2})}\cdot e^{-{\frac {1}{2}}(\sigma _{1}^{2}+\sigma _{2}^{2})t^{2}}

\Rightarrow {\text{Behauptung}}.

Satz (Berechnung von Momenten)

Für die Zufallsvariable $X$ existieren $E(X^{m})$ für ein $\in \mathbb {N}$ . Dann ist die charakteristische Funktion $\phi _{X}$ $m$ -mal stetig differenzierbar mit

\phi _{X}^{(m)}(0)=i^{m}E(X^{m})

(für $m$ gerade gilt auch die Umkehrung).

This article is issued from Wikiversity. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.