Ross随机过程笔记（二）: 随机变量

type

status

date

slug

summary

🔏快速回顾

1 随机变量定义，连续型随机变量、离散型随机变量 2 随机变量的概率分布（概率质量（密度）函数）、累积分布函数。如何验证概率密度函数 3 常见的离散随机变量及其概率质量函数（伯努利随机变量、二项随机变量、几何随机变量、泊松随机变量） 4 常见连续型随机变量及其概率密度函数（均匀随机变量、指数随机变量、伽马随机变量、正态随机变量） 5 随机变量的数字特征定义：期望、方差、矩，期望的线性性质，方差的性质，Cauchy-Swartz不等式 6 联合分布随机变量的分布函数、概率质量（密度）函数、均值、协方差 7 协方差的定义、性质、意义 8 矩母函数定义，常见随机变量的矩母函数 9 矩母函数的两个重要性质

1 随机变量

随机变量：记样本空间为

\Omega, \omega \in \Omega，

我们将定义在样本空间

\Omega

上的实值函数 $X(\omega)$ 称为随机变量。简单来说，随机变量是实数集合，这个实数集合是由某一个映射将样本空间变换获得。

X(\omega): \omega \rightarrow R

例1: 如果试验由投掷两个骰子构成，那么样本空间

\Omega

由以下36个点组成。

\Omega= \begin{Bmatrix} (1,1), (1,2), (1,3), (1,4), (1,5), (1,6)\\ (2,1), (2,2), (2,3), (2,4), (2,5), (2,6)\\ (3,1), (3,2), (3,3), (3,4), (3,5), (3,6)\\ (4,1), (4,2), (4,3), (4,4), (4,5), (4,6)\\ (5,1), (5,2), (5,3), (5,4), (5,5), (5,6)\\ (6,1), (6,2), (6,3), (6,4), (6,5), (6,6)\\ \end{Bmatrix}

我们记随机变量

X

定义为两颗骰子点数的和。那么随机变量的取值范围是2到12的任意实数

\begin{array} { l } { \mathrm { P } \{ X = 2 \} = \mathrm { P } \{ ( 1 , 1 ) \} = \frac { 1 } { 3 6 } } \\ { \mathrm { P } \{ X = 3 \} = \mathrm { P } \{ ( 1 , 2 ) , ( 2 , 1 ) \} = \frac { 2 } { 3 6 } } \\ { \mathrm { P } \{ X = 4 \} = \mathrm { P } \{ ( 1 , 3 ) , ( 2 , 2 ) , ( 3 , 1 ) \} = \frac { 3 } { 3 6 } } \\ { \mathrm { P } } \{ X = 5 \} = \mathrm { P } \{ ( 1 , 4 ) , ( 2 , 3 ) , ( 3 , 2 ) , ( 4 , 1 ) \} = \frac { 4 } { 3 6 } \\ \mathrm { P } \{ X = 6 \} = \mathrm { P } \{ ( 1 , 5 ) , ( 2 , 4 ) , ( 3 , 3 ) , ( 4 , 2 ) , ( 5 , 1 ) \} = \frac { 5 } { 3 6 } \\ \mathrm { P } \{ X = 7 \} = \mathrm { P } \{ ( 1 , 6 ) , ( 2 , 5 ) , ( 3 , 4 ) , ( 4 , 3 ) , ( 5 , 2 ) , ( 6 , 1 ) \} = \frac { 6 } { 3 6 } \\ \mathrm { P } \{ X = 8 \} = \mathrm { P } \{ ( 2 , 6 ) , ( 3 , 5 ) , ( 4 , 4 ) , ( 5 , 3 ) , ( 6 , 2 ) \} = \frac { 5 } { 3 6 } \\ { \mathrm { P \{ X = 9 \} = \mathrm { P \{ ( 3 , 6 ) , ( 4 , 5 ) , ( 5 , 4 ) , ( 6 , 3 ) \} = { \frac { 4 } { 3 6 } } } } } \\ { \mathrm { P \{ X = 1 0 \} = \mathrm { P } \{ ( 4 , 6 ) , ( 5 , 5 ) , ( 6 , 4 ) \} = { \frac { 3 } { 3 6 } } } } \\ { \mathrm { P \{ X = 1 1 \} = \mathrm { P } \{ ( 5 , 6 ) , ( 6 , 5 ) \} = { \frac { 2 } { 3 6 } } } } \\ { \mathrm { P \{ X = 1 2 \} = \mathrm { P } \{ ( 6 , 6 ) \} = { \frac { 1 } { 3 6 } } } } \end{array}

注意到：

1 = \mathrm { P } ( \bigcup _ { i = 2 } ^ { 1 2 } \{ X = n \} ) = \sum _ { n = 2 } ^ { 1 2 } \mathrm { P } \{ X = n \}

例2: 假定我们抛掷一枚出现正面的概率为p 的硬币直至正面首次出现。以 N 记需要抛掷的次数，假定相继抛掷的结果是独立的，那么

N

是取值于

1,2,3,\cdots

，中的某个值的随机变量，分别具有概率

记

H

为正面，

T

为反面。

ㅤ	样本空间 $\Omega$	随机变量的概率
抛1枚硬币	$\{T, H\}$	$P(N=1) = P(H) = p = \frac{1}{2}$
抛2枚硬币	$\{(T, T), (T, H), (H, T), (H, H)\}$	$P(N=2) = P(\{(T, H)\})=(1-p)p = \frac{1}{4}$
抛3枚硬币	$\{(T, T, T), (T, T, H), (T, H, T), (H, T, T),\\ (H, T, H),(H, H, T),(T, H, H) ,(H, H, H)\}$	$P(N=3) = P(\{(T, T, H)\}) = (1-p)^{2}p =\frac{1}{8}$
抛n枚硬币	$\{(T, T, \cdots, T), (T, T, \cdots, H), \cdots,(H, H, \cdots, H)\}$	$P(N=n) = P(\{(\underbrace{T, T, \cdots, T}_{n-1 }, H)\}) = (1-p)^{n-1}p$

注意到：

\mathrm { P } ( \bigcup _ { n = 1 } ^ { \infty } \{ N = n \} ) = \sum _ { n = 1 } ^ { \infty } \mathrm { P } \{ N = n \} = p \sum _ { n = 1 } ^ { \infty } ( 1 - p ) ^ { n - 1 } = \frac { p } { 1 - ( 1 - p ) } = 1

离散型随机变量（discrete）：取有限个或可数个可能的值的随机变量。

连续型随机变量（continuous）：可以取连续多个可能的值的随机变量。

随机变量的累积分布函数（cumulative distribution function），简称分布函数

F(\cdot)

定义为，对于任意实数

b, -\infin < b < + \infin

，

F(b) = P\{X \le b\}

表示随机变量

X

取一个小于或等于

b

的值的概率。

F

具有以下性质：

（1）

F(b)

是

b

的非减函数

（2）

\lim _ { b \rightarrow \infty } F ( b ) = F ( \infty ) = 1

（3）

\lim _ { b \rightarrow - \infty } F ( b ) = F ( - \infty ) = 0 .

对于随机变量

X

的所有概率问题都可以用分布函数回答。如对于所有的

a \lt b

，我们有

\mathrm { P } \{ a \lt X \leqslant b \} = F ( b ) - F ( a )

随机变量的概率分布。离散随机变量：概率质量函数；连续随机变量：概率密度函数。

ㅤ	离散随机变量	连续随机变量
概率质量（密度）函数	概率质量函数 $p(a)$ 定义： $p(a) = P\{X=a\}$	概率密度函数 $f(x)$ 定义：若定义在所有实数 $x \in (-\infin, \infin)$ 上的非负函数 $f(x)$ ,使得对于任意实数集合B满足： $P\{X \in B\} = \int _ {B} f(x)dx$
性质	若 $X = \{x_i \| i=1, 2, \cdots ,N\},$ 则 $p(x_i) \geq 0 \sum _{i=1}^{N} p(x_i) = 1$	$f(x) \ge 0 \\ P\{X \in (-\infin, \infin)\} = \int _{-\infin} ^ {+\infin}f(x) dx = 1 \\ P\{a \leq X \leq b \} = \int _{a} ^ {b}f(x) dx \\ P\{X=a \} = \int _{a} ^ {a}f(x) dx = 0$
分布函数	$F ( a ) = \; \sum_{\forall x_i \leq a} \; p ( x _ { i } )$	$F(a) = P\{X \in (-\infin, a] \} = \int _{-\infin} ^ {a}f(x) dx$ 两边求导数： $\frac { \mathrm { d } } { \mathrm { d } a } F ( a ) = f ( a )$ 概率密度函数是分布函数的导数。当 $\varepsilon$ 很小时， $\mathrm { P } \{ a - \frac { \varepsilon } { 2 } \lt X \leqslant a + \frac { \varepsilon } { 2 } \} = \int _ { a - \varepsilon / 2 } ^ { a + \varepsilon / 2 } f ( x ) \mathrm { d } x \approx \varepsilon f ( a )$ ， $X$ 包含在点 $a$ 附近长度为:的区间内的概率近似地为 $\varepsilon f(a)$ . 由此，我们明白 $f (a )$ 是随机变量在 $a$ 附近可能性大小的量度 .

2 常见的随机变量

2.1 常见的离散随机变量

ㅤ	定义	概率质量函数p(x)	均值	方差	矩母函数 $\phi(t)$
伯努利随机变量	假定一个试验只有成功和失败。则样本空间 $\Omega$ 由 $\{0, 1\}$ 组成。令 $X=1$ 表示成功， $X=0$ 表示失败，则随机变量 $X$ 称为伯努利随机变量。	$p ( 0 ) = \mathrm { P } \{ X = 0 \} = 1 - p , \\ p ( 1 ) = \mathrm { P } \{ X = 1 \} = p 0 < p < 1$	$p$	$p(1-p)$	ㅤ
二项随机变量	假定 $n$ 次独立重复试验，其中结果为成功的概率为 $p$ ，失败的概率为 $1-p$ 。如果以 $X$ 代表出现在 $n$ 次试验中的成功次数。那么 $X$ 称为具有参数 $(n,p)$ 的二项（binomial）随机变量	$p ( x ) = \left( \begin{array} { c } { n } \\ { x } \\ \end{array} \right) p ^ { x } ( 1 - p ) ^ { n - x } , \quad x = 0 , 1 , \cdots , n,$ 其中： $\left ( \begin{array} { c } { n } \\ { x } \\ \end{array} \right ) = \frac { n ! } { ( n - x ) ! x ! }, x$ 表示成功的次数。	$n p$	$n p(1-p)$	$( p \mathrm { e } ^ { t } + ( 1 - p ) ) ^ { n }$
几何随机变量	假定进行独立试验直到出现一个结果为成功，其中每一个试验成功的概率都是 $p$ . 如果我们以 $X$ 记直到出现首次成功所需要做的试验次数，那么称 $X$ 为具有参数 $p$ 的几何随机变量.	$p ( x ) = \mathrm { P } \{ X = x \} = ( 1 - p ) ^ { x - 1 } p , \quad x = 1 , 2 , \cdots \\ \sum _ { x = 1 } ^ { \infty } p ( x ) = p \sum _ { x = 1 } ^ { \infty } ( 1 - p ) ^ { x - 1 } = 1$	$\frac{1}{p}$	$\frac{1-p}{p^2}$	$\frac { p \mathrm { e } ^ { t } } { 1 - ( 1 - p ) \mathrm { e } ^ { t } }$
泊松随机变量	对于取值于 $0 , 1 , 2 , \cdots$ 的随机变量 $X$ ，如果对于某个 $\lambda \gt 0$ ,有 $p ( i ) = \mathrm { P } \{ X = i \} = \mathrm { e } ^ { - \lambda } \frac { \lambda ^ { i } } { i ! } , \quad i = 0 , 1 , \cdots$ 则称 $X$ 为具有参数 $\lambda$ 的泊松随机变量	$p ( x ) = \mathrm { P } \{ X = x \} = \mathrm { e } ^ { - \lambda } \frac { \lambda ^ { x } } { x ! } , \quad x = 0 , 1 , \cdots \\ \sum _ { x = 0 } ^ { \infty } p ( x ) = e ^ { - \lambda } \sum _ { x = 0 } ^ { \infty } \frac { \lambda ^ { x } } { x ! } = e ^ { - \lambda } e ^ { \lambda } = 1$ 泊松随机变量的一个重要性质是它可以用来近似二项随机变量	$\lambda$	$\lambda$	$\exp \{ \lambda ( \mathrm { e } ^ { t } - 1 ) \}$

泊松分布如何近似二项随机变量

如果二项参数

n

大，而

p

小，假定

X

是具有参数

(n,p)

的二项随机变量，并取

\lambda = n p

,那么

\begin{aligned}\mathrm { P } \{ X = i \} & = \frac { n ! } { ( n - i ) ! i ! } p ^ { i } ( 1 - p ) ^ { n - i } = \frac { n ! } { ( n - i ) ! i ! } ( \frac { \lambda } { n } ) ^ { i } ( 1 - \frac { \lambda } { n } ) ^ { n - i } \\ &= \frac { n ( n - 1 ) \cdots ( n - i + 1 ) } { n ^ { i } } \frac { \lambda ^ { i } } { i ! } \frac { ( 1 - \lambda / n ) ^ { n } } { ( 1 - \lambda / n ) ^ { i } } \end{aligned}

对于大的

n

和小的

p

有

( 1 - \frac { \lambda } { n } ) ^ { n } \approx \mathrm { e } ^ { - \lambda } , \quad \frac { n ( n - 1 ) \cdots ( n - i + 1 ) } { n ^ { ! } } \approx 1 , \quad ( 1 - \frac { \lambda } { n } ) ^ { i } \approx 1

2.2 常见的连续随机变量

ㅤ	定义	概率密度函数	均值	方差	矩母函数\phi(t)
均匀随机变量	随机变量 $X$ 若是区间 $[a, b]$ 上的均匀随机变量，那么它的概率密度函数定为右式。	$f ( x ) = \left \{ \begin{array} { l l } { \frac { 1 } { b - a } , } & \mathrm{if} \, a < x < b \\ { 0 , } & \mathrm{else} \\ \end{array} \right .$	$\frac { a + b } { 2 }$	$\frac { ( b - a ) ^2 } { 1 2 }$	$\frac { e ^ { bt } - e ^ { a t } } { ( b - a ) t }$
指数随机变量	若一个随机变量的概率密度定义为，对于某个 $\lambda$ 有右式，则称其为具有参数 $\lambda$ 的指数随机变量。	$f ( x ) = \left \{ \begin{array} { l } { \lambda e ^ { - \lambda x } , } & \mathrm{if} \, x \ge 0\\ { 0 , } & \, \mathrm{if} x < 0 \\ \end{array} \right .$	$\frac { 1 } { \lambda }$	$\frac { 1 } { \lambda ^ { 2 } }$	$\frac { \lambda } { \lambda - t }$
伽马随机变量	对于 $\lambda \gt 0$ , $\alpha \gt 0$ ，若概率密度函数定义为右式的随机变量，称为具有参数 $\lambda$ 和 $\alpha$ 的伽马随机变量	$f ( x ) = \left\{ \begin{array} { c } { \frac { \lambda e ^ { - \lambda x } ( \lambda x ) ^ { \alpha - 1 } } { \Gamma ( \alpha ) } , } & \mathrm{if} x \ge 0 \\ { 0 , } & \mathrm{if} x < 0 \\ \end{array} \right .$ $\Gamma ( \alpha )$ 称为伽马函数，定义为 $\Gamma ( \alpha ) = \int _ { 0 } ^ { \infty } \mathrm { e } ^ { - x } x ^ { \alpha - 1 } \mathrm { d } x$ 对于正整数 $\alpha$ ,用归纳法容易证明 $\Gamma ( n ) = ( n - 1 ) !$	$\frac { n } { \lambda }$	$\frac { n } { \lambda ^ { 2 } }$	$( \frac { \lambda } { \lambda - t } ) ^ { n }$
正态随机变量	若 $X$ 的概率密度函数如右式，则称 $X$ 是具有参数 $\mu$ 和 $\sigma^2$ 的正态随机变量（或称 $X$ 是正态分布）。	$f ( x ) = \frac { 1 } { \sqrt { 2 \pi \alpha } } e ^ { \frac{- ( x - \mu ) ^ { 2 }} {2 \sigma ^ { 2 }} } , \quad - \infty \lt x \lt \infty$ （钟形曲线，关于 $\mu$ 对称）	$\mu$	$\sigma ^ { 2 }$	$\mathrm { e x p } \{ \mu t + \frac { \sigma ^ { 2 } t ^ { 2 } } { 2 } \}$

3 随机变量的数字特征

3.1 数字特征定义（期望、方差、矩）

ㅤ	离散随机变量	连续随机变量
随机变量期望定义	$\mathrm { E } [ X ] = \sum _ { x : p ( x ) \gt 0 } x p ( x )$ $X$ 的期望值是 $X$ 可能取的值的加权平均; $p(x)$ 是概率质量函数	$\mathrm { E } [ X ] = \int _ { - \infty } ^ { \infty } x f ( x ) \mathrm { d } x$
随机变量函数期望的定义	$\mathrm { E } [ X ] = \sum _ { x : p ( x ) \gt 0 } g(x) p ( x )$	$\mathrm { E } [ g(X) ] = \int _ { - \infty } ^ { \infty } g(x) f ( x ) \mathrm { d } x$
随机变量的矩	$\mathrm { E } [ X^n ]=\sum _ { x : p ( x ) \gt 0 } x ^ { n } p ( x )$ 注意到，随机变量 $X$ 的期望 $E(X)$ 也称为 $X$ 的一阶矩	$\mathrm { E } [ X^n ]= \int _ { - \infty } ^ { \infty } x ^ { n } f ( x ) \mathrm { d } x$
随机变量的方差， $X$ 的方差度量了 $X$ 与其期望值之间的偏差平方的期望.	$\mathrm { V a r } ( X ) = \mathrm { E } [ ( X - E [ X ] ) ^ { 2 } ] \\ = \mathrm {E}[X^2] - (\mathrm {E}[X])^2$	$\mathrm { V a r } ( X ) = \mathrm { E } [ ( X - E [ X ] ) ^ { 2 } ] \\ = \mathrm {E}[X^2] - (\mathrm {E}[X])^2$

3.2 期望、方差的性质

推论：若a，b是常数，那么（期望的线性性质）

\mathrm { E } [ a X + b ] = a \mathrm { E } [ X ] + b \\

Proof:

离散情形：

\begin{aligned} \mathrm { E } [ a X + b ] &= \sum _ { x : p ( x ) \gt 0 } ( a x + b ) p ( x ) \\ &= a \sum _ { x : p ( x ) \gt 0 } x p ( x ) + b \sum _ { x : p ( x ) \gt 0 } p ( x ) \\ & = a \mathrm { E } [ X ] + b \end{aligned} \notag

连续情形：

\begin{aligned} { \mathrm { E } } [ a X + b ] & { { } = \int _ { - \infty } ^ { \infty } ( a x + b ) f ( x ) \mathrm { d } x } \\ { } & { { } = a \int _ { - \infty } ^ { \infty } x f ( x ) \mathrm { d } x + b \int _ { - \infty } ^ { \infty } f ( x ) \mathrm { d } x } \\ { } & { { } = a \mathrm { E } [ X ] + b } \\ \end{aligned} \notag

由上式，容易证明

\mathrm { Var } [ a X + b ] = a^2 \mathrm { Var } [ X ]

3.3 Cauchy-Swartz不等式

设X,Y是两个任意随机变量，则有

E[|XY|] \leq \sqrt{E[X^2]E[Y^2]}

Proof：

任意取一个常数

\lambda

，容易得到

(|X| + \lambda|Y|)^2

是一个非负的随机变量，则

E[(|X| + \lambda|Y|)^2)] \geq 0

展开上式：

\begin{aligned} E[(|X| + \lambda|Y|)^2)] &= E[X^2 + \lambda^2Y^2 + 2\lambda |XY|] \\ &= E[X^2] + 2\lambda E[|XY|] + \lambda ^2E[Y^2] \end{aligned}

将上式中的 \lambda看作是变量，那么上式就是个一元二次方程，并且该一元二次方程至多一个根（因

E[(|X| + \lambda|Y|)^2)] \geq 0）

,故判别式应当满足:

\Delta = b^2 - 4ac \leq 0

,因此

(2 E[|XY|])^2 - 4 (E[Y^2]E[X^2]) \leq 0

因此：

E[|XY|] \leq \sqrt{E[X^2]E[Y^2]}

4 联合分布随机变量

4.1 联合分布函数

前面的内容都是关注单个随机变量的概率分布（概率密度or质量函数）。然而我们常常对多个随机变量的概率陈述感兴趣。为了处理这样的概率，对任意两个随机变量

X

，

Y

，我们定义

X

和

Y

的联合累积分布函数(joint cumulative probability distribution function)。

F ( a , b ) = P \{ X \leqslant a , Y \leqslant b \} , \quad - \infty \lt a , b \lt \infty

X

或

Y

的分布（边缘分布）都可以通过联合分布得到

F _ { X } ( a ) = \mathrm { P } \{ X \leqslant a \} = \mathrm { P } \{ X \leqslant a , Y \lt \infty \} = F ( a , \infty ) \\ F _ { Y } ( b ) = \mathrm { P } \{ Y \leqslant b \} = \mathrm { P } \{ X \lt \infty , Y \leqslant b \} = F ( \infty , b)

ㅤ	离散随机变量	连续随机变量
联合概率质量（密度）函数	$p ( x , y ) = \mathrm { P } \{ X = x , Y = y \}$	若 $X,Y$ 联合连续，且存在一个对于所有实数 $x，y$ 定义的函数 $f(x,y)$ ，对于所有的实数集合 $A$ 和 $B$ 满足 $\mathrm { P } \{ X \in A , Y \in B \} = \int _ { B } \int _ { A } f ( x , y ) \mathrm { d } x \mathrm { d } y$ 则称函数 $f(x,y)$ 是 $X$ 和 $Y$ 的联合概率密度函数。两个条件 1） $f(x,y)>=0$ , 2) $\int_{-\infin }^ {\infin}\int_{-\infin }^ {\infin}f(x,y)dxdy = 1$
$X(Y)$ 的概率质量（密度）函数	$p _ { X } ( x ) = \sum _ { y : p ( x , y ) \gt 0 } p ( x , y ) \\ p _ { Y } ( y ) = \sum _ { x , y ( x , y ) \gt 0 } p ( x , y )$	$\mathrm { P } \{ X \in A \} = \mathrm { P } \{ X \in A , Y \in ( - \infty , \infty ) \} = \int _ { - \infty } ^ { \infty } \int _ { A } f ( x , y ) \mathrm { d } x \mathrm { d } y = \int _ { A } f _ { X } ( x ) \mathrm { d } x$ 其中 $f _ { X } ( x ) = \int _ { - \infty } ^ { \infty } f ( x , y ) \mathrm { d } y$ 称为 $X$ 的概率密度函数。同理 $f _ { Y } ( y ) = \int _ { - \infty } ^ { \infty } f ( x , y ) \mathrm { d } x$ 由于对 $F ( a , b ) = \mathrm { P } ( X \, \leqslant a , Y \, \lt b ) = \\ \int _ { - \infty } ^ { a } \int _ { - \infty } ^ { b } f ( x , y ) \mathrm { d } y \mathrm { d } x$ 微分得到 $\frac { \mathrm { d } ^ { 2 } } { \mathrm { d } a \mathrm { d } b } F ( a , b ) = f ( a , b )$ 故和单随机变量一致，微分累积分布函数可以得到概率密度函数。

联合分布随机变量的期望

\mathrm { E } [ a _ { 1 } X _ { 1 } + a _ { 2 } X _ { 2 } + \cdots + a _ { n } X _ { n } ] = a _ { 1 } \mathrm { E } [ X _ { 1 } ] + a _ { 2 } \mathrm { E } [ X _ { 2 } ] + \cdots + a _ { n } \mathrm { E } [ X _ { n } ]

例：投掷3颗均匀的骰子，计算其期望和

记

X

为得到的点数和，

X_i

为第i颗骰子的点数

\mathrm { E } [ X ] = \mathrm { E } [ X _ { 1 } ] + \mathrm { E } [ X _ { 2 } ] + \mathrm { E } [ X _ { 3 } ] = 3 ( \frac { 7 } { 2 } ) = 2 \frac { 2 1 } { 2 } \notag

例子：二项随机变量的期望。当

X

以参数

n,p

二项地分布时（ $X$ 代表出现在 $n$ 次试验中的成功次数），计算

E[X]

除了用二项随机变量的概率质量函数结合期望定义求解，我们还可以将每一次试验视作伯努利分布，记

X_i

是伯努利随机变量

X _ { i } = \left \{ \begin{array} { c } { 1 , } & 第i次试验成功\\ { 0 , } & 第i次试验失败\\ \end{array} \right . \notag

由

X = X _ { 1 } + X _ { 2 } + \dots + X _ { n }

，且

\mathrm { E } [ X _ { i } ] = 1 ( p ) + 0 ( 1 - p ) = p

，从而

\mathrm { E } [ X ] = \mathrm { E } [ X _ { 1 } ] + \mathrm { E } [ X _ { 2 } ] + \cdots + \mathrm { E } [ X _ { n } ] = n p \notag

例子：在一次聚会上，

N

个人将帽子扔到房间的中央. 帽子混杂了以后，每个人随机地取一个. 求取到自己的帽子的人的期望数

以

X

记取到自己的帽子的人数.我们最好通过

X=X_1+ \cdots +X_N

计算

E[X]

，其中

X _ { i } = \left \{ \begin{array} { c } { 1 , } & 第i个人取到自己的帽子\\ { 0 , } & else\\ \end{array} \right . \notag

\mathrm { P } \{ X _ { i } = 1 \} =\frac{1}{N} \notag

\mathrm { E } [ X ] = \mathrm { E } [ X _ { 1 } ] + \cdots + \mathrm { E } [ X _ { N } ] = ( \frac { 1 } { N } ) N = 1 \notag

因此，无论聚会上有多少人，平均总有一人取到自己的帽子

4.2 独立随机变量

如果随机变量

X

，

Y

满足

F(a,b) = \mathrm { P } \{ X \leqslant a , Y \leqslant b \} = \mathrm { P } \{ X \leqslant a \} \mathrm { P } \{ Y \leqslant b \} = F _ { X } ( a ) F _ { Y } ( b )

则称

X,Y

独立

ㅤ	离散随机变量	连续随机变量
概率质量（密度）函数	$p ( x , y ) = p _ { X } ( x ) p _ { Y } ( y )$	$f ( x , y ) = f _ { X } ( x ) f _ { Y } ( y )$
随机变量函数的期望	$\mathrm { E } [ g ( X ) h ( Y ) ] = \mathrm { E } [ g ( X ) ] \mathrm { E } [ h ( Y ) ]$	$\mathrm { E } [ g ( X ) h ( Y ) ] = \mathrm { E } [ g ( X ) ] \mathrm { E } [ h ( Y ) ]$