Ross随机过程笔记（二）: 随机变量

type

status

date

slug

summary

🔏快速回顾

1 随机变量定义，连续型随机变量、离散型随机变量 2 随机变量的概率分布（概率质量（密度）函数）、累积分布函数。如何验证概率密度函数 3 常见的离散随机变量及其概率质量函数（伯努利随机变量、二项随机变量、几何随机变量、泊松随机变量） 4 常见连续型随机变量及其概率密度函数（均匀随机变量、指数随机变量、伽马随机变量、正态随机变量） 5 随机变量的数字特征定义：期望、方差、矩，期望的线性性质，方差的性质，Cauchy-Swartz不等式 6 联合分布随机变量的分布函数、概率质量（密度）函数、均值、协方差 7 协方差的定义、性质、意义 8 矩母函数定义，常见随机变量的矩母函数 9 矩母函数的两个重要性质

1 随机变量

随机变量：记样本空间为我们将定义在样本空间上的实值函数称为随机变量。简单来说，随机变量是实数集合，这个实数集合是由某一个映射将样本空间变换获得。

例1: 如果试验由投掷两个骰子构成，那么样本空间由以下36个点组成。

我们记随机变量定义为两颗骰子点数的和。那么随机变量的取值范围是2到12的任意实数

注意到：

例2: 假定我们抛掷一枚出现正面的概率为p 的硬币直至正面首次出现。以 N 记需要抛掷的次数，假定相继抛掷的结果是独立的，那么是取值于，中的某个值的随机变量，分别具有概率

记为正面，为反面。

ㅤ	样本空间	随机变量的概率
抛1枚硬币
抛2枚硬币
抛3枚硬币
抛n枚硬币

注意到：

离散型随机变量（discrete）：取有限个或可数个可能的值的随机变量。

连续型随机变量（continuous）：可以取连续多个可能的值的随机变量。

随机变量的累积分布函数（cumulative distribution function），简称分布函数定义为，对于任意实数，

表示随机变量取一个小于或等于的值的概率。具有以下性质：

（1）是的非减函数

（2）

（3）

对于随机变量的所有概率问题都可以用分布函数回答。如对于所有的，我们有

随机变量的概率分布。离散随机变量：概率质量函数；连续随机变量：概率密度函数。

ㅤ	离散随机变量	连续随机变量
概率质量（密度）函数	概率质量函数定义：	概率密度函数定义：若定义在所有实数上的非负函数,使得对于任意实数集合B满足：
性质	若则
分布函数		两边求导数：概率密度函数是分布函数的导数。当很小时，，包含在点附近长度为:的区间内的概率近似地为. 由此，我们明白是随机变量在附近可能性大小的量度 .

2 常见的随机变量

2.1 常见的离散随机变量

ㅤ	定义	概率质量函数p(x)	均值	方差	矩母函数
伯努利随机变量	假定一个试验只有成功和失败。则样本空间由组成。令表示成功，表示失败，则随机变量称为伯努利随机变量。				ㅤ
二项随机变量	假定次独立重复试验，其中结果为成功的概率为，失败的概率为。如果以代表出现在次试验中的成功次数。那么称为具有参数的二项（binomial）随机变量	其中：表示成功的次数。
几何随机变量	假定进行独立试验直到出现一个结果为成功，其中每一个试验成功的概率都是 . 如果我们以记直到出现首次成功所需要做的试验次数，那么称为具有参数的几何随机变量.
泊松随机变量	对于取值于的随机变量，如果对于某个 ,有则称为具有参数的泊松随机变量	泊松随机变量的一个重要性质是它可以用来近似二项随机变量

泊松分布如何近似二项随机变量

如果二项参数大，而小，假定是具有参数的二项随机变量，并取 ,那么

对于大的和小的有

2.2 常见的连续随机变量

ㅤ	定义	概率密度函数	均值	方差	矩母函数\phi(t)
均匀随机变量	随机变量若是区间上的均匀随机变量，那么它的概率密度函数定为右式。
指数随机变量	若一个随机变量的概率密度定义为，对于某个有右式，则称其为具有参数的指数随机变量。
伽马随机变量	对于 , ，若概率密度函数定义为右式的随机变量，称为具有参数和的伽马随机变量	称为伽马函数，定义为对于正整数 ,用归纳法容易证明
正态随机变量	若的概率密度函数如右式，则称是具有参数和的正态随机变量（或称是正态分布）。	（钟形曲线，关于对称）

3 随机变量的数字特征

3.1 数字特征定义（期望、方差、矩）

ㅤ	离散随机变量	连续随机变量
随机变量期望定义	的期望值是可能取的值的加权平均; 是概率质量函数
随机变量函数期望的定义
随机变量的矩	注意到，随机变量的期望也称为的一阶矩
随机变量的方差，的方差度量了与其期望值之间的偏差平方的期望.

3.2 期望、方差的性质

推论：若a，b是常数，那么（期望的线性性质）

Proof:

离散情形：

连续情形：

由上式，容易证明

3.3 Cauchy-Swartz不等式

设X,Y是两个任意随机变量，则有

Proof：

任意取一个常数，容易得到是一个非负的随机变量，则

展开上式：

将上式中的 \lambda看作是变量，那么上式就是个一元二次方程，并且该一元二次方程至多一个根（因 ,故判别式应当满足: ,因此

因此：

4 联合分布随机变量

4.1 联合分布函数

前面的内容都是关注单个随机变量的概率分布（概率密度or质量函数）。然而我们常常对多个随机变量的概率陈述感兴趣。为了处理这样的概率，对任意两个随机变量，，我们定义和的联合累积分布函数(joint cumulative probability distribution function)。

或的分布（边缘分布）都可以通过联合分布得到

ㅤ	离散随机变量	连续随机变量
联合概率质量（密度）函数		若联合连续，且存在一个对于所有实数定义的函数，对于所有的实数集合和满足则称函数是和的联合概率密度函数。两个条件 1）, 2)
的概率质量（密度）函数		其中称为的概率密度函数。同理由于对微分得到故和单随机变量一致，微分累积分布函数可以得到概率密度函数。

联合分布随机变量的期望

例：投掷3颗均匀的骰子，计算其期望和

记为得到的点数和，为第i颗骰子的点数

例子：二项随机变量的期望。当以参数二项地分布时（代表出现在次试验中的成功次数），计算

除了用二项随机变量的概率质量函数结合期望定义求解，我们还可以将每一次试验视作伯努利分布，记是伯努利随机变量

由，且，从而

例子：在一次聚会上，个人将帽子扔到房间的中央. 帽子混杂了以后，每个人随机地取一个. 求取到自己的帽子的人的期望数

以记取到自己的帽子的人数.我们最好通过计算，其中

因此，无论聚会上有多少人，平均总有一人取到自己的帽子

4.2 独立随机变量

如果随机变量，满足

则称独立

ㅤ	离散随机变量	连续随机变量
概率质量（密度）函数
随机变量函数的期望

4.3 协方差与随机变量和的方差

两个随机变量的协方差记为，定义为

若独立，

协方差的意义

可以证明，若说明正相关，表明在增加时，倾向增加。

协方差的性质

对于任意随机变量，，和常数

证明性质4

性质4的推广

性质4第二个推广

样本均值定义：若是独立同分布的，则随机变量称为样本均值（sample mean）.

若是独立同分布的，具有期望值与方差那么

5 矩母函数（Moment Generating Functions）

5.1 矩母函数的定义

随机变量的矩母函数对所有值t定义为

当时

因此：

当时

因此：

一般地，的阶导数在时等于，就是说

5.2 矩母函数两个重要性质

性质1: 独立随机变量和的矩母函数正是单个矩母函数的乘积。假设和是独立的，它分別有矩母函数和。那么的矩母函数是

性质2: 矩母函数唯一地确定了分布，这就是说，在随机变量的矩母函数和分布函数之间存在一一对应.