概率论(二)——二维随机变量

一、二维随机变量

对于同一个样本空间,不同的随机变量可能衡量不同的方面。但因为这些随机变量都来自于同一个样本空间,它们之间极有可能存在某些联系。在最简单的情况下,取两个随机变量 𝑋,𝑌 ,它们构成一个随机变量 (𝑋,𝑌) ,这个整体称为二维随机变量。

1.联合分布函数

类似于一维随机变量中的情况,无论离散抑或连续,都能用分布函数来描述概率。对于二维随机变量,其分布函数定义为:

𝐹(𝑥,𝑦)=𝑃((𝑋≤𝑥)∩(𝑌≤𝑦))=𝑃(𝑋≤𝑥,𝑌≤𝑦)

称为随机变量 𝑋 和 𝑌 的联合分布函数。例如利用之计算如下概率:

𝑃(𝑥1<𝑋≤𝑥2,𝑦1<𝑌≤𝑦2)=𝐹(𝑥2,𝑦2)−𝐹(𝑥1,𝑦2)−𝐹(𝑥2,𝑦1)+𝐹(𝑥1,𝑦1)

与一维随机变量中一样,联合分布函数是关于 𝑥 或 𝑦 的非严格递增的非负函数。并且:

𝐹(𝑥,−∞)=𝐹(−∞,𝑦)=𝐹(−∞,−∞)=0𝐹(+∞,+∞)=1

当然,在离散型二维随机变量的情况下,我们会更常以离散的形式 𝑃(𝑋=𝑥𝑖,𝑌=𝑦𝑗)=𝑝𝑖𝑗 、或表格的形式来给出分布律,此时称为联合分布律。于是根据联合分布函数的定义,离散型二维随机变量的联合分布函数可以从联合分布律中求出:

𝐹(𝑥,𝑦)=∑𝑥𝑖≤𝑥∑𝑦𝑗≤𝑦𝑝𝑖𝑗

2.联合概率密度

与一维随机变量类似,将离散化为连续,就能得到连续型的概率密度函数。将上式化为黎曼积分:

𝐹(𝑥,𝑦)=∫−∞𝑦∫−∞𝑥𝑓(𝑢,𝑣)𝑑𝑢𝑑𝑣

函数 𝑓(𝑥,𝑦) 就称为随机变量 𝑋 和 𝑌 的联合概率密度。在连续的情况下,上式连续分别对 𝑋 和 𝑌 做偏导即得:

𝑓(𝑥,𝑦)=𝜕2𝐹(𝑥,𝑦)𝜕𝑥𝜕𝑦

而由概率的归一性,应有:

∫−∞+∞∫−∞+∞𝑓(𝑥,𝑦)𝑑𝑥𝑑𝑦=𝐹(+∞,+∞)=1

3.边缘分布函数

联合分布函数综合考量了两个变量间的联系,但有时我们希望只考察其中一个变量。从联合分布函数可以轻松地得到各变量自身的分布函数:

𝐹𝑋(𝑥)=𝑃(𝑋≤𝑥)=𝑃(𝑋≤𝑥,𝑌≤+∞)=𝐹(𝑥,+∞)

同理 𝐹𝑌(𝑦)=𝐹(+∞,𝑦) ,即只需要在联合分布函数中令其余变量趋于正无穷即可。上述的符号 𝐹𝑋(𝑥),𝐹𝑌(𝑦) 称为各自变量的边缘分布函数。

而对于离散型变量,在已知联合分布律的情况下,也有以下两式:

𝑃(𝑋=𝑥𝑖)=∑𝑗=1+∞𝑝𝑖𝑗=𝑝𝑖⋅\𝑃(𝑌=𝑦𝑗)=∑𝑖=1+∞𝑝𝑖𝑗=𝑝⋅𝑗

其中 𝑝𝑖⋅,𝑝⋅𝑗 称为各自变量的边缘分布律。

4.边缘概率密度

从边缘分布函数出发,我们可以得到边缘概率密度。由于:

𝐹𝑋(𝑥)=𝐹(𝑥,+∞)=∫−∞𝑥[∫−∞+∞𝑓(𝑥,𝑦)𝑑𝑦]𝑑𝑥

因此中括号中的内容,也可以看成是一种概率密度!我们定义:

𝑓𝑋(𝑥)=∫−∞+∞𝑓(𝑥,𝑦)𝑑𝑦\𝑓𝑌(𝑦)=∫−∞+∞𝑓(𝑥,𝑦)𝑑𝑥

将 𝑓𝑋(𝑥),𝑓𝑌(𝑦) 称为各自变量的边缘概率密度。


二、条件分布

1.离散型的条件分布

由条件概率的定义式,可以非常简单地得到离散型二维随机变量的条件分布。即:

𝑃(𝑋=𝑥𝑖|𝑌=𝑦𝑗)=𝑃(𝑋=𝑥𝑖,𝑌=𝑦𝑗)𝑃(𝑌=𝑦𝑗)=𝑝𝑖𝑗𝑝⋅𝑗

同理 𝑃(𝑌=𝑦𝑗|𝑋=𝑥𝑖)=𝑝𝑖𝑗𝑝𝑖⋅ 。这两条式子分别称为在 𝑌=𝑦𝑗 , 𝑋=𝑥𝑖 情况下各自变量的条件分布律。

2.连续型的条件概率密度

与离散型随机变量具有类比性,可以直接写出两条式子:

𝑓𝑋|𝑌(𝑥,𝑦)=𝑓(𝑥,𝑦)𝑓𝑌(𝑦)𝑓𝑌|𝑋(𝑦,𝑥)=𝑓(𝑥,𝑦)𝑓𝑋(𝑥)

𝑓𝑋|𝑌(𝑥,𝑦),𝑓𝑌|𝑋(𝑦,𝑥) 分别称为在 𝑌=𝑦 , 𝑋=𝑥 条件下各自变量的条件概率密度。

注 1.(连续型条件概率密度的导出)

事实上,由于在连续型随机变量中, 𝑃(𝑋=𝑥)=𝑃(𝑌=𝑦)=0 ,是无法直接从 𝑃(𝑋=𝑥|𝑌=𝑦) 的定义式中直接导出上式的。以 𝑌=𝑦 为条件为例,我们采取的方法是考虑 𝑌 在 [𝑦,𝑦+𝜖] 的极小区间内的概率、及 𝑋 在 (−∞,𝑥] 内的概率。即:

𝑃(𝑋≤𝑥|𝑦≤𝑌≤𝑦+𝜖)=∫−∞𝑥∫𝑦𝑦+𝜖𝑓(𝑥,𝑦)𝑑𝑦𝑑𝑥∫𝑦𝑦+𝜖𝑓𝑌(𝑦)𝑑𝑦

利用微分的近似式 𝑓′(𝑥)=𝑑𝑦𝑑𝑥⇒𝑑𝑦=𝑓′(𝑥)𝑑𝑥 ,上式可以化为:

𝑃(𝑋≤𝑥|𝑦≤𝑌≤𝑦+𝜖)=𝜖∫−∞𝑥𝑓(𝑥,𝑦)𝑑𝑥𝜖𝑓𝑌(𝑦)

上式的分子分母同时消去小量 𝜖 之后,由于 𝑓𝑌(𝑦) 与 𝑥 无关,显然对于分子的积分来说它相当于“常数”,可以直接合并到积分号中:

𝑃(𝑋≤𝑥|𝑦≤𝑌≤𝑦+𝜖)=∫−∞𝑥𝑓(𝑥,𝑦)𝑓𝑌(𝑦)𝑑𝑥
由形式推断, 𝑓(𝑥,𝑦)𝑓𝑌(𝑦) 显然是一种概率密度,称为条件概率密度。

从条件概率密度可以推出条件分布函数:

𝐹𝑋|𝑌(𝑥,𝑦)=𝑃(𝑋≤𝑥|𝑌=𝑦)=∫−∞𝑥𝑓𝑋|𝑌(𝑥|𝑦)𝑑𝑥\𝐹𝑌|𝑋(𝑦,𝑥)=∫−∞𝑦𝑓𝑌|𝑋(𝑦|𝑥)𝑑𝑦

三、变量间的关系

1.变量间相互独立

假若二维随机变量 (𝑋,𝑌) 的联合分布函数恰好可以拆为各自变量的边缘分布函数的乘积,即:

𝐹(𝑥,𝑦)=𝐹𝑋(𝑥)𝐹𝑌(𝑦)

那么称随机变量 𝑋 和 𝑌 是相互独立的。这对于离散型随机变量来说,即:

𝑃(𝑋=𝑥𝑖,𝑌=𝑦𝑖)=𝑃(𝑋=𝑥𝑖)⋅𝑃(𝑌=𝑦𝑖)

而对于连续型随机变量来说,即:

𝑓(𝑥,𝑦)=𝑓𝑋(𝑥)𝑓𝑌(𝑦)

2.协方差与相关系数

在上篇文章一维随机变量的分布、期望与方差中,我们知道两个随机变量之和的方差需要如下计算:

𝐷(𝑋+𝑌)=𝐷(𝑋)+𝐷(𝑌)+2Cov(𝑋,𝑌)

其中 Cov(𝑋,𝑌) 称为 𝑋,𝑌 的协方差,它本身如下计算:

定义 1.(协方差)
Cov(𝑋,𝑌)=𝐸[(𝑋−𝐸(𝑋))⋅(𝑌−𝐸(𝑌))]=𝐸(𝑋𝑌)−𝐸(𝑋)𝐸(𝑌)

由期望相关内容可知,当 𝑋,𝑌 相互独立的时候,因 𝐸(𝑋𝑌)=𝐸(𝑋)𝐸(𝑌) ,因此此时协方差为 0 。这说明协方差可以刻画变量间的独立性。同时,再定义相关系数:

定义 2.(相关系数)
𝜌=Cov(𝑋,𝑌)𝐷(𝑋)⋅𝐷(𝑌)

相关系数描述的是两个随机变量间的线性相关性(就是线性回归问题中的线性相关性!)。当相关系数为 0 时,称两个变量间不相关;当相关系数为 1 时,说明两个变量间一定存在线性关系。

观察发现相关系数的分子就是协方差,这意味着相关系数与协方差若有一者为 0 、则另一者也必为 0 (不考虑方差为 0 的情况)。但是,这不说明独立与不相关有必然联系! 11 这其中的关系是:如果两个变量间独立,那么协方差必为 0 ,相关系数也必为 0 ,因此两个变量间不相关; 但协方差为 0 不代表两个变量间独立!以离散型为例,根据独立性的定义, 𝑋,𝑌 必须要在每一对任意的取值 (𝑥𝑖,𝑦𝑗) 上都满足 𝑃(𝑋=𝑥𝑖,𝑌=𝑦𝑗)=𝑃(𝑋=𝑥𝑖)⋅𝑃(𝑌=𝑦𝑗) 才称为相互独立,这是比协方差为 0 要严格得多的条件! 也就是说,变量间相互独立可以推出变量间不相关,但变量间不相关不能推出变量间相互独立!


四、两个随机变量的函数的分布

这一部分亦是概率论中的一大难点。与一维随机变量的情况相似,只需记住“分布函数是概率与概率密度之间的桥梁”即可。

1.𝑍=𝑋+𝑌的分布

若 𝑍=𝑋+𝑌 ,那么:

𝐹𝑍(𝑧)=𝑃(𝑍≤𝑧)=∬𝑥+𝑦≤𝑧𝑓(𝑥,𝑦)𝑑𝑥𝑑𝑦=∫−∞+∞∫−∞𝑧−𝑦𝑓(𝑥,𝑦)𝑑𝑥𝑑𝑦=𝑥=𝑢−𝑦∫−∞+∞∫−∞𝑧𝑓(𝑢−𝑦,𝑦)𝑑𝑢𝑑𝑦=∫−∞𝑧∫−∞+∞𝑓(𝑢−𝑦,𝑦)𝑑𝑦𝑑𝑢

两端求导即得:

𝑓𝑍(𝑧)=∫−∞+∞𝑓(𝑧−𝑦,𝑦)𝑑𝑦

在二重积分展开为累次积分时交换积分次序,也可以得到:

𝑓𝑍(𝑧)=∫−∞+∞𝑓(𝑥,𝑧−𝑥)𝑑𝑥

当然,在变量相互独立的情况下,也能拆为:

𝑓𝑍(𝑧)=∫−∞+∞𝑓𝑋(𝑥)𝑓𝑌(𝑧−𝑥)𝑑𝑥=∫−∞+∞𝑓𝑋(𝑧−𝑦)𝑓𝑌(𝑦)𝑑𝑦

2.𝑍=𝑋𝑌的分布

接下来不再演示推导。当 𝑍=𝑋𝑌 :

𝑓𝑍(𝑧)=∫−∞+∞1|𝑥|𝑓(𝑥,𝑧𝑥)𝑑𝑥

在变量相互独立的情况下:

𝑓𝑍(𝑧)=∫−∞+∞1|𝑥|𝑓𝑋(𝑥)𝑓𝑌(𝑧𝑥)𝑑𝑥

3.𝑍=𝑋𝑌的分布

当 𝑍=𝑋𝑌 :

𝑓𝑍(𝑧)=∫−∞+∞|𝑥|𝑓(𝑥,𝑥𝑧)𝑑𝑥

在变量相互独立的情况下:

𝑓𝑍(𝑧)=∫−∞+∞|𝑥|𝑓𝑋(𝑥)𝑓𝑌(𝑥𝑧)𝑑𝑥

4.𝑍=max{𝑋,𝑌}的分布

在这里我们要求 𝑋,𝑌 相互独立。当 𝑍=max{𝑋,𝑌} :

𝐹𝑍(𝑧)=𝐹𝑋(𝑧)𝐹𝑌(𝑧)

如果有 𝑛 个相互独立的变量 𝑋1,𝑋2,…,𝑋𝑛 ,若 𝑍=max{𝑋1,𝑋2,…,𝑋𝑛} :

𝐹𝑍(𝑧)=𝐹𝑋1(𝑧)⋅𝐹𝑋2(𝑧)⋅…⋅𝐹𝑋𝑛(𝑧)

如果这 𝑛 个变量具有相同的分布函数,那么:

𝐹𝑍(𝑧)=𝐹𝑋𝑛(𝑧)

5.𝑍=min{𝑋,𝑌}的分布

同样要求 𝑋,𝑌 相互独立。当 𝑍=min{𝑋,𝑌} :

𝐹𝑍(𝑧)=1−[1−𝐹𝑋(𝑧)][1−𝐹𝑌(𝑧)]

如果有 𝑛 个相互独立的变量 𝑋1,𝑋2,…,𝑋𝑛 ,若 𝑍=min{𝑋1,𝑋2,…,𝑋𝑛} :

𝐹𝑍(𝑧)=1−(1−𝐹𝑋1(𝑧))(1−𝐹𝑋2(𝑧))…(1−𝐹𝑋𝑛(𝑧))

如果这 𝑛 个变量具有相同的分布函数,那么:

𝐹𝑍(𝑧)=1−[1−𝐹𝑋(𝑧)]𝑛

五、二维随机变量的期望

严格来说我们要求的并不是“二维随机变量”这个整体的期望,而是“两个随机变量的函数”的期望。假设两个随机变量 𝑋,𝑌 ,它们的联合概率密度是 𝑓(𝑥,𝑦) ,那么由函数生成的一维(连续型)随机变量 𝑍=𝑔(𝑋,𝑌) 的期望如下计算:

𝐸(𝑍)=𝐸(𝑔(𝑋,𝑌))=∫−∞+∞∫−∞+∞𝑔(𝑥,𝑦)𝑓(𝑥,𝑦)𝑑𝑥𝑑𝑦

与之类似,在离散情况下:

𝐸(𝑍)=𝐸(𝑔(𝑋,𝑌))=∑𝑖=1+∞∑𝑗=1+∞𝑔(𝑥𝑖,𝑦𝑗)𝑝𝑖𝑗

变量相互独立情况下, 𝐸(𝑋+𝑌)=𝐸(𝑋)+𝐸(𝑌),𝐸(𝑋𝑌)=𝐸(𝑋)𝐸(𝑌) 就是依据上述证明。


六、二维正态分布

到目前为止,以上的所有内容都可以推广到 𝑛 维随机变量中。在这里顺便简单介绍多维正态分布中最简单的二维正态分布。二维正态分布的概率密度为:

𝑓(𝑥,𝑦)=12𝜋𝜎1𝜎21−𝜌2⋅exp(−12(1−𝜌2)⋅((𝑥−𝜇1)2𝜎12+(𝑦−𝜇2)2𝜎22−2𝜌⋅(𝑥−𝜇1)(𝑦−𝜇2)𝜎1𝜎2))

在这里,显然 𝜇1,𝜎1,𝜇2,𝜎2,𝜌 分别是 𝑋 的期望与方差、 𝑌 的期望与方差、 𝑋,𝑌 的相关系数。容易求得各变量的边缘分布函数为:

𝑓𝑋(𝑥)=12𝜋𝜎1e−(𝑥−𝜇12)2𝜎12𝑓𝑌(𝑦)=12𝜋𝜎2e−(𝑦−𝜇22)2𝜎22

这显然是各自变量的一维正态分布。由于一维正态分布中不含相关系数 𝜌 ,显然 𝑓(𝑥,𝑦)≠𝑓𝑋(𝑥)𝑓𝑌(𝑦) ,只有在 𝜌=0 即变量不相关的情况下才存在 𝑓(𝑥,𝑦)=𝑓𝑋(𝑥)𝑓𝑌(𝑦) ,这也说明变量相互独立。 22 这里似乎与之前所说“变量间不相关不能推出变量间相互独立”矛盾?实际上对于二维正态分布来说,变量间不相关与变量间相互独立确是等价的概念。


七、矩与协方差矩阵

这部分只是简单的扩展,之于本节而言并不重要。

1.矩

首先简单介绍矩的概念。在所求量存在的情况下:

定义 3.(各阶矩)
(1) 𝐸(𝑋𝑘) 称为 𝑋 的 𝑘 阶原点矩,简称 𝑘 阶矩;
(2) 𝐸((𝑋−𝐸(𝑋))𝑘) 称为 𝑋 的 𝑘 阶中心矩;
(3) 𝐸(𝑋𝑘𝑌𝑙) 称为 𝑋 和 𝑌 的 𝑘+𝑙 阶混合矩;
(4) 𝐸((𝑋−𝐸(𝑋))𝑘(𝑌−𝐸(𝑌))𝑙) 称为 𝑋 和 𝑌 的 𝑘+𝑙 阶混合中心矩。

数学期望是一阶原点矩,方差是二阶中心矩,协方差是二阶混合中心矩。

2.协方差矩阵

接下来简单给出协方差矩阵的概念。假设有 𝑛 维随机变量 𝑋1,𝑋2,…,𝑋𝑛 ,那么任意两个变量间的二阶混合中心矩(协方差)记为:

𝑐𝑖𝑗=Cov(𝑋𝑖,𝑋𝑗)

显然这个 𝑛 维随机变量有 𝑛×𝑛=𝑛2 个二阶混合中心矩,这可以构成一个 𝑛 阶的方阵,称为协方差矩阵,即:

𝑪=[𝑐11𝑐12…𝑐1𝑛𝑐21𝑐22…𝑐2𝑛⋮⋮⋱⋮𝑐𝑛1𝑐𝑛2…𝑐𝑛𝑛]

这显然是一个对称矩阵。这样,如果用列向量分别标记随机变量和对应的期望,即:

𝑿=[𝑥1𝑥2⋮𝑥𝑛],𝝁=[𝜇1𝜇2⋮𝜇𝑛]

那么 𝑛 维正态分布就能非常简单地记为:

𝑓(𝑥1,𝑥2,…,𝑥𝑛)=1(2𝜋)𝑛2⋅|𝑪|⋅exp(−12(𝑿−𝝁)𝑇𝑪−1(𝑿−𝝁))