概率论(二)——二维随机变量

一、二维随机变量
对于同一个样本空间,不同的随机变量可能衡量不同的方面。但因为这些随机变量都来自于同一个样本空间,它们之间极有可能存在某些联系。在最简单的情况下,取两个随机变量 ,它们构成一个随机变量 ,这个整体称为二维随机变量。
1.联合分布函数
类似于一维随机变量中的情况,无论离散抑或连续,都能用分布函数来描述概率。对于二维随机变量,其分布函数定义为:
称为随机变量 和 的联合分布函数。例如利用之计算如下概率:
与一维随机变量中一样,联合分布函数是关于 或 的非严格递增的非负函数。并且:
当然,在离散型二维随机变量的情况下,我们会更常以离散的形式 、或表格的形式来给出分布律,此时称为联合分布律。于是根据联合分布函数的定义,离散型二维随机变量的联合分布函数可以从联合分布律中求出:
2.联合概率密度
与一维随机变量类似,将离散化为连续,就能得到连续型的概率密度函数。将上式化为黎曼积分:
函数 就称为随机变量 和 的联合概率密度。在连续的情况下,上式连续分别对 和 做偏导即得:
而由概率的归一性,应有:
3.边缘分布函数
联合分布函数综合考量了两个变量间的联系,但有时我们希望只考察其中一个变量。从联合分布函数可以轻松地得到各变量自身的分布函数:
同理 ,即只需要在联合分布函数中令其余变量趋于正无穷即可。上述的符号 称为各自变量的边缘分布函数。
而对于离散型变量,在已知联合分布律的情况下,也有以下两式:
其中 称为各自变量的边缘分布律。
4.边缘概率密度
从边缘分布函数出发,我们可以得到边缘概率密度。由于:
因此中括号中的内容,也可以看成是一种概率密度!我们定义:
将 称为各自变量的边缘概率密度。
二、条件分布
1.离散型的条件分布
由条件概率的定义式,可以非常简单地得到离散型二维随机变量的条件分布。即:
同理 。这两条式子分别称为在 , 情况下各自变量的条件分布律。
2.连续型的条件概率密度
与离散型随机变量具有类比性,可以直接写出两条式子:
分别称为在 , 条件下各自变量的条件概率密度。
事实上,由于在连续型随机变量中, ,是无法直接从 的定义式中直接导出上式的。以 为条件为例,我们采取的方法是考虑 在 的极小区间内的概率、及 在 内的概率。即:
利用微分的近似式 ,上式可以化为:
上式的分子分母同时消去小量 之后,由于 与 无关,显然对于分子的积分来说它相当于“常数”,可以直接合并到积分号中:
从条件概率密度可以推出条件分布函数:
三、变量间的关系
1.变量间相互独立
假若二维随机变量 的联合分布函数恰好可以拆为各自变量的边缘分布函数的乘积,即:
那么称随机变量 和 是相互独立的。这对于离散型随机变量来说,即:
而对于连续型随机变量来说,即:
2.协方差与相关系数
在上篇文章一维随机变量的分布、期望与方差中,我们知道两个随机变量之和的方差需要如下计算:
其中 称为 的协方差,它本身如下计算:
由期望相关内容可知,当 相互独立的时候,因 ,因此此时协方差为 。这说明协方差可以刻画变量间的独立性。同时,再定义相关系数:
相关系数描述的是两个随机变量间的线性相关性(就是线性回归问题中的线性相关性!)。当相关系数为 时,称两个变量间不相关;当相关系数为 时,说明两个变量间一定存在线性关系。
观察发现相关系数的分子就是协方差,这意味着相关系数与协方差若有一者为 、则另一者也必为 (不考虑方差为 的情况)。但是,这不说明独立与不相关有必然联系! 11 这其中的关系是:如果两个变量间独立,那么协方差必为 ,相关系数也必为 ,因此两个变量间不相关; 但协方差为 不代表两个变量间独立!以离散型为例,根据独立性的定义, 必须要在每一对任意的取值 上都满足 才称为相互独立,这是比协方差为 要严格得多的条件! 也就是说,变量间相互独立可以推出变量间不相关,但变量间不相关不能推出变量间相互独立!
四、两个随机变量的函数的分布
这一部分亦是概率论中的一大难点。与一维随机变量的情况相似,只需记住“分布函数是概率与概率密度之间的桥梁”即可。
1.的分布
若 ,那么:
两端求导即得:
在二重积分展开为累次积分时交换积分次序,也可以得到:
当然,在变量相互独立的情况下,也能拆为:
2.的分布
接下来不再演示推导。当 :
在变量相互独立的情况下:
3.的分布
当 :
在变量相互独立的情况下:
4.的分布
在这里我们要求 相互独立。当 :
如果有 个相互独立的变量 ,若 :
如果这 个变量具有相同的分布函数,那么:
5.的分布
同样要求 相互独立。当 :
如果有 个相互独立的变量 ,若 :
如果这 个变量具有相同的分布函数,那么:
五、二维随机变量的期望
严格来说我们要求的并不是“二维随机变量”这个整体的期望,而是“两个随机变量的函数”的期望。假设两个随机变量 ,它们的联合概率密度是 ,那么由函数生成的一维(连续型)随机变量 的期望如下计算:
与之类似,在离散情况下:
变量相互独立情况下, 就是依据上述证明。
六、二维正态分布
到目前为止,以上的所有内容都可以推广到 维随机变量中。在这里顺便简单介绍多维正态分布中最简单的二维正态分布。二维正态分布的概率密度为:
在这里,显然 分别是 的期望与方差、 的期望与方差、 的相关系数。容易求得各变量的边缘分布函数为:
这显然是各自变量的一维正态分布。由于一维正态分布中不含相关系数 ,显然 ,只有在 即变量不相关的情况下才存在 ,这也说明变量相互独立。 22 这里似乎与之前所说“变量间不相关不能推出变量间相互独立”矛盾?实际上对于二维正态分布来说,变量间不相关与变量间相互独立确是等价的概念。
七、矩与协方差矩阵
这部分只是简单的扩展,之于本节而言并不重要。
1.矩
首先简单介绍矩的概念。在所求量存在的情况下:
(2) 称为 的 阶中心矩;
(3) 称为 和 的 阶混合矩;
(4) 称为 和 的 阶混合中心矩。
数学期望是一阶原点矩,方差是二阶中心矩,协方差是二阶混合中心矩。
2.协方差矩阵
接下来简单给出协方差矩阵的概念。假设有 维随机变量 ,那么任意两个变量间的二阶混合中心矩(协方差)记为:
显然这个 维随机变量有 个二阶混合中心矩,这可以构成一个 阶的方阵,称为协方差矩阵,即:
这显然是一个对称矩阵。这样,如果用列向量分别标记随机变量和对应的期望,即:
那么 维正态分布就能非常简单地记为: