概率论（一）——一维随机变量的分布、期望与方差

这篇文章中只局限在单一随机变量的情况下。首先介绍基本知识。

一、基本知识

1.事件间的关系与运算

假设有两个事件分别记为 $𝐴, 𝐵$ ：

(1)和事件：事件 $𝐴, 𝐵$ 的和事件，记为 $𝐴 \cup 𝐵$ 。当两个事件中至少有一个发生时，和事件发生；

注 1.

多个事件的和事件，我们可以使用集合的广义并来表示，记为：

𝐴_{1} \cup 𝐴_{2} \cup \dots \cup 𝐴_{𝑛} = ⋃_{𝑖 = 1}^{𝑛} 𝐴_{𝑖}

(2)积事件：事件 $𝐴, 𝐵$ 的积事件，记为 $𝐴 \cap 𝐵$ ，又简记为 AB 。当两个事件同时发生时，积事件发生；

注 2.

多个事件的积事件，我们可以使用集合的广义交来表示，记为：

𝐴_{1} \cap 𝐴_{2} \cap \dots \cap 𝐴_{𝑛} = ⋂_{𝑖 = 1}^{𝑛} 𝐴_{𝑖}

(3)差事件：事件 $𝐴, 𝐵$ 的差事件，记为 $𝐴 - 𝐵$ 。当 $𝐴$ 事件发生且 $𝐵$ 事件不发生时，差事件发生；

(4)互斥：若 $𝐴 \cap 𝐵 = ⌀$ ，即两者的积事件不发生，即两者不能同时发生，称两事件是互斥的，或者称为互不相容的；

(5)对立：若 $𝐴 \cap 𝐵 = ⌀$ 且 $𝐴 \cup 𝐵 = 𝑆$ ——这里 $𝑆$ 的意思是样本空间——即两事件互斥、并且构成样本空间全体，即要么发生 $𝐴$ 事件、要么发生 $𝐵$ 事件、二者必居其一，那么称两者互为对立事件，或者称互为逆事件。可以记为。

由集合的运算，可以推知下列概率基本公式：

(1)若有两个任意事件 $𝐴, 𝐵$ ，那么他们的和事件如下计算，称为加法公式：

𝑃 (𝐴 \cup 𝐵) = 𝑃 (𝐴) + 𝑃 (𝐵) - 𝑃 (𝐴 \cap 𝐵)

注 3.

有些时候我们不止处理两个事件，因此给出多个事件情境下的加法公式：

\begin{aligned} 𝑃 (⋃_{𝑖 = 1}^{𝑛} 𝐴_{𝑖}) & = 𝑃 (𝐴_{1} \cup 𝐴_{2} \cup \dots \cup 𝐴_{𝑛}) \\ = \sum_{𝑖 = 1}^{𝑛} 𝑃 (𝐴_{𝑖}) - \sum_{1 \leq 𝑖 < 𝑗 \leq 𝑛} 𝑃 (𝐴_{𝑖} \cap 𝐴_{𝑗}) + \\ \sum_{1 \leq 𝑖 < 𝑗 < 𝑘 \leq 𝑛} 𝑃 (𝐴_{𝑖} \cap 𝐴_{𝑗} \cap 𝐴_{𝑘}) - \dots + {(- 1)}^{𝑛 - 1} 𝑃 (𝐴_{1} \cap 𝐴_{2} \cap \dots \cap 𝐴_{𝑛}) \end{aligned}

(2)若两事件 $𝐴, 𝐵$ 为互斥事件，那么 $𝑃 (𝐴 \cap 𝐵) = 𝑃 (⌀) = 0$ ；

(3)由(1)，(2)，若多个事件 $𝐴_{1}, 𝐴_{2}, \dots, 𝐴_{𝑛}$ 均互斥，那么这些事件的和事件概率可以简单计算，称为有限可加性：

𝑃 (⋃_{𝑖 = 1}^{𝑛} 𝐴_{𝑖}) = 𝑃 (𝐴_{1} \cup 𝐴_{2} \cup \dots \cup 𝐴_{𝑛}) = 𝑃 (𝐴_{1}) + 𝑃 (𝐴_{2}) + \dots + 𝑃 (𝐴_{𝑛})

(4)若两事件 $𝐴, 𝐵$ 互相对立，那么由(3)， $𝑃 (𝐴 \cup 𝐵) = 𝑃 (𝑆) = 𝑃 (𝐴) + 𝑃 (𝐵) = 1$ 。也就是， $𝑃 (𝐵) = 1 - 𝑃 (𝐴)$ ，或写为；

(5)若两事件 $𝐴, 𝐵$ 间有关系 $𝐴 \subseteq 𝐵$ ，那么两者的差事件可简单计算：

𝑃 (𝐵 - 𝐴) = 𝑃 (𝐵) - 𝑃 (𝐴)

2.条件概率与乘法原理

上述的概率基本公式大部分都是在对和事件进行讨论，为了讨论积事件，引入条件概率。

若有两事件 $𝐴, 𝐵$ ，那么在 $𝐴$ 发生的条件下发生 $𝐵$ 的概率，称为条件概率，记为 $𝑃 (𝐵 | 𝐴)$ ，并如下计算：

𝑃 (𝐵 | 𝐴) = \frac{𝑃 (𝐴 \cap 𝐵)}{𝑃 (𝐴)}

显然这要求 $𝐴$ 是可发生事件。简单对上式做移项，就可以写为 $𝑃 (𝐴 \cap 𝐵) = 𝑃 (𝐴) 𝑃 (𝐵 | 𝐴)$ ，此式称为乘法公式。乘法公式易于推广到多事件，并且推广之后形式很好记：

𝑃 (𝐴_{1} \cap 𝐴_{2} \cap \dots \cap 𝐴_{𝑛}) = 𝑃 (𝐴_{𝑛} | 𝐴_{1} \cap 𝐴_{2} \cap \dots \cap 𝐴_{𝑛 - 1}) \cdot 𝑃 (𝐴_{𝑛 - 1} | 𝐴_{1} \cap 𝐴_{2} \cap \dots \cap 𝐴_{𝑛 - 2}) \cdot \dots \cdot 𝑃 (𝐴_{2} | 𝐴_{1}) \cdot 𝑃 (𝐴_{1})

3.全概率公式与贝叶斯公式

有时候实验中要发生的事件概率不好直接计算，但是在给定的条件下却能容易求出，这就要求通过条件概率来计算事件概率。这就是全概率公式运用的地方。

但是，我们显然需要让条件概率中的条件事件覆盖整个样本空间。一般而言为了简便起见，我们要求对于覆盖样本空间的这一组事件，是样本空间的划分。通俗地说，即要求这些事件间互斥、但这一组事件的和事件恰好是样本空间。

定义 1.（划分）

以数学的语言来说，即一组事件

𝐴_{1}, 𝐴_{2}, \dots, 𝐴_{𝑛}

，若(1)

𝐴_{𝑖} \cap 𝐴_{𝑗} = ⌀, 𝑖 \neq 𝑗

；(2)

⋃_{𝑖 = 1}^{𝑛} 𝐴_{𝑖} = 𝐴_{1} \cup 𝐴_{2} \cup \dots \cup 𝐴_{𝑛} = 𝑆

，那么这组事件称为样本空间的一个划分。

那么若事件 $𝐴 \subseteq 𝑆$ ，并且样本空间 $𝑆$ 有一个划分 $𝐵_{1}, 𝐵_{2}, \dots, 𝐵_{𝑛}$ ，则事件 $𝐴$ 的概率就能由全概率公式计算：

\begin{aligned} 𝑃 (𝐴) & = 𝑃 (𝐴 \cap 𝐵_{1}) + 𝑃 (𝐴 \cap 𝐵_{2}) + \dots + 𝑃 (𝐴 \cap 𝐵_{𝑛}) \\ = 𝑃 (𝐴 | 𝐵_{1}) 𝑃 (𝐵_{1}) + 𝑃 (𝐴 | 𝐵_{2}) 𝑃 (𝐵_{2}) + \dots + 𝑃 (𝐴 | 𝐵_{𝑛}) 𝑃 (𝐵_{𝑛}) \end{aligned}

由此，当 $𝐴$ 作为条件事件来求划分中某一事件的发生概率时，就能这样计算：

\begin{aligned} 𝑃 (𝐵_{𝑗} | 𝐴) & = \frac{𝑃 (𝐴 \cap 𝐵_{𝑗})}{𝑃 (𝐴)} = \frac{𝑃 (𝐴 \cap 𝐵_{𝑗})}{\sum_{𝑖 = 1}^{𝑛} 𝑃 (𝐴 \cap 𝐵_{𝑖})} \\ = \frac{𝑃 (𝐴 | 𝐵_{𝑗}) 𝑃 (𝐵_{𝑗})}{\sum_{𝑖 = 1}^{𝑛} 𝑃 (𝐴 | 𝐵_{𝑖}) 𝑃 (𝐵_{𝑖})} \end{aligned}

上式称为贝叶斯公式。

4.独立性

有时事件 $𝐴, 𝐵$ 的积事件会出现 $𝑃 (𝐴 \cap 𝐵) = 𝑃 (𝐴) 𝑃 (𝐵)$ 的情况，即 $𝑃 (𝐴 | 𝐵) = 𝑃 (𝐴)$ 或 $𝑃 (𝐵 | 𝐴) = 𝑃 (𝐵)$ ，即某一事件的发生并不影响另一事件的发生，这时我们称两事件是相互独立的。

二、离散型随机变量与分布

开玩笑地说，“随机变量”这个东西有一点量子力学的意味，即“在被观测之后会落入确定的状态”，使得它虽有“变量”之名却有“常量”的表现，使我们常常用大写字母 $𝑋, 𝑌, 𝑍 \dots$ 来表示随机变量。但是随机变量的取值又是一个未知的变量，这个变量用小写字母表示。因此，表示一个随机变量取值为某值的概率，记为 $𝑃 (𝑋 = 𝑥)$ 。

所谓离散型随机变量，是指可能取值只有有限个、或是可列无限个的随机变量。以下总结一些常用的离散型随机变量及其分布律。

1.伯努利分布

伯努利分布这个名字来源于伯努利试验，这种试验指的是结果只有两种的试验；伯努利分布又称为 $0 - 1$ 分布，这个别名来源于此处的随机变量取值只能为 $0$ 或 $1$ 。显然，这可以写为两个式子：

{\begin{cases} 𝑃 (𝑋 = 0) = 1 - 𝑝 \\ 𝑃 (𝑋 = 1) = 𝑝 \end{cases}

由于幂的性质，上两式可以巧妙地合并为同一个公式 $𝑃 (𝑋 = 𝑘) = 𝑝^{𝑘} {(1 - 𝑝)}^{1 - 𝑘}$ 。

2.二项分布

假设伯努利试验的结果为，发生的概率分别为 $𝑝, 1 - 𝑝$ 。如果将试验独立重复地进行 $𝑛$ 次，那么其中一部分结果为 $𝐴$ ，另一部分为。假设随机变量 $𝑋$ 描述的是结果为 $𝐴$ 的次数，那么显然：

𝑃 (𝑋 = 𝑘) = 𝐶_{𝑛}^{𝑘} 𝑝^{𝑘} {(1 - 𝑝)}^{𝑛 - 𝑘}

可以看出，这种分布可以由参数 $𝑛, 𝑝$ 唯一地确定，称之为二项分布，简记为 $𝑋 \sim 𝑏 (𝑛, 𝑝)$ 。如果取 $𝑛 = 1$ ，二项分布就退化为伯努利分布，也就是说只做一次试验时二项分布就是伯努利分布。

3.泊松分布

在二项分布中，当试验次数极多、即 $𝑛$ 非常大的时候，使用二项分布的分布律来计算概率已经非常困难。为了简化计算，将二项分布“进化”为泊松分布。

注意到 ${lim}_{𝑛 \to + \infty} {(1 + \frac{1}{𝑛})}^{𝑛} = 𝑒$ ，或者写为 ${lim}_{𝑛 \to + \infty} {(1 - \frac{1}{𝑛})}^{- 𝑛} = 𝑒$ 。这似乎允许我们改写二项分布律：

𝑃 (𝑋 = 𝑘) = 𝐶_{𝑛}^{𝑘} 𝑝^{𝑘} {(1 - 𝑝)}^{𝑛 - 𝑘}

中的 ${(1 - 𝑝)}^{𝑛 - 𝑘}$ 项！为此，假设 $𝑝 = \frac{𝜆}{𝑛}$ ，于是：

\begin{aligned} 𝑃 (𝑋 = 𝑘) & = 𝐶_{𝑛}^{𝑘} 𝑝^{{𝑘 (1 - 𝑝)}^{𝑛 - 𝑘}} \\ = 𝐶_{𝑛}^{𝑘} \cdot {(\frac{𝜆}{𝑛})}^{𝑘} \cdot {(1 - \frac{𝜆}{𝑛})}^{𝑛 - 𝑘} \\ = 𝐶_{𝑛}^{𝑘} \cdot {(\frac{𝜆}{𝑛})}^{𝑘} \cdot {(1 - \frac{𝜆}{𝑛})}^{𝑛} \cdot {(1 - \frac{𝜆}{𝑛})}^{- 𝑘} \\ = (\frac{𝑛 (𝑛 - 1) (𝑛 - 2) \dots (𝑛 - 𝑘 + 1)}{𝑘!} \cdot \frac{𝜆^{𝑘}}{𝑛^{𝑘}}) \cdot {(1 - \frac{𝜆}{𝑛})}^{- 𝑘} \cdot {(1 - \frac{𝜆}{𝑛})}^{- 𝑛} \\ = \frac{𝜆^{𝑘}}{𝑘!} \cdot (\frac{𝑛 (𝑛 - 1) (𝑛 - 2) \dots (𝑛 - 𝑘 + 1)}{𝑛^{𝑘}}) \cdot {(1 - \frac{𝜆}{𝑛})}^{- 𝑘} \cdot {(1 - \frac{𝜆}{𝑛})}^{- 𝑛} \\ = \frac{𝜆^{𝑘}}{𝑘!} \cdot (1 \cdot \frac{𝑛 - 1}{𝑛} \cdot \frac{𝑛 - 2}{𝑛} \cdot \dots \cdot \frac{𝑛 - 𝑘 + 1}{𝑛}) \cdot {(1 - \frac{𝜆}{𝑛})}^{- 𝑘} \cdot {(1 - \frac{𝜆}{𝑛})}^{- 𝑛} \end{aligned}

当 $𝑛$ 非常大时，数学上的理想情况即令 $𝑛 \to + \infty$ 。这也将导致概率 $𝑝$ 非常小。那么上式中：

{\begin{cases} {lim}_{𝑛 \to + \infty} \frac{𝑛 - 𝑘}{𝑛} = 1 \\ {lim}_{𝑛 \to + \infty} (1 \cdot \frac{𝑛 - 1}{𝑛} \cdot \frac{𝑛 - 2}{𝑛} \cdot \dots \cdot \frac{𝑛 - 𝑘 + 1}{𝑛}) = 1 \\ {lim}_{𝑛 \to + \infty} {(1 - \frac{𝜆}{𝑛})}^{- 𝑘} = 1 \\ {lim}_{𝑛 \to + \infty} {(1 - \frac{𝜆}{𝑛})}^{- 𝑛} = 𝑒^{- 𝜆} \end{cases}

从而对于二项分布律存在：

lim_{𝑛 \to + \infty} 𝐶_{𝑛}^{𝑘} 𝑝^{{𝑘 (1 - 𝑝)}^{𝑛 - 𝑘}} \underset{𝑝 = \frac{𝜆}{𝑛}}{=} \frac{𝜆^{𝑘} 𝑒^{- 𝜆}}{𝑘!}

上式称为泊松定理，由此导出的分布律称为泊松分布。泊松分布显然由参数 $𝜆$ 唯一确定，将这个分布简记为 $𝑋 \sim 𝜋 (𝜆)$ 。

当然，由于上述是在理想情况下的推导，要想将二项分布进化为泊松分布，一般要求 $𝑛$ 较大且 $𝑝$ 甚小。推荐在 $𝑛 \geq 20, 𝑝 \leq 0.05$ 时用参数为 $𝜆 = 𝑛 𝑝$ 的泊松分布来近似二项分布。

三、连续型随机变量与分布

对于连续型随机变量，由于其取值可以是数轴上的任意一个值，因此其取值为某值的概率都是 $0$ 。因此，我们对于连续型随机变量关心的是其取值落在某区间上的概率。为了方便研究，需要引入分布函数与概率密度函数。

1.分布函数与概率密度函数

分布函数刻画的是随机变量小于某值的概率，即定义分布函数 $𝐹 (𝑥)$ 为：

𝐹 (𝑥) = 𝑃 (𝑋 \leq 𝑥), - \infty < 𝑥 < + \infty

由上述定义，显然随机变量落在某区间 $(𝑥_{1}, 𝑥_{2}]$ 上的概率为：

𝑃 (𝑥_{1} < 𝑋 \leq 𝑥_{2}) = 𝑃 (𝑋 \leq 𝑥_{2}) - 𝑃 (𝑋 \leq 𝑥_{1}) = 𝐹 (𝑥_{2}) - 𝐹 (𝑥_{1})

¹¹ 事实上，由于随机变量取确定值的概率为 $0$ ，上述的落在某“区间”，无需关注区间的开闭性。

由此，分布函数必然是(非严格)递增的非负函数。并且：

lim_{𝑥 \to - \infty} 𝐹 (𝑥) = 0, lim_{𝑥 \to + \infty} 𝐹 (𝑥) = 1

分布函数也可以应用于离散型随机变量上，只是连续型的分布函数是连续的、离散型的分布函数是间断的。但概率密度函数不行，因为定义概率密度函数、简称概率密度 $𝑓 (𝑥)$ 为：

𝐹 (𝑥) = \int_{- \infty}^{𝑥} 𝑓 (𝑡) 𝑑 𝑡, 𝑓 (𝑥) = 𝐹^{'} (𝑥)

也即概率密度函数是分布函数的导函数。和勒让德变换不同，单纯的求导必然丢失信息，离散型随机变量的概率密度函数必然处处为 $0$ 。

²² 这里我们忽略了间断点处的导数定义问题，也就是，我们应当规定只有在连续的情况下才允许 $𝑓 (𝑥) = 𝐹^{'} (𝑥)$ ，从而避免在离散型随机变量中引入概率密度。

这样，若连续型随机变量的取值落在某区间 $(𝑥_{1}, 𝑥_{2}]$ 上，那么也可以由概率密度来计算其概率：

\begin{aligned} 𝑃 (𝑥_{1} < 𝑋 \leq 𝑥_{2}) & = 𝐹 (𝑥_{2}) - 𝐹 (𝑥_{1}) \\ = \int_{- \infty}^{𝑥_{2}} 𝑓 (𝑡) 𝑑 𝑡 - \int_{- \infty}^{𝑥_{1}} 𝑓 (𝑡) 𝑑 𝑡 \\ = \int_{𝑥_{1}}^{𝑥_{2}} 𝑓 (𝑡) 𝑑 𝑡 \end{aligned}

因而，由 ${lim}_{𝑥 \to + \infty} 𝐹 (𝑥) = 1$ 可得：

\int_{- \infty}^{+ \infty} 𝑓 (𝑡) = lim_{𝑥 \to + \infty} 𝐹 (𝑥) = 1

上式表明了概率的归一性。

对于连续型随机变量，我们多用概率密度来刻画其分布律。分布函数多用于建立概率与概率密度之间的桥梁。

2.均匀分布

所谓均匀分布，即指随机变量 $𝑋$ 等可能地取区间上的任一值。假设区间为 $(𝑎, 𝑏)$ ，那么显然分布函数写为：

𝐹 (𝑥) = {\begin{cases} 0 & 𝑥 < 𝑎 \\ \frac{𝑥 - 𝑎}{𝑏 - 𝑎} & 𝑎 \leq 𝑥 < 𝑏 \\ 1 & 𝑥 \geq 𝑏 \end{cases}

求导后得概率密度：

𝑓 (𝑥) = {\begin{cases} \frac{1}{𝑏 - 𝑎} & 𝑎 < 𝑥 < 𝑏 \\ 0 & Other Cases \end{cases}

这种分布由参数 $𝑎, 𝑏$ 唯一确定，简记为 $𝑋 \sim 𝑈 (𝑎, 𝑏)$ 。

3.指数分布

指数分布的概率密度具有如下形式：

𝑓 (𝑥) = {\begin{cases} \frac{1}{𝜃} 𝑒^{- \frac{𝑥}{𝜃}} & 𝑥 > 0 \\ 0 & Other Cases \end{cases}

积分后得分布函数：

𝐹 (𝑥) = {\begin{cases} 1 - 𝑒^{- \frac{𝑥}{𝜃}} & 𝑥 > 0 \\ 0 & Other Cases \end{cases}

指数分布具有无记忆性，这是说：

\begin{aligned} 𝑃 (𝑋 > 𝑠 + 𝑡 | 𝑋 > 𝑠) & = \frac{𝑃 (𝑋 > 𝑠 + 𝑡 \cap 𝑋 > 𝑠)}{𝑃 (𝑋 > 𝑠)} \\ = \frac{𝑃 (𝑋 > 𝑠 + 𝑡)}{𝑃 (𝑋 > 𝑠)} \\ = \frac{𝑒^{- \frac{𝑠 + 𝑡}{𝜃}}}{𝑒^{- \frac{𝑠}{𝜃}}} \\ = 𝑒^{- \frac{𝑡}{𝜃}} \\ = 𝑃 (𝑋 > 𝑡) \end{aligned}

4.正态分布

正态分布的概率密度函数写为：

𝑓 (𝑥) = \frac{1}{\sqrt{2 𝜋} 𝜎} 𝑒^{- \frac{{(𝑥 - 𝜇)}^{2}}{2 𝜎^{2}}}, - \infty < 𝑥 < + \infty

正态分布由参数 $𝜇, 𝜎^{2}$ 唯一确定，简记为 $𝑋 \sim 𝑁 (𝜇, 𝜎^{2})$ 。这两个参数的意义分别是随机变量的期望与方差。分布函数是概率密度的积分，但这个函数没有初等函数解，只能直接表示为：

𝐹 (𝑥) = \frac{1}{\sqrt{2 𝜋} 𝜎} \int_{- \infty}^{𝑥} 𝑒^{- \frac{{(𝑡 - 𝜇)}^{2}}{2 𝜎^{2}}} 𝑑 𝑡, - \infty < 𝑥 < + \infty

若随机变量 $𝑍 \sim 𝑁 (𝜇, 𝜎^{2})$ ，那么线性变换之后可以使其概率密度与分布函数变换为更规整的形式。令 $𝑋 = \frac{𝑍 - 𝜇}{𝜎}$ ，那么：

𝑓 (𝑥) = \frac{1}{\sqrt{2 𝜋}} 𝑒^{- \frac{𝑥^{2}}{2}}, - \infty < 𝑧 < + \infty

𝐹 (𝑥) = \frac{1}{\sqrt{2 𝜋}} \int_{- \infty}^{𝑥} 𝑒^{- \frac{𝑡^{2}}{2}} 𝑑 𝑡, - \infty < 𝑧 < + \infty

即相当于令 $𝜇 = 0, 𝜎 = 1$ ，这种正态分布称为标准正态分布，分别用 $𝜑 (𝑥), Φ (𝑥)$ 表示它的概率密度和分布函数。任意的正态分布都能变换为标准正态分布，这为计算概率提供了极大方便。对于随机变量 $𝑋 \sim 𝑁 (𝜇, 𝜎^{2})$ ：

𝐹 (𝑥) = 𝑃 (𝑋 \leq 𝑥) = 𝑃 (\frac{𝑋 - 𝜇}{𝜎} \leq \frac{𝑥 - 𝜇}{𝜎}) = Φ (\frac{𝑥 - 𝜇}{𝜎})

𝑃 (𝑥_{1} < 𝑋 < 𝑥_{2}) = Φ (\frac{𝑥_{2} - 𝜇}{𝜎}) - Φ (\frac{𝑥_{1} - 𝜇}{𝜎})

而所谓上 $𝛼$ 分位数，是指下式中：

𝑃 (𝑋 > 𝑧_{𝛼}) = 𝛼, 0 < 𝛼 < 1

若 $𝑋$ 服从标准正态分布，则 $𝑧_{𝛼}$ 称为标准正态分布的上 $𝛼$ 分位数。

四、随机变量的期望与方差

1.期望

简便起见，我们从离散型随机变量入手。我们知道平均数的概念，即一组具有 $𝑛$ 个值的集合 ${𝑎_{1}, 𝑎_{2}, \dots, 𝑎_{𝑛}}$ ，其平均值为：

若每个值具有权重 ${𝑤_{1}, 𝑤_{2}, \dots, 𝑤_{𝑛}}$ ，那么其加权平均数为：

概率论中的数学期望，简称期望，或称均值，就是以概率为权的变量取值的加权平均数。即若离散型随机变量 $𝑋$ 具有取值集合 ${𝑥_{1}, 𝑥_{2}, \dots, 𝑥_{𝑛}, \dots}$ ，各取值的概率是 ${𝑝_{1}, 𝑝_{2}, \dots, 𝑝_{𝑛}, \dots}$ ，那么 $𝑋$ 的期望 $𝐸 (𝑋)$ 是：

𝐸 (𝑋) = 𝑥_{1} 𝑝_{1} + 𝑥_{2} 𝑝_{2} + \dots + 𝑥_{𝑛} 𝑝_{𝑛} + \dots = \sum_{𝑖 = 1}^{+ \infty} 𝑥_{𝑖} 𝑝_{𝑖}

对于连续型随机变量，虽然某取值点的概率为 $0$ ，但是在小区间上的概率不为 $0$ 。任意小区间上的概率是 $𝑑 𝑝 = 𝑓 (𝑥) 𝑑 𝑥$ ，以此为权，那么这一小区间上的取值加权后就是 $𝑑 𝐸 (𝑋) = 𝑥 \cdot 𝑑 𝑝 = 𝑥 𝑓 (𝑥) 𝑑 𝑥$ 。两端积分即得连续型随机变量的期望计算公式：

𝐸 (𝑋) = \int_{- \infty}^{+ \infty} 𝑥 𝑓 (𝑥) 𝑑 𝑥

注意到上面的求和和积分是无穷级数和反常积分。当求和或积分绝对收敛的时候，称数学期望存在。

对于数学期望，存在四个基本公式：

命题 1.

对于常数 $𝐶$ ， $𝐸 (𝐶) = 𝐶$ ；
$𝐸 (𝐶 𝑋) = 𝐶 𝐸 (𝑋)$ ；
设有两个随机变量 $𝑋, 𝑌$ ，那么 $𝐸 (𝑋 + 𝑌) = 𝐸 (𝑋) + 𝐸 (𝑌)$ ；
若两个随机变量 $𝑋, 𝑌$ 相互独立，那么 $𝐸 (𝑋 𝑌) = 𝐸 (𝑋) 𝐸 (𝑌)$ 。

2.方差

方差用于刻画一组取值偏离均值的程度。在经典的数学中，取值集合 ${𝑎_{1}, 𝑎_{2}, \dots, 𝑎_{𝑛}}$ 的方差如下计算：

如果取值具有权重 ${𝑤_{1}, 𝑤_{2}, \dots, 𝑤_{𝑛}}$ ，那么方差计算为：

显然这也是一种加权平均数。对应到概率论中的概念，方差亦是一种期望，即：

𝐷 (𝑋) = 𝐸 ({(𝑋 - 𝐸 (𝑋))}^{2})

而标准差是方差的平方根，即 $𝜎 (𝑋) = \sqrt{𝐷 (𝑋)}$ ，这个字母在之前的正态分布中出现过。

上述的公式针对离散型随机变量。若是连续型随机变量，举一反三地写出：

𝐷 (𝑋) = \int_{- \infty}^{+ \infty} {(𝑥 - 𝐸 (𝑋))}^{2} 𝑓 (𝑥) 𝑑 𝑥

有时根据定义式计算起来会比较麻烦，因此方差可以用一种等价形式计算：

𝐷 (𝑋) = 𝐸 (𝑋^{2}) - 𝐸^{2} (𝑋)

这可以直接由期望的基本公式推得。

对于任意的随机变量 $𝑋$ ，若 $𝐸 (𝑋) = 𝜇, 𝐷 (𝑋) = 𝜎^{2}$ ，那么总可以通过线性变换使新变量 $𝑌$ 存在 $𝐸 (𝑋) = 0, 𝐷 (𝑋) = 1$ 。这种线性变换已经在上述的正态分布中出现过，即 $𝑌 = \frac{𝑋 - 𝜇}{𝜎}$ ，这个新变量称为 $𝑋$ 的标准化变量。

由期望的基本公式，也可以推得方差的基本公式：

命题 2.

对于常数 $𝐶$ ， $𝐷 (𝐶) = 0$ ；
$𝐷 (𝐶 𝑋) = 𝐶^{2} 𝐷 (𝑋)$ ；
设有两个随机变量 $𝑋, 𝑌$ ，那么 $𝐷 (𝑋 + 𝑌) = 𝐷 (𝑋) + 𝐷 (𝑌) + 2 𝐸 [(𝑋 - 𝐸 (𝑋)) (𝑌 - 𝐸 (𝑌))]$ ；
若两个随机变量 $𝑋, 𝑌$ 相互独立，那么 $𝐷 (𝑋 + 𝑌) = 𝐷 (𝑋) + 𝐷 (𝑌)$ ，即 $𝐸 [(𝑋 - 𝐸 (𝑋)) (𝑌 - 𝐸 (𝑌))] = 0$ 。

注 4.

关于两个随机变量

𝑋, 𝑌

的期望

𝐸 [(𝑋 - 𝐸 (𝑋)) (𝑌 - 𝐸 (𝑌))]

称为协方差，简记为

Cov (𝑋, 𝑌)

，它可以展开为

Cov (𝑋, 𝑌) = 𝐸 (𝑋 𝑌) - 𝐸 (𝑋) 𝐸 (𝑌)

。关于协方差等相关的内容会在之后的多维随机变量中讲述。

3.切比雪夫不等式

切比雪夫不等式具有如下的形式。设有随机变量 $𝑋$ ，且 $𝐸 (𝑋) = 𝜇, 𝐷 (𝑋) = 𝜎^{2}$ ，那么对于任意正的取值 $𝜖$ ：

𝑃 (| 𝑋 - 𝜇 | \geq 𝜖) \leq \frac{𝜎^{2}}{𝜖^{2}}

这个不等式常用于未知概率密度或分布律，但已知期望方差时的概率估计。

4.几种分布的期望与方差

现在我们来统一分别计算上述六种分布的期望与方差。

(1)伯努利分布：

显然 $𝐸 (𝑋) = 0 \cdot (1 - 𝑝) + 1 \cdot 𝑝 = 𝑝$

$𝐸 (𝑋^{2}) = 0^{2} \cdot (1 - 𝑝) + 1^{2} \cdot 𝑝 = 𝑝$

$𝐷 (𝑋) = 𝐸 (𝑋^{2}) - 𝐸^{2} (𝑋) = 𝑝 - 𝑝^{2} = 𝑝 (1 - 𝑝)$

(2)二项分布：

由于二项分布是独立重复次的伯努利试验的结果，每一次试验的结果都是伯努利分布，显然可以记这 $𝑛$ 次试验的结果为 ${𝑋_{1}, 𝑋_{2}, \dots, 𝑋_{𝑛}}$ ，那么二项分布的结果 $𝑋 = 𝑋_{1} + 𝑋_{2} + \dots + 𝑋_{𝑛}$ 。

因此， $𝐸 (𝑋) = 𝐸 (\sum 𝑋_{𝑖}) = 𝐸 (𝑋_{1}) + 𝐸 (𝑋_{2}) + \dots + 𝐸 (𝑋_{𝑛}) = 𝑛 𝑝$

$𝐷 (𝑋) = \sum 𝐷 (𝑋_{𝑖}) = 𝑛 𝑝 (1 - 𝑝)$

(3)泊松分布：

在理想情况下，二项分布要进化为泊松分布需要满足条件 $𝜆 = 𝑛 𝑝, 𝑛 \to + \infty, 𝑝 \to 0$ 。将此代入二项分布的期望与方差就能得到 $𝐸 (𝑋) = 𝐷 (𝑋) = 𝜆$ 。这表明泊松分布的期望与方差是相等的。

当然，如果不用这样取巧的方法而直接计算，也能得到同样的结果：

\begin{aligned} 𝐸 (𝑋) & = \sum_{𝑘 = 1}^{+ \infty} 𝑘 𝑃 (𝑋 = 𝑘) \\ = \sum_{𝑘 = 1}^{+ \infty} 𝑘 \cdot \frac{𝜆^{𝑘} 𝑒^{- 𝜆}}{𝑘!} \\ = 𝜆 𝑒^{- 𝜆} \sum_{𝑘 = 1}^{+ \infty} \frac{𝜆^{𝑘 - 1}}{(𝑘 - 1)!} \\ = 𝜆 𝑒^{- 𝜆} \cdot 𝑒^{𝜆} \\ = 𝜆 \end{aligned}

\begin{aligned} 𝐸 (𝑋^{2}) & = \sum_{𝑘 = 1}^{+ \infty} 𝑘^{2} 𝑃 (𝑋 = 𝑘) \\ = \sum_{𝑘 = 1}^{+ \infty} 𝑘^{2} \cdot \frac{𝜆^{𝑘} 𝑒^{- 𝜆}}{𝑘!} \\ = 𝜆 𝑒^{- 𝜆} \sum_{𝑘 = 1}^{+ \infty} \frac{𝑘 𝜆^{𝑘 - 1}}{(𝑘 - 1)!} \\ = 𝜆 𝑒^{- 𝜆} \sum_{𝑘 = 1}^{+ \infty} \frac{(𝑘 - 1) 𝜆^{𝑘 - 1} + 𝜆^{𝑘 - 1}}{(𝑘 - 1)!} \\ = 𝜆 𝑒^{- 𝜆} (𝜆 \sum_{𝑘 = 1}^{+ \infty} \frac{𝜆^{𝑘 - 2}}{(𝑘 - 2)!} + \sum_{𝑘 = 1}^{+ \infty} \frac{+ 𝜆^{𝑘 - 1}}{(𝑘 - 1)!}) \\ = 𝜆 𝑒^{- 𝜆} \cdot (𝜆 𝑒^{𝜆} + 𝑒^{𝜆}) \\ = 𝜆^{2} + 𝜆 \end{aligned}

𝐷 (𝑋) = 𝐸 (𝑋^{2}) - 𝐸^{2} (𝑋) = 𝜆^{2} + 𝜆 - 𝜆^{2} = 𝜆

(4)均匀分布：

回忆均匀分布的概率密度是 $𝑓 (𝑥) = \frac{1}{𝑏 - 𝑎}, 𝑎 < 𝑥 < 𝑏$ 。则：

\begin{aligned} 𝐸 (𝑋) & = \int_{- \infty}^{+ \infty} 𝑥 𝑓 (𝑥) 𝑑 𝑥 \\ = \int_{𝑎}^{𝑏} 𝑥 \cdot \frac{1}{𝑏 - 𝑎} 𝑑 𝑥 \\ = \frac{𝑏^{2} - 𝑎^{2}}{2} \cdot \frac{1}{𝑏 - 𝑎} \\ = \frac{𝑎 + 𝑏}{2} \end{aligned}

\begin{aligned} 𝐸 (𝑋^{2}) & = \int_{- \infty}^{+ \infty} 𝑥^{2} 𝑓 (𝑥) 𝑑 𝑥 \\ = \int_{𝑎}^{𝑏} 𝑥^{2} \cdot \frac{1}{𝑏 - 𝑎} 𝑑 𝑥 \\ = \frac{𝑏^{3} - 𝑎^{3}}{3} \cdot \frac{1}{𝑏 - 𝑎} \\ = \frac{𝑎^{2} + 𝑎 𝑏 + 𝑏^{2}}{3} \end{aligned}

𝐷 (𝑋) = 𝐸 (𝑋^{2}) - 𝐸^{2} (𝑋) = \frac{{(𝑎 - 𝑏)}^{2}}{12}

(5)指数分布：

回忆指数分布的概率密度是 $𝑓 (𝑥) = \frac{1}{𝜃} 𝑒^{- \frac{𝑥}{𝜃}}, 𝑥 > 0$ 。则：

\begin{aligned} 𝐸 (𝑋) & = \int_{- \infty}^{+ \infty} 𝑥 𝑓 (𝑥) 𝑑 𝑥 \\ = \int_{0}^{+ \infty} 𝑥 \cdot \frac{1}{𝜃} 𝑒^{- \frac{𝑥}{𝜃}} 𝑑 𝑥 \\ = {𝜃 [(𝑢 - 1) 𝑒^{𝑢}]}_{0}^{- \infty} \\ = 𝜃 \end{aligned}

\begin{aligned} 𝐸 (𝑋^{2}) & = \int_{- \infty}^{+ \infty} 𝑥^{2} 𝑓 (𝑥) 𝑑 𝑥 \\ = \int_{0}^{+ \infty} 𝑥^{2} \cdot \frac{1}{𝜃} 𝑒^{- \frac{𝑥}{𝜃}} 𝑑 𝑥 \\ = - 𝜃^{2} {[(𝑢^{2} - 2 𝑢 + 2) 𝑒^{𝑢}]}_{0}^{- \infty} \\ = 2 𝜃^{2} \end{aligned}

𝐷 (𝑋) = 𝐸 (𝑋^{2}) - 𝐸^{2} (𝑋) = 𝜃^{2}

(6)正态分布：

正态分布的期望和方差就是它的参数 $𝜇, 𝜎^{2}$ 。但是，由于两条基本公式 $𝐸 (𝑋 + 𝑌) = 𝐸 (𝑋) + 𝐸 (𝑌), 𝐷 (𝑋 + 𝑌) = 𝐷 (𝑋) + 𝐷 (𝑌)$ (其中 $𝑋, 𝑌$ 相互独立)的存在，两个相互独立但服从正态分布的随机变量可以直接线性叠加为一个新的正态分布变量。例如假设 $𝑋 \sim 𝑁 (𝜇_{1}, 𝜎_{1}^{2}), 𝑌 \sim 𝑁 (𝜇_{2}, 𝜎_{2}^{2})$ ，那么若 $𝑍 = 𝐶_{1} 𝑋 + 𝐶_{2} 𝑌$ ：

𝐸 (𝑍) = 𝐶_{1} 𝐸 (𝑋) + 𝐶_{2} 𝐸 (𝑌) = 𝐶_{1} 𝜇_{1} + 𝐶_{2} 𝜇_{2}

𝐷 (𝑍) = 𝐶_{1}^{2} 𝐷 (𝑋) + 𝐶_{2}^{2} 𝐷 (𝑌) = 𝐶_{1}^{2} 𝜎_{1}^{2} + 𝐶_{2}^{2} 𝜎_{2}^{2}

𝑍 \sim 𝑁 (𝐶_{1} 𝜇_{1} + 𝐶_{2} 𝜇_{2}, 𝐶_{1}^{2} 𝜎_{1}^{2} + 𝐶_{2}^{2} 𝜎_{2}^{2})

五、随机变量的函数的分布与期望

这一部分是概率论中的难点之一，但只要牢记“分布函数是概率与概率密度之间的桥梁”这句话即可。

假设有一个随机变量 $𝑌$ 是关于 $𝑋$ 的函数： $𝑌 = 𝑔 (𝑋)$ 。那么，如何根据 $𝑋$ 的概率密度来求 $𝑌$ 的分布与期望？(离散型随机变量情况下较为简单，这里就不赘述)

1.分布

为了区分，我们将 $𝑋, 𝑌$ 的分布函数和概率密度分别记为 $𝐹_{𝑋} (𝑥), 𝐹_{𝑌} (𝑦)$ ， $𝑓_{𝑋} (𝑥), 𝑓_{𝑌} (𝑦)$ 。那么，针对 $𝐹_{𝑌} (𝑦)$ 运算：

𝐹_{𝑌} (𝑦) = 𝑃 (𝑌 \leq 𝑦) = 𝑃 (𝑔 (𝑋) \leq 𝑦)

由 $𝑔 (𝑋) \leq 𝑦$ 可以反解出 $𝑋$ 的取值范围。有时这个方程会同时给出 $𝑋$ 的上界和下界，但在 $𝑔 (\cdot)$ 严格单调的情况下 $𝑋$ 的取值范围应只有上界或只有下界。例如，如果只有上界：

𝐹_{𝑌} (𝑦) = 𝑃 (𝑔 (𝑋) \leq 𝑦) = 𝑃 (𝑋 \leq 𝑔^{- 1} (𝑦)) = 𝐹_{𝑋} (𝑔^{- 1} (𝑦))

其中 $𝑔^{- 1} (𝑦)$ 是 $𝑔 (𝑥)$ 的反函数，不妨记为 $ℎ (𝑦)$ 。因此， $𝑌$ 的分布函数只需要将 $𝐹_{𝑋} (𝑥)$ 中的 $𝑥$ 都替换为反函数 $ℎ (𝑦)$ 即可³³ 在 $𝑔 (\cdot)$ 单调并且仅确定 $𝑋$ 的上界的情况下。

由此，直接对 $𝐹_{𝑌} (𝑦)$ 求导，即可得 $𝑌$ 的概率密度：

𝑓_{𝑌} (𝑦) = 𝐹_{𝑌}^{'} (𝑦) = 𝐹_{𝑋}^{'} (ℎ (𝑦)) \cdot | ℎ^{'} (𝑦) | = 𝑓_{𝑋} (ℎ (𝑦)) \cdot | ℎ^{'} (𝑦) |

上式只要求 $𝑔 (𝑥)$ 是严格单调函数，绝对值的引入使其囊括了递增和递减的情况。但如果 $𝑔 (𝑥)$ 不是严格单调函数，还需要像上面那样一步步通过分布函数递推。

2.期望

期望只需要简单地代入原期望计算公式即可，可以免去计算新变量的概率密度或分布函数：

𝐸 (𝑋) = \int_{- \infty}^{+ \infty} 𝑥 𝑓 (𝑥) 𝑑 𝑥

𝐸 (𝑌) = 𝐸 (𝑔 (𝑋)) = \int_{- \infty}^{+ \infty} 𝑔 (𝑥) 𝑓 (𝑥) 𝑑 𝑥