概率论（三）——大数定律与中心极限定理

一、弱大数定律

假设变量 $𝑋_{1}, 𝑋_{2}, \dots$ 相互独立、且服从同一分布，那么记其期望为 $𝐸 (𝑋_{𝑖}) = 𝜇$ 。作前 $𝑛$ 个变量的算术平均 $\frac{1}{𝑛} \sum 𝑋_{𝑖}$ ，那么对于任意小的正数 $𝜖$ ，下式成立：

lim_{𝑛 \to \infty} 𝑃 (| \frac{1}{𝑛} \sum_{𝑖 = 1}^{𝑛} 𝑋_{𝑖} - 𝜇 | < 𝜖) = 1

这是在说，当变量个数足够多的时候，它们的算术平均就会趋近于它们所服从分布的期望。

二、伯努利大数定律

伯努利大数定律基于弱大数定律推出。假设 $𝑓_{𝐴}$ 表示在 $𝑛$ 次试验中 $𝐴$ 事件发生的次数，而 $𝐴$ 事件发生的概率记为 $𝑝$ 。那么对于任意小的正数 $𝜖$ ，下式成立：

lim_{𝑛 \to \infty} 𝑃 (| \frac{𝑓_{𝐴}}{𝑛} - 𝑝 | < 𝜖) = 1

这等价于：

lim_{𝑛 \to \infty} 𝑃 (| \frac{𝑓_{𝐴}}{𝑛} - 𝑝 | \geq 𝜖) = 0

不难发现 $\frac{𝑓_{𝐴}}{𝑛}$ 就是指 $𝐴$ 事件发生的频率。因此这个定律在说，当实验次数足够多的时候，可以用频率逼近概率。

三、独立同分布的中心极限定理

接下来的内容都属于中心极限定理，大意是某些条件下的随机变量之和会趋于正态分布。实际上，这些内容的关键在于将变量标准化。

首先介绍独立同分布的中心极限定理。依据名字，假设变量 $𝑋_{1}, 𝑋_{2}, \dots$ 相互独立、且服从同一分布，记其期望为 $𝐸 (𝑋_{𝑖}) = 𝜇$ 、方差为 $𝐷 (𝑋_{𝑖}) = 𝜎^{2}$ 。那么对于随机变量之和 $\sum_{𝑖 = 1}^{𝑛} 𝑋_{𝑖}$ ，其具有标准化变量：

𝑌_{𝑛} = \frac{\sum_{𝑖 = 1}^{𝑛} 𝑋_{𝑖} - 𝐸 (\sum_{𝑖 = 1}^{𝑛} 𝑋_{𝑖})}{\sqrt{𝐷 (\sum_{𝑖 = 1}^{𝑛} 𝑋_{𝑖})}} = \frac{\sum_{𝑖 = 1}^{𝑛} 𝑋_{𝑖} - 𝑛 𝜇}{\sqrt{𝑛} 𝜎}

而这个标准化变量在 $𝑛 \to \infty$ 时，趋近于标准正态分布：

lim_{𝑛 \to \infty} 𝐹_{𝑛 (𝑥)} = Φ (𝑥)

𝑌_{𝑛} = \frac{\sum_{𝑖 = 1}^{𝑛} 𝑋_{𝑖} - 𝑛 𝜇}{\sqrt{𝑛} 𝜎} \sim 𝑁 (0, 1)

当然，我们也可以对 $𝑌_{𝑛}$ 的分子分母同时除以 $𝑛$ ，那么此时的研究对象就是随机变量之均值 ，同样下式成立：

这同样印证了上面的弱大数定律。

四、李雅普诺夫定理

假设变量 $𝑋_{1}, 𝑋_{2}, \dots$ 相互独立(注意这里不要求服从同一分布)，记其期望为 $𝐸 (𝑋_{𝑖}) = 𝜇_{𝑖}$ 、方差为 $𝐷 (𝑋_{𝑖}) = 𝜎_{𝑖}^{2}$ 。又记其方差之和为 $𝐵_{𝑛}^{2} = \sum_{𝑖 = 1}^{𝑛} 𝜎_{𝑖}^{2}$ ，若存在正数 $𝛿$ 使得下式成立：

lim_{𝑛 \to \infty} \frac{\sum_{𝑖 = 1}^{𝑛} 𝐸 ({| 𝑋_{𝑘} - 𝜇_{𝑘} |}^{2 + 𝛿})}{𝐵_{𝑛}^{2 + 𝛿}} = 0

那么随机变量之和 $\sum_{𝑖 = 1}^{𝑛} 𝑋_{𝑖}$ 的标准化变量在 $𝑛 \to \infty$ 时会趋近于正态分布：

𝑍_{𝑛} = \frac{\sum_{𝑖 = 1}^{𝑛} 𝑋_{𝑖} - 𝐸 (\sum_{𝑖 = 1}^{𝑛} 𝑋_{𝑖})}{\sqrt{𝐷 (\sum_{𝑖 = 1}^{𝑛} 𝑋_{𝑖})}} = \frac{\sum_{𝑖 = 1}^{𝑛} 𝑋_{𝑖} - \sum_{𝑖 = 1}^{𝑛} 𝜇_{𝑖}}{𝐵_{𝑛}} \sim 𝑁 (0, 1)

五、棣莫弗-拉普拉斯定理

现在我们在二项分布的条件下应用独立同分布的中心极限定理。假设变量 $𝜂_{𝑛} \sim 𝑏 (𝑛, 𝑝)$ ，也即假设 $𝑋_{𝑖} \sim 𝑏 (1, 𝑝), 𝜂_{𝑛} = \sum 𝑋_{𝑖}$ ，那么 $𝜂_{𝑛}$ 的标准化变量在 $𝑛 \to \infty$ 的情况下趋近于正态分布：

𝑌_{𝑛} = \frac{\sum_{𝑖 = 1}^{𝑛} 𝑋_{𝑖} - 𝑛 𝜇}{\sqrt{𝑛} 𝜎} = \frac{𝜂_{𝑛} - 𝑛 𝑝}{\sqrt{𝑛 𝑝 (1 - 𝑝)}} \sim 𝑁 (0, 1)

这称为棣莫弗-拉普拉斯定理。