概率论（五）——参数估计

一、点估计

所谓的点估计，是相对于区间估计说的，是指利用样本、对已知分布形式的未知参数进行估计，也就是对“某个值”进行估计。

假设已知分布函数的形式 $𝐹 (𝑥; 𝜃)$ ，分号的意思是 $𝑥$ 是自变量而 $𝜃$ 是函数中的参数，这里参数是未知的，并且也可以有任意多个。从总体 $𝑋$ 中抽取一个样本 $𝑋_{1}, 𝑋_{2}, \dots, 𝑋_{𝑛}$ ，而样本对应的样本值是 $𝑥_{1}, 𝑥_{2}, \dots, 𝑥_{𝑛}$ 。

为了求出未知参数 $𝜃$ ，自然需要利用已经给出的这组样本值。为此，构造函数 $\hat{𝜃} (𝑋_{1}, 𝑋_{2}, \dots, 𝑋_{𝑛})$ ，将其称为估计量；将样本值代入后得到的观察值，即 $\hat{𝜃} (𝑥_{1}, 𝑥_{2}, \dots, 𝑥_{𝑛})$ ，称为估计值，作为参数的近似值。有时我们将估计量和估计值统称为估计，并简记为 $\hat{𝜃}$ 。

1.矩估计法

现在假设已知分布律(离散型)或是概率密度(连续型)的形式，其中具有 $𝑛$ 个未知参数： $𝑓 (𝑥; 𝜃_{1}, 𝜃_{2}, \dots, 𝜃_{𝑛})$ 。为了得到这 $𝑛$ 个参数的近似值，自然需要 $𝑛$ 个相互独立的方程。为此，计算总体 $𝑋$ 的前 $𝑛$ 阶矩：

{\begin{cases} 𝜇_{𝑘} = 𝐸 (𝑋^{𝑘}) = \sum 𝑥^{𝑘} \cdot 𝑓 (𝑥; 𝜃_{1}, 𝜃_{2}, \dots, 𝜃_{𝑛}) & 离散型 \\ 𝜇_{𝑘} = 𝐸 (𝑋^{𝑘}) = \int_{- \infty}^{+ \infty} 𝑥^{𝑘} \cdot 𝑓 (𝑥; 𝜃_{1}, 𝜃_{2}, \dots, 𝜃_{𝑛}) 𝑑 𝑥 & 连续型 \end{cases}

将 $𝑘$ 阶矩 $𝜇_{𝑘}$ 作为已知量，就得到了 $𝑛$ 个方程，就能解出 $𝑛$ 个未知参数：

{\begin{cases} 𝜇_{1} = 𝜇_{1} (𝜃_{1}, 𝜃_{2}, \dots, 𝜃_{𝑛}) \\ 𝜇_{2} = 𝜇_{2} (𝜃_{1}, 𝜃_{2}, \dots, 𝜃_{𝑛}) \\ \dots \\ 𝜇_{𝑛} = 𝜇_{𝑛 (𝜃_{1}, 𝜃_{2}, \dots, 𝜃_{𝑛})} \end{cases} 解得 {\begin{cases} 𝜃_{1} = 𝜃_{1} (𝜇_{1}, 𝜇_{2}, \dots, 𝜇_{𝑛}) \\ 𝜃_{2} = 𝜃_{2} (𝜇_{1}, 𝜇_{2}, \dots, 𝜇_{𝑛}) \\ \dots \\ 𝜃_{𝑛} = 𝜃_{𝑛 (𝜇_{1}, 𝜇_{2}, \dots, 𝜇_{𝑛})} \end{cases}

然而实际我们并不知道前 $𝑛$ 阶矩的理论值，我们要通过样本值来得到 $𝑛$ 阶矩的近似值。为此，由样本值计算前 $𝑛$ 阶样本矩：

𝐴_{𝑘} = \frac{1}{𝑛} \sum_{𝑖 = 1}^{𝑛} 𝑋_{𝑖}^{𝑘}

用 $𝐴_{𝑘}$ 一一替换 $𝜇_{𝑘}$ ，就能得到：

{\hat{𝜃}}_{𝑖} = 𝜃_{𝑖} (𝐴_{1}, 𝐴_{2}, \dots, 𝐴_{𝑛})

这称为矩估计值。

2.最大似然估计法

最大似然估计法是利用各样本的联合分布律或联合概率密度应当给出概率最大的取值的性质。假设已知总体的分布律或是概率密度的形式，其中具有 $𝑛$ 个未知参数： $𝑓 (𝑥; 𝜃_{1}, 𝜃_{2}, \dots, 𝜃_{𝑛})$ ，那么样本 $𝑋_{1}, 𝑋_{2}, \dots, 𝑋_{𝑛}$ 的联合分布律或联合概率密度显然应当是：

𝐿 (𝑥_{1}, 𝑥_{2}, \dots, 𝑥_{𝑛}; 𝜃_{1}, 𝜃_{2}, \dots, 𝜃_{𝑛}) = \prod_{𝑖 = 1}^{𝑛} 𝑓 (𝑥_{𝑖}; 𝜃_{1}, 𝜃_{2}, \dots, 𝜃_{𝑛})

在上式中代入样本值 $𝑥_{1}, 𝑥_{2}, \dots, 𝑥_{𝑛}$ ，便是在求事件 $𝑋_{1} = 𝑥_{1}, 𝑋_{2} = 𝑥_{2}, \dots, 𝑋_{𝑛} = 𝑥_{𝑛}$ 发生的概率。显然我们已经观察到的实际发生的事件必然是发生概率最大的事件，因此代入样本值后生成的仅关于未知参数的函数：

𝐿 (𝜃_{1}, 𝜃_{2}, \dots, 𝜃_{𝑛})

称为似然函数，应当取极大值。这便归结为了一个求函数极值的问题，利用偏导数即可。对似然函数中的各变量均求一次偏导并令之为 $0$ ，也就是使用极值条件，就可以得到 $𝑛$ 个方程、解出 $𝑛$ 个未知参数：

{\begin{cases} \frac{𝜕}{𝜕 𝜃_{1}} 𝐿 (𝜃_{1}, 𝜃_{2}, \dots, 𝜃_{𝑛}) = 0 \\ \frac{𝜕}{𝜕 𝜃_{2}} 𝐿 (𝜃_{1}, 𝜃_{2}, \dots, 𝜃_{𝑛}) = 0 \\ \dots \\ \frac{𝜕}{𝜕 𝜃_{𝑛}} 𝐿 (𝜃_{1}, 𝜃_{2}, \dots, 𝜃_{𝑛}) = 0 \end{cases} 解得 {\begin{cases} {\hat{𝜃}}_{1} = {\hat{𝜃}}_{1} \\ {\hat{𝜃}}_{2} = {\hat{𝜃}}_{2} \\ \dots \\ {\hat{𝜃}}_{𝑛} = {\hat{𝜃}}_{𝑛} \end{cases}

注意这个方程组解出的直接就是估计值。当然，我们时常不太喜欢多个函数的连乘式，这对我们求导带来极大不便，而对数函数具有单调性、又能将连乘拆为连加，因此我们也能使用下式来求解：

{\begin{cases} \frac{𝜕}{𝜕 𝜃_{1}} ln 𝐿 (𝜃_{1}, 𝜃_{2}, \dots, 𝜃_{𝑛}) = 0 \\ \frac{𝜕}{𝜕 𝜃_{2}} ln 𝐿 (𝜃_{1}, 𝜃_{2}, \dots, 𝜃_{𝑛}) = 0 \\ \dots \\ \frac{𝜕}{𝜕 𝜃_{𝑛}} ln 𝐿 (𝜃_{1}, 𝜃_{2}, \dots, 𝜃_{𝑛}) = 0 \end{cases} 解得 {\begin{cases} {\hat{𝜃}}_{1} = {\hat{𝜃}}_{1} \\ {\hat{𝜃}}_{2} = {\hat{𝜃}}_{2} \\ \dots \\ {\hat{𝜃}}_{𝑛} = {\hat{𝜃}}_{𝑛} \end{cases}

假如有一个量 $𝑢 = 𝑢 (𝜃)$ 是未知参数的函数，在这个函数具有单值反函数的情况下， $\hat{𝑢} = 𝑢 (\hat{𝜃})$ 亦是 $𝑢$ 的最大似然估计，这称为最大似然估计的不变性。

3.估计量的选用

使用不同的估计方法可能会得到不同的估计量。为了从其中选择合适的估计量，给出一些选用标准：

(1)无偏性

假设总体 $𝑋$ 具有一个样本 $𝑋_{1}, 𝑋_{2}, \dots, 𝑋_{𝑛}$ ， $𝜃$ 作为待估参数具有估计量 $\hat{𝜃} = \hat{𝜃} (𝑋_{1}, 𝑋_{2}, \dots, 𝑋_{𝑛})$ ，如果：

𝐸 (\hat{𝜃}) = 𝜃

那么称 $\hat{𝜃}$ 是 $𝜃$ 的无偏估计量。例如，在矩估计法中的任一阶样本矩都是总体的相应原点矩的无偏估计量，这是因为任意样本 $𝑋_{𝑖}$ 都与总体 $𝑋$ 同分布，那么显然有：

𝐸 (𝑋_{𝑖}^{𝑘}) = 𝐸 (𝑋^{𝑘}) = 𝜇_{𝑘}

𝐸 (𝐴_{𝑘}) = \frac{1}{𝑛} \sum_{𝑖 = 1}^{𝑛} 𝐸 (𝑋_{𝑖}^{𝑘}) = \frac{1}{𝑛} \cdot 𝑛 𝜇_{𝑘} = 𝜇_{𝑘}

再例如，在上一篇抽样分布中，我们为什么取样本方差为，而不是与总体方差同形式？这是因为：

也就是说，由于已求出样本的均值，因此样本方差的自由度减一，使得样本方差 $𝑆^{2}$ 的形式才是总体方差 $𝜎^{2}$ 的无偏估计量！

另外值得注意的是，尽管估计方法的不同，但得到的估计量也可能都是无偏估计量。因此我们还应有其它的选择依据——

(2)有效性

假设两个估计量 ${\hat{𝜃}}_{1} = \hat{𝜃} (𝑋_{1}, 𝑋_{2}, \dots, 𝑋_{𝑛}), {\hat{𝜃}}_{2} = \hat{𝜃} (𝑋_{1}, 𝑋_{2}, \dots, 𝑋_{𝑛})$ 都是 $𝜃$ 的无偏估计量，那么如果：

𝐷 ({\hat{𝜃}}_{1}) \leq 𝐷 ({\hat{𝜃}}_{2})

则称 ${\hat{𝜃}}_{1}$ 比 ${\hat{𝜃}}_{2}$ 有效。

(3)相合性

相合性是一个估计量应当必须有的基本属性，它是说当样本容量越来越大时，估计量应当稳定在真值附近。如果一个统计量在容量非常大的时候依然不稳定，那么它显然不是一个合格的统计量。当统计量具有相合性时，称之为相合估计量。矩估计法得到的估计量是相合的，最大似然法得到的估计量在一定条件下才是相合的。

二、置信区间

接下来进入区间估计。由于样本值本就是按概率取值，估计量与真值之间几乎必有误差。为此，我们不仅要给出未知参数的估计值，还应该给出估计值可能的误差，使得真值以一定概率——这个概率称为置信水平——落在误差区间内，将这个区间称为置信区间。这便是对区间的估计。

双侧置信区间的左端点和右端点分别称为置信下限和置信上限，分别记为。它们都是关于样本的函数。我们将置信水平记为 $1 - 𝛼$ ，这样方便我们之后对上分位数的书写。因此，双侧置信区间的定义就可以表示为：

有时候我们也会使用单侧置信区间。双侧置信区间是限定了真值的上下限，单侧只限定真值的上限或下限。若：

则称是 $𝜃$ 在置信水平 $1 - 𝛼$ 下的单侧置信下限；若：

则称是 $𝜃$ 在置信水平 $1 - 𝛼$ 下的单侧置信上限。分别是两种情况下的单侧置信区间。

为了计算得到置信区间，我们根据样本 $𝑋_{1}, 𝑋_{2}, \dots, 𝑋_{𝑛}$ 和未知参数 $𝜃$ 构造一个函数，要求这个函数的分布与未知参数无关，记为 $𝑊 = 𝑊 (𝑋_{1}, 𝑋_{2}, \dots, 𝑋_{𝑛}; 𝜃)$ ，称为枢轴量。在双侧置信区间的情况下，应有两个数 $𝑎, 𝑏$ 使得：

𝑃 (𝑎 < 𝑊 < 𝑏) = 1 - 𝛼

成立，这样解不等式 $𝑎 < 𝑊 < 𝑏$ 即可得到，也就得到了双侧置信区间。单侧置信区间情况下也是同理。

显然在上述步骤中枢轴量的确定是至关重要的一步。对于正态总体，根据上一篇文章抽样分布中最后一节的内容，我们通常是构造标准化变量、或是相应情况下的符合 $𝜒^{2}, 𝑡, 𝐹$ 分布的变量，从而利用相应的四种上分位数来求出置信区间。

三、正态总体的双侧置信区间

接下来我们都限定总体服从正态分布，所求的都是置信水平为 $1 - 𝛼$ 的双侧置信区间。

1.单个总体 $𝑁 (𝜇, 𝜎^{2})$ ，均值 $𝜇$ 的置信区间

(1)已知方差 $𝜎^{2}$

既然已知方差，而样本均值又是均值 $𝜇$ 的无偏估计量，那么标准化变量就服从标准正态分布：

因此标准化变量的取值范围就可以用标准正态分布的上分位数来表示！也就是：

注意标准化变量的分布唯一确定，和未知参数 $𝜇$ 并无关系，因此标准化变量就是这个情况下的枢轴量。现在解不等式就得到：

因而 $𝜇$ 的置信区间就是：

简便起见，上述这种对称的区间我们简写为。

(2)未知方差 $𝜎^{2}$

虽然方差 $𝜎^{2}$ 未知，但是样本方差 $𝑆^{2}$ 是 $𝜎^{2}$ 的无偏估计量。因此将标准化变量中的 $𝜎$ 换成 $𝑆$ ，即可使其退化为 $𝑡$ 分布：

¹¹ 复习：当 $𝑛 \to + \infty$ 时， $𝑡$ 分布进化为标准正态分布。

这样只需解，得到双侧置信区间。

2.单个总体 $𝑁 (𝜇, 𝜎^{2})$ ，方差 $𝜎^{2}$ 的置信区间

假设均值 $𝜇$ 也是未知的。那么枢轴量中自然不应该出现 $𝜇$ ，上述的标准化变量不能使用。注意到：

\frac{(𝑛 - 1) 𝑆^{2}}{𝜎^{2}} \sim 𝜒^{2} (𝑛 - 1)

以此作为枢轴量是较佳的。而 $𝜒^{2}$ 分布和正态分布、 $𝑡$ 分布不同，并不关于 $𝑦$ 轴对称，因此并不能用上述例中的绝对值不等式。此处应该写为：

𝑃 (𝜒_{1 - \frac{𝛼}{2}}^{2} (𝑛 - 1) < \frac{(𝑛 - 1) 𝑆^{2}}{𝜎^{2}} < 𝜒_{\frac{𝛼}{2}}^{2} (𝑛 - 1)) = 1 - 𝛼

解括号中的不等式，即可得到置信区间：

(\frac{(𝑛 - 1) 𝑆^{2}}{𝜒_{\frac{𝛼}{2}}^{2} (𝑛 - 1)}, \frac{(𝑛 - 1) 𝑆^{2}}{𝜒_{1 - \frac{𝛼}{2}}^{2} (𝑛 - 1)})

3.两个总体 $𝑁 (𝜇_{1}, 𝜎_{1}^{2}), 𝑁 (𝜇_{2}, 𝜎_{2}^{2})$ ，均值差 $𝜇_{1} - 𝜇_{2}$ 的置信区间

这个情况很简单。两个正态分布的线性组合还是正态分布。我们只分析两种比较简单情况：

(1)已知方差 $𝜎_{1}^{2}, 𝜎_{2}^{2}$

既然要求 $𝜇_{1} - 𝜇_{2}$ ，那么就是以为标准。显然：

从而标准化变量：

因此置信区间为。

(2)未知方差但两个方差相等 $𝜎_{1}^{2} = 𝜎_{2}^{2} = 𝜎^{2}$

记 $𝑆_{𝑊}^{2} = \frac{(𝑛_{1} - 1) 𝑆_{1}^{2} + (𝑛_{2} - 1) 𝑆_{2}^{2}}{𝑛_{1} + 𝑛_{2} - 2}$ ，那么枢轴量：

因此置信区间为。

4.两个总体 $𝑁 (𝜇_{1}, 𝜎_{1}^{2}), 𝑁 (𝜇_{2}, 𝜎_{2}^{2})$ ，方差比 $\frac{𝜎_{1}^{2}}{𝜎_{2}^{2}}$ 的置信区间

当均值 $𝜇_{1}, 𝜇_{2}$ 均未知时，枢轴量为：

\frac{\frac{𝑆_{1}^{2}}{𝑆_{2}^{2}}}{\frac{𝜎_{1}^{2}}{𝜎_{2}^{2}}} \sim 𝐹 (𝑛_{1} - 1, 𝑛_{2} - 1)

$𝐹$ 分布同样不关于 $𝑦$ 对称，必须完整写出两侧不等：

𝐹_{1 - \frac{𝛼}{2}} (𝑛_{1} - 1, 𝑛_{2} - 1) < \frac{\frac{𝑆_{1}^{2}}{𝑆_{2}^{2}}}{\frac{𝜎_{1}^{2}}{𝜎_{2}^{2}}} < 𝐹_{\frac{𝛼}{2}} (𝑛_{1} - 1, 𝑛_{2} - 1)

从而解出置信区间为：

(\frac{𝑆_{1}^{2}}{𝑆_{2}^{2}} \cdot \frac{1}{𝐹_{\frac{𝛼}{2}} (𝑛_{1} - 1, 𝑛_{2} - 1)}, \frac{𝑆_{1}^{2}}{𝑆_{2}^{2}} \cdot \frac{1}{𝐹_{1 - \frac{𝛼}{2}} (𝑛_{1} - 1, 𝑛_{2} - 1)})

当然，也能写为：

(\frac{𝑆_{1}^{2}}{𝑆_{2}^{2}} \cdot 𝐹_{1 - \frac{𝛼}{2}} (𝑛_{2} - 1, 𝑛_{1} - 1), \frac{𝑆_{1}^{2}}{𝑆_{2}^{2}} \cdot 𝐹_{\frac{𝛼}{2}} (𝑛_{2} - 1, 𝑛_{1} - 1))

²² 复习：若 $𝐹 \sim 𝐹 (𝑛_{1}, 𝑛_{2})$ ，那么 $\frac{1}{𝐹} \sim 𝐹 (𝑛_{2}, 𝑛_{1})$ 。故 $𝐹_{1 - 𝛼} (𝑛_{1}, 𝑛_{2}) = \frac{1}{𝐹_{𝛼} (𝑛_{2}, 𝑛_{1})}$ 。

四、正态总体的单侧置信区间

单侧置信区间的计算和双侧置信区间基本是相似的。由于只是单侧，上分位数的角标不需要折半。例如：

1.单个总体 $𝑁 (𝜇, 𝜎^{2})$ ，方差 $𝜎^{2}$ 的置信区间

首先，枢轴量：

\frac{(𝑛 - 1) 𝑆^{2}}{𝜎^{2}} \sim 𝜒^{2} (𝑛 - 1)

那么单侧置信区间条件：

𝑃 (\frac{(𝑛 - 1) 𝑆^{2}}{𝜎^{2}} > 𝜒_{1 - 𝛼}^{2} (𝑛 - 1)) = 1 - 𝛼

解不等式得到单侧置信上限。而方差必不为负数，因此区间下限不是负无穷，置信区间为：

(0, \frac{(𝑛 - 1) 𝑆^{2}}{𝜒_{1 - 𝛼}^{2} (𝑛 - 1)})

其余情况都是类似的。