8.2 一元线性回归模型及其应用

本节只有两页（page-0110–page-0111，印刷页码第 105–106 页），是 §8.2 的开篇加上 §8.2.1「一元线性回归模型」的全部内容。这两页里没有练习题，所以本节只有讲解这一份； 最小二乘估计和习题在下一小节 §8.2.2。

一、这一节要往前走哪一步

前面 §8.1 走完了两步：

但这两样都只是描述。知道父亲身高和儿子身高正线性相关、$r\approx 0.886$ 之后， 还有一个更实际的问题没回答：父亲身高 176 cm，儿子大概多高？

要回答它，就得把那条”散点大致贴着的直线”具体写出来。 换句话说，我们需要一个模型——像用函数模型刻画确定性关系那样， 用一个统计模型去刻画两个随机变量之间的相关关系，然后用它做预测。

这一节先解决”模型长什么样”，下一节 §8.2.2 再解决”参数怎么定”。

二、引例：父子身高的 14 对数据

课本调查了某高校 14 名男大学生的身高及其父亲的身高（表 8.2-1），以父亲身高为横轴、 儿子身高为纵轴画出散点图（图 8.2-1）。观察结果是：

• 散点大致分布在一条从左下角到右上角的直线附近 $\Rightarrow$ 线性相关；
• 用统计软件算得样本相关系数 $r\approx 0.886$ $\Rightarrow$ 正线性相关，相关程度较高。

这两句正是 §8.1 教的读法。到此为止，“该不该谈线性”已经有了肯定的回答，下面才轮到建模。

三、关键的一问：能不能用函数模型？

根据表8.2-1中的数据，儿子身高和父亲身高这两个变量之间的关系可以用函数模型刻画吗？

不能。 而且理由不是”点没有完全落在直线上”这种含糊说法，课本给的是数据里的直接反例：

• 第 6 个和第 8 个观测中，父亲身高都是 172 cm，儿子身高却分别是 176 cm 和 174 cm；
• 第 3、4 两个观测中，儿子身高都是 170 cm，父亲身高却分别是 173 cm 和 169 cm。

第一条就够了：函数关系要求同一个自变量的值只能对应唯一的函数值。 这里 $x=172$ 同时对应了 $y=176$ 和 $y=174$，函数的定义当场被违反。 所以儿子身高和父亲身高之间不是函数关系，也就不能用函数模型刻画。

这个反例的做法值得学：要否定”是函数关系”，不必大费周章， 只要在数据里找出一个 $x$ 配了两个不同的 $y$ 就完事了。 （第二条”儿子身高相同而父亲身高不同”是把 $x$ 与 $y$ 的角色对调后的同类反例， 说明反过来把 $y$ 当自变量也一样不行。）

四、建模的思路：主要因素 + 其余因素

既然不是函数关系，又确实有较强的线性相关，自然的想法是拆成两部分：

$$\underbrace{\text{儿子身高}}_{\text{要解释的}} =\underbrace{\text{父亲身高的一次函数}}_{\text{能解释的部分}} +\underbrace{\text{其他一切因素}}_{\text{解释不了的部分}} .$$

• 能解释的部分用一次函数 $bx+a$ 刻画——这是散点图和 $r$ 支持的形状；
• 解释不了的部分——母亲身高、生活环境、饮食习惯、锻炼时间，还有测量误差—— 没法一一列举，就统统打包成一个量，叫随机误差 $e$。

要点：$e$ 是一个随机变量，不是一个”小数值”。 它代表的是”除父亲身高之外所有影响的合力”， 本身有分布、有均值、有方差。把它当成随机变量来处理，正是”统计模型”区别于”函数模型”的地方。

五、一元线性回归模型

用 $x$ 表示父亲身高，$Y$ 表示儿子身高，$e$ 表示随机误差。 假定 $e$ 的均值为 $0$、方差为与父亲身高无关的定值 $\sigma^{2}$，得到

$$\left\{ \begin{array}{l} Y=bx+a+e,\\[2pt] E(e)=0,\quad D(e)=\sigma^{2}. \end{array} \right. \tag{1}$$

（1）式称为 $Y$ 关于 $x$ 的一元线性回归模型（simple linear regression model）。 名词一次记清：

“一元”指只有一个自变量，“线性”指对 $x$ 是一次的。

模型（1）读起来是这样一句话：$Y$ 的值不能由 $x$ 确定，但可以表示成两部分之和——前一部分 $bx+a$ 由 $x$ 完全确定，后一部分 $e$ 是随机的。

一个有用的极限情形：如果 $e=0$，模型就退化成 $Y=bx+a$， 这时 $Y$ 与 $x$ 之间的关系就可以用一元线性函数模型来描述了。 换句话说，函数模型是回归模型在”没有随机部分”时的特例—— 这和 §8.1.1 里”相关关系紧到极致就成了函数关系”是同一件事的两种说法。

六、为什么假设 $E(e)=0$

为什么假设 $E(e) = 0$ ，而不假设其为某个不为0的常数？

这是课本留在旁边的一问，值得认真答，因为它触及模型的可识别性。

答：假设 $E(e)=0$ 不损失任何一般性，而假设它是别的常数会让 $a$ 变得说不清。

设想真的有 $E(e)=c\neq 0$。令

$$e'=e-c,\qquad a'=a+c,$$

那么 $E(e')=E(e)-c=0$，$D(e')=D(e)=\sigma^{2}$，并且

$$Y=bx+a+e=bx+(a+c)+(e-c)=bx+a'+e' .$$

新模型和老模型描述的是同一件事，形式也完全一样，只是误差的均值被搬到了截距里。 可见”误差有一个非零的平均偏移”这种情形，早已被截距参数 $a$ 吸收掉了， 再让 $e$ 也带一个常数均值，纯属重复——而且会造成 $a$ 与 $E(e)$ 无法分开确定 （把 $a$ 加 1、$E(e)$ 减 1，模型一模一样）。

所以约定 $E(e)=0$ 的作用是分工明确：

• 系统性的、固定的部分全部归 $bx+a$；
• $e$ 只承担纯粹随机、平均起来会互相抵消的波动。

顺带说另一个假设 $D(e)=\sigma^{2}$ 的含义：方差与父亲身高无关。 它是说，不管父亲是 165 cm 还是 180 cm，儿子身高围绕各自那条直线的摆动幅度是一样的。 这一条同样是为了让模型简单可用；如果高个子父亲的儿子身高波动明显更大， 这个假设就不成立，得换更复杂的模型。

七、模型的”子总体”解释——本节最要紧的一段

课本给了模型（1）一个非常具体的读法，把抽象的 $bx+a$ 落到实处：

• 把父亲身高为 $x_i$ 的所有男大学生看作一个子总体；
• 这个子总体的身高均值就是 $bx_i+a$，也就是说，子总体的均值与父亲身高是线性函数关系；
• 而对于父亲身高为 $x_i$ 的某一名男大学生，他的身高 $y_i$ 不一定等于 $bx_i+a$， 它只是这个子总体里的一个观测值，与均值之间差着一个误差项

$$e_i=y_i-(bx_i+a).$$

为什么这段最要紧？ 因为它一举回答了初学回归时最容易糊涂的问题： “直线到底在预测什么？”

答案是：直线预测的是子总体的均值，不是某一个人的身高。

回到开头那个问题——父亲身高 176 cm，儿子大概多高？ 模型能给的答案是”父亲身高 176 cm 的这一群人，他们儿子身高的平均值大约是 $176b+a$”。 具体到某一个人，还要加上他自己那份随机误差 $e_i$，可能高些也可能矮些。 把回归直线的取值当成个体的确定预测，是对回归模型最常见的误用。

这也解释了第三节那个反例为什么不构成矛盾：第 6 和第 8 个观测的父亲身高都是 172 cm， 他们属于同一个子总体，均值只有一个（$172b+a$），但两个观测值可以不同—— $176$ 和 $174$ 分别是这个均值加上各自的 $e_6$ 和 $e_8$。

八、随机误差从哪里来

你能结合具体实例解释产生模型（1）中随机误差项的原因吗？

课本就父子身高这个例子给了三条，它们分属三种完全不同的来源，建议分开记：

（1）遗漏的影响因素。 除父亲身高外，母亲身高、生活环境、饮食习惯、锻炼时间等 都会影响儿子身高，但模型里没有它们，只好归入 $e$。 这是随机误差最主要的来源，也是”相关关系而非函数关系”的根本原因。

（2）测量误差。 测量儿子身高时，测量工具的精度、读数的方式都会带来偏差。 即使前一类因素完全不存在，这一类也躲不掉。

（3）模型近似本身带来的误差。 我们其实并不知道儿子身高与父亲身高的真实关系是什么， 只是看散点图像一条直线，就用一元线性回归模型去近似它。 如果真实关系其实有一点弯曲，那么”用直线代替真实曲线”这件事本身就会产生误差。

第（3）条最容易被忽略，却最有方法论意义：它提醒我们， 模型是我们选的，不是数据自带的。选错了模型，误差里就会混进本不该有的系统性成分—— 这也是为什么 §8.2.2 里要检查残差、判断模型合不合适。

九、函数模型与回归模型的对照

十、小结

• 本节只建模型，不估参数：$a$、$b$ 现在还是两个未知数，怎么由数据把它们定出来是 §8.2.2 的事；
• 建模的动机：$x$ 与 $Y$ 线性相关但不是函数关系（数据里同一个父亲身高对应了不同的儿子身高）， 所以要在一次函数上叠一个随机误差；
• 模型（1）三件套：$Y=bx+a+e$，$E(e)=0$，$D(e)=\sigma^{2}$；
• $E(e)=0$ 不是额外的限制，只是把误差的平均偏移归进截距 $a$，好让 $a$ 有唯一的含义；
• 回归直线预测的是子总体的均值，不是某个个体的取值——这句话贯穿整章；
• 随机误差有三个来源：遗漏因素、测量误差、模型近似。

下一节 §8.2.2 会用最小二乘法把 $a$、$b$ 估计出来，得到经验回归方程 $\hat{y}=\hat{b}x+\hat{a}$，并用残差检验模型是否合适。