8.2.2 一元线性回归模型参数的最小二乘估计

本节目录里有十七页（page-0112–page-0128，印刷页码第 107–123 页），是全章最长的一节： 最小二乘法的完整推导、经验回归方程、残差分析、非线性模型的线性化、模型的比较， 外加节末的「习题 8.2」和「阅读与思考·回归与相关」。

上一节 §8.2 建好了模型 $Y=bx+a+e$，但 $a$、$b$ 还是两个未知数。 这一节就干一件事：把 $a$、$b$ 从数据里估出来，再检查估得好不好。

一、任务：什么叫”整体上最接近”

参数 $a$、$b$ 刻画的是 $Y$ 与 $x$ 的线性关系，所以估计这两个参数， 相当于寻找一条适当的直线，使表示成对样本数据的这些散点在整体上与这条直线最接近。

麻烦在于”整体上最接近”这句话本身还没有数学含义。课本的「探究」先摆了三个学生常有的想法：

这三条”虽然有一定的道理，但比较难操作”。共同的病根是： 它们都没有把”整体接近程度”定义成一个可以计算、可以比较大小的数。 所以真正的第一步不是画图，而是先把这个词翻译成一个式子。

二、用竖直距离衡量接近程度

设 $n$ 对样本数据为 $(x_1,y_1),(x_2,y_2),\dots,(x_n,y_n)$。由

$$y_i=bx_i+a+e_i\quad(i=1,2,\dots,n)$$

立刻得到

$$\bigl|y_i-(bx_i+a)\bigr|=|e_i| .$$

这个式子把两件事对上了号：$|e_i|$ 既是第 $i$ 个随机误差的大小， 也是点 $(x_i,y_i)$ 到点 $(x_i,bx_i+a)$ 的竖直距离——即样本点与直线在竖直方向上的差距。 $|e_i|$ 越小，点离直线越近；$e_i=0$ 时点恰好落在直线上。

为什么量竖直距离，而不是点到直线的垂直距离？ 因为模型里 $x$ 是给定的解释变量，我们关心的是”在这个 $x$ 上，$y$ 预测得准不准”， 而不是点到直线的几何最短距离。竖直方向的差正是预测误差，这与回归的目的一致。

于是可以用 $n$ 个竖直距离之和

$$\sum_{i=1}^{n}\bigl|y_i-(bx_i+a)\bigr|$$

来刻画所有样本观测数据与直线 $y=bx+a$ 的”整体接近程度”。

但绝对值使计算不方便（不可导、要分类讨论），所以实际用的是平方和：

$$Q=\sum_{i=1}^{n}(y_i-bx_i-a)^{2}.$$

$x_i$、$y_i$ 是已知数据，所以 $Q$ 由 $a$、$b$ 决定，是 $a$ 和 $b$ 的二元函数。 又因为 $Q=\sum\limits_{i=1}^{n}e_i^{2}$ 是随机误差的平方和，这个和当然越小越好， 于是我们取使 $Q$ 达到最小的 $a$、$b$ 作为截距和斜率的估计值。

（“二乘”就是平方的意思，所以这个办法叫最小二乘法。）

三、求最小值：两步配方

这一段是本节的技术核心。目标是求使

$$Q(a,b)=\sum_{i=1}^{n}(y_i-bx_i-a)^{2}$$

最小的 $a$、$b$。记 $\overline{x}=\dfrac{1}{n}\sum\limits_{i=1}^{n}x_i$， $\overline{y}=\dfrac{1}{n}\sum\limits_{i=1}^{n}y_i$。

第一步：把 $a$ 分离出来。 关键的一招是在括号里”加一项减一项”， 把 $\overline{y}-b\overline{x}$ 塞进去：

$$y_i-bx_i-a=\underbrace{(y_i-\overline{y})-b(x_i-\overline{x})}_{\text{与 }a\text{ 无关}} +\underbrace{(\overline{y}-b\overline{x})-a}_{\text{与 }i\text{ 无关}} .$$

这一步的用意：右边被拆成两块，前一块只随 $i$ 变、不含 $a$，后一块只含 $a$、不随 $i$ 变。 平方展开后得到三项：

$$Q(a,b)=\sum_{i=1}^{n}\bigl[(y_i-\overline{y})-b(x_i-\overline{x})\bigr]^{2} +2\sum_{i=1}^{n}\bigl[(y_i-\overline{y})-b(x_i-\overline{x})\bigr]\bigl[(\overline{y}-b\overline{x})-a\bigr] +n\bigl[(\overline{y}-b\overline{x})-a\bigr]^{2}.$$

中间的交叉项恰好等于 $0$，这是全部推导里最关键的一处：

$$\begin{aligned} &\sum_{i=1}^{n}\bigl[(y_i-\overline{y})-b(x_i-\overline{x})\bigr](\overline{y}-b\overline{x}-a)\\ &=(\overline{y}-b\overline{x}-a)\Bigl[\sum_{i=1}^{n}(y_i-\overline{y})-b\sum_{i=1}^{n}(x_i-\overline{x})\Bigr]\\ &=(\overline{y}-b\overline{x}-a)\bigl[(n\overline{y}-n\overline{y})-b(n\overline{x}-n\overline{x})\bigr]=0 . \end{aligned}$$

为什么是 $0$？ 因为 $\overline{y}-b\overline{x}-a$ 与 $i$ 无关可以提到求和号外面， 而剩下的 $\sum(y_i-\overline{y})$ 与 $\sum(x_i-\overline{x})$ 都是偏差之和，恒等于零。 “偏差之和为零”这条性质在本节还会再用一次（见残差之和）。

于是

$$Q(a,b)=\sum_{i=1}^{n}\bigl[(y_i-\overline{y})-b(x_i-\overline{x})\bigr]^{2} +n(\overline{y}-b\overline{x}-a)^{2}.$$

右边两项都非负，而第一项与 $a$ 无关。所以不论 $b$ 取什么，要让 $Q$ 最小， 只能把第二项压到 $0$，即

$$\boxed{\,a=\overline{y}-b\overline{x}\,}$$

第二步：对 $b$ 求最小。 代入后

$$\begin{aligned} Q&=\sum_{i=1}^{n}\bigl[(y_i-\overline{y})-b(x_i-\overline{x})\bigr]^{2}\\ &=b^{2}\sum_{i=1}^{n}(x_i-\overline{x})^{2} -2b\sum_{i=1}^{n}(x_i-\overline{x})(y_i-\overline{y}) +\sum_{i=1}^{n}(y_i-\overline{y})^{2}, \end{aligned}$$

这是关于 $b$ 的二次函数，二次项系数 $\sum(x_i-\overline{x})^{2}>0$（只要 $x$ 不是常数列）， 开口向上，所以在对称轴处取最小：

$$\hat{b}=\frac{\sum\limits_{i=1}^{n}(x_i-\overline{x})(y_i-\overline{y})} {\sum\limits_{i=1}^{n}(x_i-\overline{x})^{2}} .$$

综上，最小二乘估计是

$$\left\{ \begin{array}{l} \hat{b}=\dfrac{\sum\limits_{i=1}^{n}(x_i-\overline{x})(y_i-\overline{y})} {\sum\limits_{i=1}^{n}(x_i-\overline{x})^{2}},\\[10pt] \hat{a}=\overline{y}-\hat{b}\,\overline{x} . \end{array} \right. \tag{2}$$

推导的结构值得记住：先配方把 $a$ 单独关起来，一眼定出 $\hat{a}$； 再把问题降成一个一元二次函数，用对称轴定出 $\hat{b}$。全程只用了二次函数的最值，没有用导数。

手算时用展开式更省事：

$$\hat{b}=\frac{\sum\limits_{i=1}^{n}x_iy_i-n\overline{x}\,\overline{y}} {\sum\limits_{i=1}^{n}x_i^{2}-n\overline{x}^{2}} .$$

四、经验回归方程与两条必须记住的性质

把 $\hat{a}$、$\hat{b}$ 代回，得到的

$$\hat{y}=\hat{b}x+\hat{a}$$

称为 $Y$ 关于 $x$ 的经验回归方程（也叫经验回归函数、经验回归公式）， 其图形称为经验回归直线；这种求法叫最小二乘法，求得的 $\hat{b}$、$\hat{a}$ 叫做 $b$、$a$ 的最小二乘估计（least squares estimate）。

性质一：经验回归直线必过点 $(\overline{x},\overline{y})$。 这不用另证——$\hat{a}=\overline{y}-\hat{b}\overline{x}$ 移项就是 $\overline{y}=\hat{b}\overline{x}+\hat{a}$。 样本中心点一定在直线上，这是解题时最常用的一条（已知 $\hat{b}$ 求 $\hat{a}$，或反过来验算）。

性质二：残差之和恒为 $0$。 记预测值 $\hat{y}_i=\hat{b}x_i+\hat{a}$，则

$$\sum_{i=1}^{n}(y_i-\hat{y}_i) =\sum_{i=1}^{n}\bigl[y_i-\hat{b}x_i-(\overline{y}-\hat{b}\overline{x})\bigr] =\sum_{i=1}^{n}(y_i-\overline{y})-\hat{b}\sum_{i=1}^{n}(x_i-\overline{x})=0 .$$

又是”偏差之和为零”。这条性质是模型带截距的直接后果，与数据无关， 所以它不能用来检验模型好不好——不管拟合得多糟，残差和都是 $0$。

父子身高的结果：对表 8.2-1 的 14 对数据用公式（2），算得 $\hat{b}=0.839$、$\hat{a}=28.957$，

$$\hat{y}=0.839x+28.957 .$$

（软件里：Excel 用”数据分析—回归”或”添加趋势线”，R 用函数 lm。）

五、$\hat{y}$ 到底是什么：又一次强调子总体

当 $x = 176$ 时，$\hat{y} \approx 177$。如果一位父亲的身高为 $176 \mathrm{~cm}$，他儿子长大成人后的身高一定是 $177 \mathrm{~cm}$ 吗？为什么？

显然不一定，因为还有其他影响儿子身高的因素，父亲身高不能完全决定儿子身高。 可以作出的推测是：当父亲身高为 $176$ cm 时，儿子身高一般在 $177$ cm 左右。

更准确的说法沿用 §8.2.1 的语言：把这所学校父亲身高为 $176$ cm 的所有儿子身高看作一个子总体， $177$ cm 是这个子总体均值的估计值。

斜率的解释：$\hat{b}=0.839$ 表示父亲身高每增加 $1$ cm，其儿子身高平均增加 $0.839$ cm。 注意”平均”两个字不能省。

回归现象：因为 $\hat{b}=0.839<1$，代入两端会看到

$$x=185\ (\mathrm{cm})\Rightarrow \hat{y}=184.172\ (\mathrm{cm}),\qquad x=170\ (\mathrm{cm})\Rightarrow \hat{y}=171.587\ (\mathrm{cm}).$$

即一群高个子父亲的儿子们平均身高低于父亲们， 一群矮个子父亲的儿子们平均身高高于父亲们——后代身高向中间值靠拢。 英国统计学家高尔顿（F. Galton，1822—1911）把这种趋势称为”回归现象”， “回归分析”这个名字就是这么来的。

顺带一问：父亲身高为多少时，儿子的平均身高与父亲一样？解 $0.839x+28.957=x$ 得 $x=\dfrac{28.957}{0.161}\approx 179.9$（cm）。但这个”平衡点”不宜当真—— $179.9$ 已接近样本中父亲身高的上界，外推的可靠性有限，而且它只是这一批 14 对数据的结果。

六、残差与残差分析

三个名词一次分清：

残差是随机误差的估计结果——真误差 $e_i=y_i-(bx_i+a)$ 里含着未知的 $a$、$b$，看不见； 把它们换成估计值，就得到看得见的残差。通过对残差的分析，可以判断模型刻画数据的效果， 以及原始数据中是否存在可疑数据，这项工作称为残差分析。

课本的示范（第 6 个观测）：父亲身高 $172$ cm，儿子身高观测值 $y_6=176$ cm，预测值

$$\hat{y}_6=0.839\times 172+28.957=173.265\ (\mathrm{cm}),$$

残差为 $176-173.265=2.735$（cm）。其余各项列成表 8.2-2。

残差图：以父亲身高为横坐标、残差为纵坐标作散点图（图 8.2-7）。观察表 8.2-2 与残差图： 残差有正有负，绝对值最大是 $4.413$，并且比较均匀地分布在横轴两侧。 这说明残差比较符合一元线性回归模型的假定——是均值为 $0$、方差为 $\sigma^{2}$ 的随机变量的观测值。

为什么要看残差图？ 因为它把”模型有没有漏掉规律”直接画了出来。 理想的残差图应当看不出任何规律：如果残差里还剩下规律，说明那部分本该被模型解释却没有。

七、四种残差图（图 8.2-8）

观察图8.2-8中四幅残差图，你认为哪一个残差满足一元线性回归模型中对随机误差的假定？

判据只有一条：残差应当是均值为零、方差为常数的随机变量的观测值，其中那个常数就是 $\sigma^{2}$。

所以只有图（4）满足假定。 记住这张表的读法： 前两幅是均值出了问题（还有规律没被解释），第三幅是方差出了问题（不齐性），第四幅才合格。

八、例：树高与胸径

树的胸径（主干离地 $1.3$ m 处的直径）越大，树越高；测树高比测胸径难， 所以希望由胸径预测树高。

分析给出的解题程序值得抄下来：因为要由胸径预测树高，所以以胸径为横坐标、树高为纵坐标 画散点图，先判断是否线性相关；如果是，再用公式（2）算 $\hat{b}$、$\hat{a}$。

谁当横坐标不是随便定的——要预测谁，谁就是响应变量、当纵坐标。

结果：散点大致分布在一条从左下角到右上角的直线附近，两个变量正线性相关。 用 $d$ 表示胸径、$h$ 表示树高，得经验回归方程

$$\hat{h}=0.2493d+14.84 .$$

残差的绝对值最大是 $0.8$，所有残差分布在以横轴为对称轴、宽度小于 $2$ 的带状区域内， 可见经验回归方程较好地刻画了树高与胸径的关系，可以用它由胸径预测树高。

注意课本判断”好”的标准：不是看残差和（那恒为 $0$），而是看残差图是不是一条以横轴为轴的窄带。

九、当直线不够用：百米飞人问题

这是本节最精彩的一段，示范了怎么把非线性问题化成一元线性回归。

第一次尝试（直线）：用 $t$ 表示纪录产生年份、$Y$ 表示世界纪录， 对 1968 年之前的 8 对数据作最小二乘，得

$$\hat{y}_1=-0.02033743t+49.76913031 . \tag{①}$$

散点看上去大致在一条直线附近，方程①”较好地刻画了散点的变化趋势”。

但仔细看图 8.2-13 就露馅了：第一个世界纪录对应的散点远离直线； 而且前后两个时间段的散点都在直线上方，中间时间段的散点都在直线下方。 散点不是随机分布在直线周围，而是围绕直线有规律地起伏—— 这说明成对样本数据呈现出明显的非线性相关特征。

这正是残差分析的思想：能看出”上、下、上”这种系统性的分段偏离，就说明直线漏掉了规律。

第二次尝试（换元线性化）：观察图 8.2-12 可以发现，散点更趋向于落在中间下凸且递减的 某条曲线附近。回顾函数知识，$y=-\ln x$ 的图象有类似形状；又注意到第一个世界纪录产生于 1896 年， 于是设散点集中在

$$y=f(t)=c_1+c_2\ln(t-1895)$$

周围，其中 $c_2<0$。

关键一招：换元。 令

$$x=\ln(t-1895),$$

把年份数据变换成新变量 $x$，得到新的成对数据（表 8.2-6）。这时模型变成

$$\left\{ \begin{array}{l} Y=c_2x+c_1+u,\\ E(u)=0,\quad D(u)=\delta^{2}, \end{array} \right.$$

——一个标准的一元线性回归模型，$c_2$ 是斜率、$c_1$ 是截距。 新数据的散点图（图 8.2-14）“呈现出很强的线性相关特征”，拟合得

$$\hat{y}_2=-0.4264398x+11.8012653 . \tag{$*$}$$

把 $x=\ln(t-1895)$ 代回，得到由年份直接预报纪录的非线性经验回归方程

$$\hat{y}_2=-0.4264398\ln(t-1895)+11.8012653 . \tag{②}$$

这套”换元 $\to$ 线性回归 $\to$ 换回去”的手法要记牢，它把已有的线性工具用到了曲线关系上。 选 $\ln(t-1895)$ 而不是 $\ln t$，是因为 $1895$ 让第一个数据点 $t=1896$ 对应 $x=0$， 既有实际含义，又避免了取对数后数据挤成一团。

十、比较两个模型：残差平方和与决定系数

有了两个方程，怎么判断谁更好？

方法一：逐个比较残差。 两个方程的残差计算公式分别是

$$\hat{e}_i=y_i+0.02033743t_i-49.76913031,\qquad \hat{u}_i=y_i+0.4264398\ln(t_i-1895)-11.8012653 ,$$

$i=1,2,\dots,8$。观察表 8.2-7 各项残差的绝对值，②远远小于①。

但逐个比较一般靠不住——常常是有些点上这个模型好、另一些点上那个模型好。 所以有方法二：比较残差平方和：

$$Q_1=\sum_{i=1}^{8}(\hat{e}_i)^{2}\approx 0.669,\qquad Q_2=\sum_{i=1}^{8}(\hat{u}_i)^{2}\approx 0.004 .$$

$Q_2<Q_1$，所以在残差平方和最小的标准下，非线性回归模型的拟合效果优于一元线性回归模型。

方法三：决定系数 $R^{2}$：

$$R^{2}=1-\frac{\sum\limits_{i=1}^{n}(y_i-\hat{y}_i)^{2}}{\sum\limits_{i=1}^{n}(y_i-\overline{y})^{2}} .$$

怎么读这个式子：分母 $\sum(y_i-\overline{y})^{2}$ 与经验回归方程无关， 它衡量的是”什么都不做、只用 $\overline{y}$ 去猜”时的总误差；分子是用模型之后剩下的残差平方和。 所以这个分式就是”没被模型解释掉的比例”，$R^{2}$ 就是”被模型解释掉的比例”。

因此 $R^{2}$ 越大 $\Rightarrow$ 残差平方和越小 $\Rightarrow$ 拟合效果越好；反之越差。

由表 8.2-7 算得方程①、②的 $R^{2}$ 分别约为 $0.7325$ 和 $0.9983$，②的刻画效果好很多。

方法四：用新数据检验。 1968 年之后还有新的世界纪录（表 8.2-8）。 把这些新散点画上去（图 8.2-17），发现它们分布在②的曲线附近，远离①的直线， 表明②对新数据的预报效果远远好于①。

这四种方法的分量不同：前三种都是在原样本上比较拟合，第四种是拿没参与建模的数据检验， 说服力最强。真正的模型评价，最终要看它在新数据上的表现。

十一、用经验回归方程预测时的四条注意

课本在这里列了四条，条条都是常见错误的对治：

1. 只适用于所研究的样本的总体。 用中国父子身高数据建的方程，不能拿去描述美国的父子身高； 用南方多雨地区的树高与胸径数据建的方程，不能拿去描述北方干旱地区；
2. 一般都有时效性。 用 20 世纪 80 年代的父子身高数据建的方程，不能拿来描述现在；
3. 解释变量的取值不能离样本数据的范围太远。 在样本范围内预报效果比较好， 超出这个范围越远，预报效果越差（本节习题里”用人口回归模型预测 2020 年”、 “用 GDP 直线预测 2017 年”考的都是这一条）；
4. 不能期望预报值就是响应变量的精确值。 它是响应变量可能取值的平均值—— 这句话已经是本章第三次出现了。

另外还有一个思考题：百米纪录与年份呈现的是对数关系，能不能用样本相关系数刻画这种关系的强弱？ 答案是不能直接用——$r$ 只度量线性相关程度。但换元之后可以： 对新变量 $x=\ln(t-1895)$ 与 $Y$ 算样本相关系数，它度量的正是这层对数关系的强弱， $|r|$ 会非常接近 $1$。这与 §8.1.2 的结论完全一致。

十二、小结

• 最小二乘法：把”整体接近程度”定义成竖直距离的平方和 $Q$，取使 $Q$ 最小的 $a$、$b$；
• 推导两步：配方分离 $a$（交叉项为零靠”偏差之和为零”）$\to$ 一元二次函数求 $b$；
• 公式（2） 与手算用的展开式；
• 两条性质：经验回归直线过 $(\overline{x},\overline{y})$；残差之和恒为 $0$（所以它不能用来评价模型）；
• $\hat{b}$ 的解释：$x$ 每增加一个单位，$Y$ 平均增加 $\hat{b}$ 个单位；
• 回归现象：$0<\hat{b}<1$ 时后代向中间值靠拢，这是”回归”一词的来源；
• 残差分析：好的残差图是一条以横轴为对称轴的均匀水平带；有趋势 $\Rightarrow$ 模型漏了规律， 有喇叭口 $\Rightarrow$ 方差不齐；
• 非线性怎么办：换元线性化，做完回归再把元换回去；
• 模型比较：残差平方和越小越好，$R^{2}$ 越大越好，最硬的检验是新数据；
• 预测的四条注意：限总体、有时效、别外推太远、预报的是均值。

下一节 §8.3 会转向另一类问题：当两个变量都是分类变量（不是数值）时， 怎么判断它们有没有关联——列联表与独立性检验。

本节目录里有十七页（page-0112–page-0128，印刷页码第 107–123 页）。本份收 16 道： 上一小节 §8.2.1「练习」跨页留在本目录里的 3 道、本小节两处「练习」共 7 道 （第 113 页 5 道、第 120 页 2 道）、节末「习题 8.2」6 道 （复习巩固 3 道、综合运用 2 道、拓广探索 1 道）。

归属说明。 §8.2.1 只占 page-0110–page-0111 两页，它的「练习」三道印在次页 page-0112 的页首， 而 page-0112 归本目录。引文门只认本节自己的转写，所以这三道只能落在这一份里。

数据来源说明。 本节多道题的数据表在课本里是插图，digest 没有抽成文字： 练习第 3 题要用的表 8.1-1、第 4 题要用的表 8.2-2、第 120 页练习第 2 题的两张 GDP 表、 习题第 2 题的工时表、第 3 题要用的表 8.1-2、第 4 题的人口表、第 5 题的地震表。 下面凡是用到这些数据的地方，都是按扫描图读出后转述，正文里逐处点明，不是课本原文。 另外，2017 年的实际 GDP、2020 年的实际人口这两个数字课本里没有，取自国家统计局公布数据， 也会单独声明。

页码用的是印刷页码（page-0112 的页脚印着 107）；全仓口径不一见 #534。

§8.2.1 练习（第 107 页）第 1 题

1. 说明函数模型与回归模型的区别，并分别举出两个应用函数模型和回归模型的例子.

先说区别。 两种模型刻画的是两种性质完全不同的关系：

一句话概括：函数模型里 $x$ 说了算；回归模型里 $x$ 只说了一部分，剩下的交给随机误差。

应用函数模型的两个例子。

• 圆的面积与半径：$S=\pi r^{2}$。半径定了，面积一个不差地定下来，没有任何随机成分；
• 匀速直线运动的路程与时间：$s=vt$（$v$ 为已知常数）。时间定了，路程唯一确定。

（其余合格的例子：正方体棱长与体积 $V=a^{3}$、摄氏度与华氏度 $F=1.8C+32$、 按固定单价买东西的总价与数量。共同特征是”由一个算出另一个，没有第二种可能”。）

应用回归模型的两个例子。

• 儿子身高关于父亲身高：本节引例，$\hat{y}=0.839x+28.957$。父亲身高相同的两个人， 儿子身高可以不同（表 8.2-1 第 6、8 两个观测就是），所以只能用回归模型；
• 树高关于胸径：本节例题，$\hat{h}=0.2493d+14.84$。胸径相同的两棵树，树高不会一样， 还受土壤、光照、树龄的影响。

（其余合格的例子：人体脂肪含量关于年龄、广告支出与销售额、加工时间与零件数、 学生的物理成绩与数学成绩。共同特征是”有明显趋势，但同一个 $x$ 会配出不同的 $y$”。）

举例时的判别口诀：问自己一句——”$x$ 相同的两个对象，$y$ 有没有可能不同？” 不可能，是函数模型；有可能，是回归模型。

§8.2.1 练习（第 107 页）第 2 题

2. 在一元线性回归模型（1）中，参数 $b$ 的含义是什么？

模型（1）是

$$\left\{ \begin{array}{l} Y=bx+a+e,\\ E(e)=0,\quad D(e)=\sigma^{2}, \end{array} \right.$$

其中 $b$ 称为斜率参数。

含义（精确说法）：$x$ 每增加 $1$ 个单位，$Y$ 的均值增加 $b$ 个单位。

推导一遍就清楚了。 由 $E(e)=0$ 得，当解释变量取定为 $x$ 时，

$$E(Y\mid x)=E(bx+a+e)=bx+a+E(e)=bx+a .$$

于是

$$E(Y\mid x+1)-E(Y\mid x)=\bigl[b(x+1)+a\bigr]-\bigl[bx+a\bigr]=b .$$

也就是说，$b$ 度量的正是 $x$ 每增加一个单位时 $Y$ 的平均变化量。 用 §8.2.1 的语言说：$bx+a$ 是解释变量取 $x$ 的那个子总体的均值， $b$ 就是这条”均值随 $x$ 变化”的直线的斜率。

“平均”两个字绝对不能省。 说成”父亲身高每增加 1 cm，儿子身高就增加 $b$ cm”是错的—— 具体到某一对父子，儿子身高还要加上他自己那份随机误差 $e_i$，可能增加得多，也可能反而变矮。 $b$ 描述的是一群人的平均趋势，不是任何一个个体的确定变化。

符号的含义：

• $b>0$：$x$ 增大时 $Y$ 的均值增大，两个变量正相关；
• $b<0$：$x$ 增大时 $Y$ 的均值减小，两个变量负相关；
• $b=0$：$Y$ 的均值与 $x$ 无关，模型退化成 $Y=a+e$，说明用 $x$ 解释 $Y$ 是徒劳的。

再补一句尺度上的提醒：$b$ 带单位（$Y$ 的单位除以 $x$ 的单位）， 所以它的大小随单位改变而改变，不能拿 $b$ 的大小去衡量相关程度的强弱——那是样本相关系数 $r$ 的活。 父子身高的 $\hat{b}=0.839$ 与树高胸径的 $\hat{b}=0.2493$ 谁大谁小，不说明哪一对变量关系更紧。

§8.2.1 练习（第 107 页）第 3 题

3. 将图 8.2-1 中的点按父亲身高的大小次序用折线连起来，所得到的图象是一个折线图，可以用这条折线表示儿子身高和父亲身高之间的关系吗？

答：不可以。

先说清楚本题用到的原始数据出自哪里，以免把不该当已知的东西当成已知。 表 8.2-1（教科书第 $105$ 页）给出的 $14$ 组数据是：

下面用到的三条事实都从这张表和本节正文里直接读得出： 第 $6$、$8$ 两个观测的父亲身高都是 $172$ cm 而儿子身高分别为 $176$、$174$ cm （§8.2.1 正文原样点出过这一对）；父亲身高的取值只有 $164$、$166$、$168$、$169$、$170$、$172$、$172$、$173$、$173$、$174$、$180$、$180$、$182$、$182$，其中没有 $175$； 斜率 $0.839$ 来自本节由这 $14$ 组数据算出的经验回归方程 $\hat y=0.839x+28.957$。

错法：拿”不是函数图象”当理由

表里确实有父亲身高相同而儿子身高不同的观测（第 $6$、$8$ 两个）， 按父亲身高排序连折线时，横坐标 $172$ 处有两个点，折线在这里得画一段竖直的。 于是很容易顺口说成：“这不是函数图象，所以不能表示关系。”

这句话前半对、后半错，不能作为本题的理由。 §8.2.1 要区分的恰恰是相关关系与函数关系—— 一个 $x$ 配着多个 $y$ 正是相关关系的常态， 它只说明父子身高之间不是函数关系，丝毫不妨碍两者”有关系”。 折线本身照样画得出来（竖直段是允许的），题面也已经把它叫作”折线图”。 何况就算表里没有重复的父亲身高、折线画得干干净净，答案照样是不可以。

所以真正的理由必须落在”折线穿过每一个点”这件事上。

理由一：折线把随机误差也当成了规律

折线穿过每一个样本点，等于宣称”观测到的每一个 $y_i$ 都是 $x_i$ 应有的取值”， 也就是假定随机误差恒为 $0$。可 §8.2.1 已经说清楚，儿子身高还受母亲身高、生活环境、 饮食习惯以及测量误差的影响，一元线性回归模型正是把这些写成随机误差 $e$、 并假定 $E(e)=0$、$D(e)=\sigma^{2}$。 把误差当成规律，正是回归模型要避免的事。

理由二：折线不稳定、不可解释、不能预测

• 不稳定：换一批 $14$ 名学生，折线的形状会完全不同；而经验回归方程只会小幅变动；
• 不可解释：折线上下起伏，说不出”父亲身高每增加 $1$ cm，儿子身高平均增加多少”这种话； 经验回归直线的斜率 $0.839$ 就是这句话；
• 不能预测：父亲身高 $175$ cm 在表 8.2-1 里没有出现过， 折线只能把 $174$ 与 $180$ 两点硬连起来， 而这一段连线纯粹由那两个个体的随机误差决定，毫无根据； 回归直线给出的 $\hat y=0.839\times 175+28.957\approx 175.8$ cm 则是对”父亲身高 $175$ cm 这个子总体”的均值估计。

总结成一句：折线做的是描述这 14 个观测，回归直线做的是提取两个变量之间的趋势。 统计建模要的是后者——从数据里分离出”主要因素的影响”和”随机误差”，而不是把两者一起照抄下来。

练习（第 113 页）第 1 题

1. 对一元线性回归模型参数 $a$ 和 $b$ 的估计中，有人认为：“估计方法不止一种，根据不同的样本观测数据到直线‘整体接近程度’的定义，可以得到参数 $a$ 和 $b$ 不同的估计，只要‘整体接近程度’定义合理即可.”你觉得这个说法对吗？

答：这个说法是对的。

为什么对。 回顾最小二乘法的来历：一开始”从整体上看，各散点与直线最接近”只是一句白话， 它本身没有数学含义，必须先由我们定义成一个可以计算的量，然后才谈得上求最小。 课本选的是竖直距离的平方和

$$Q=\sum_{i=1}^{n}(y_i-bx_i-a)^{2},$$

但这只是选择之一。换一个合理的定义，就会得到另一套估计：

这些定义都不违背”整体接近”的直觉，所以都合理；而它们给出的 $\hat{a}$、$\hat{b}$ 一般互不相同。 可见”参数的估计”不是一个天然唯一的东西，它依附于你选的接近程度的度量。

但话要说完整，否则容易滑向”怎么定义都行”的相对主义。补两点：

• 合理的定义要满足一些基本要求：比如所有点都落在直线上时这个量应取到最小（通常是 $0$）， 某个点离直线越远这个量应越大，且不因数据编号次序改变而改变。乱定义一个量不算数；
• 不同的估计有优劣之分，需要另行评价。最小二乘之所以成为标准做法，原因是具体的： 一来绝对值不便于计算，平方和可以配方求最值（本节的推导），有闭合公式； 二来在模型（1）的假定下，最小二乘估计有良好的统计性质（无偏，且在一类估计中方差最小）。 “可以不止一种”和”哪一种更好”是两个问题，题干说的是前者。

练习（第 113 页）第 2 题

2. 假如女儿身高 $y$ （单位： $\mathrm{cm}$ ）关于父亲身高 $x$ （单位： $\mathrm{cm}$ ）的经验回归方程为 $\hat{y} = 0.81x + 25.82$ 已知父亲身高为 $175~\mathrm{cm}$，请估计女儿的身高.

直接代入。 经验回归方程为 $\hat{y}=0.81x+25.82$，取 $x=175$：

$$\hat{y}=0.81\times 175+25.82=141.75+25.82=167.57\ (\mathrm{cm}).$$

答：估计这位父亲的女儿身高约为 $167.57$ cm。

但这句”估计”必须说准。 按本章反复强调的读法，$167.57$ cm 不是这位父亲的女儿的确切身高， 而是父亲身高为 $175$ cm 的所有女儿构成的子总体，其平均身高的估计值。 具体到某一个女儿，还要加上她自己那一份随机误差，高一些矮一些都很正常。

顺带看两处细节，都是本节的知识点：

• 斜率 $0.81$ 的含义：父亲身高每增加 $1$ cm，女儿身高平均增加 $0.81$ cm。 $0.81<1$ 说的是向女儿这一代的均值回归——把方程改写成 $\hat{y}-\overline{y}=0.81(x-\overline{x})$ 就清楚了：父亲比父辈平均高 $1$ cm， 女儿只比女儿辈平均高 $0.81$ cm，偏离各自均值的幅度被缩小了。 但不能顺口说成”矮个子父亲的女儿平均比父亲高”。 令 $\hat{y}=x$ 解得 $x=\dfrac{25.82}{1-0.81}\approx 135.9$ cm， 成年男子身高全在这个交点的右侧，所以在样本范围内一律 $\hat{y}<x$： 矮个子父亲的女儿，平均身高同样低于父亲。 原因是父女之间还叠着男女平均身高之差；课本正文里父亲—儿子那种 “矮个子父亲的儿子平均高于父亲”的说法，不能原样搬到父亲—女儿上来；
• 截距 $25.82$ 不能解释成”父亲身高为 $0$ 时女儿身高 $25.82$ cm”。$x=0$ 离样本范围 （成年男子身高，$160\sim 190$ cm 上下）远到荒谬，属于严重外推，这个数没有实际含义。 $175$ cm 落在样本范围之内，所以这次预报是可靠的。

练习（第 113 页）第 3 题

3. 根据8.1.1节表8.1-1中的数据，建立人体的脂肪含量关于年龄的经验回归方程，画出残差图，描述残差图的特点.

表 8.1-1 在课本里是插图，digest 没有抽成文字。按 8.1-成对数据的统计相关性/page-0099.png 扫描图读出如下（以下数值是本份对扫描图的转述，不是课本原文）：

第一步：确认可以用一元线性回归模型。 §8.1.2 例 1 已经算出这组数据的样本相关系数 $r\approx 0.97$，散点集中在一条直线附近， 正线性相关且相关程度很强。先有这一步，建模才有依据。

第二步：算 $\hat{b}$ 和 $\hat{a}$。 取年龄为 $x$、脂肪含量为 $y$，$n=14$。 课本例 1 已经给出四个和（本份独立复算一致）：

$$\sum x_i=673,\quad \sum y_i=381.7,\quad \sum x_iy_i=19403.2,\quad \sum x_i^{2}=34181 ,$$

于是 $\overline{x}=\dfrac{673}{14}\approx 48.07$，$\overline{y}=\dfrac{381.7}{14}\approx 27.26$，

$$\sum x_iy_i-14\overline{x}\,\overline{y}=19403.2-\frac{673\times 381.7}{14}\approx 1054.34,$$ $$\sum x_i^{2}-14\overline{x}^{2}=34181-\frac{673^{2}}{14}\approx 1828.93,$$ $$\hat{b}=\frac{1054.34}{1828.93}\approx 0.5765, \qquad \hat{a}=\overline{y}-\hat{b}\,\overline{x}\approx 27.26-0.5765\times 48.07\approx -0.4478 .$$

经验回归方程为

$$\hat{y}=0.5765x-0.4478 .$$

（验算：把 $\overline{x}\approx 48.07$ 代入得 $\hat{y}\approx 27.26=\overline{y}$， 经验回归直线过样本中心点，说明系数没算错。）

第三步：算残差，画残差图。 残差 $=y_i-\hat{y}_i$，逐个算出（精确到 $0.01$）：

以年龄为横坐标、残差为纵坐标作散点图，即得残差图。

第四步：描述残差图的特点。

• 残差有正有负，且和为 $0$（本节练习第 4 题会专门讲这条恒等式）；
• 绝对值最大的是年龄 $23$ 岁那一点，残差 $-3.31$；其次是 $27$ 岁的 $+2.68$ 和 $41$ 岁的 $+2.71$。 除这三点外，其余 11 个点的残差都在 $\pm 2.1$ 以内；
• 整体上残差比较均匀地分布在横轴两侧，落在一条以横轴为对称轴的水平带状区域内， 没有随年龄增大而系统性上升或下降的趋势，也没有喇叭口（方差看不出随年龄变大）。

结论：残差图基本符合一元线性回归模型对随机误差的假定（均值为 $0$、方差为常数）， 说明用一元线性回归模型刻画脂肪含量与年龄的关系是合适的，拟合效果好 （决定系数 $R^{2}\approx 0.94$，即年龄解释了脂肪含量约 $94\%$ 的变异）。

一处值得多说的细节：年龄最小的两个点（$23$ 岁与 $27$ 岁）残差一负一正且都偏大， 提示在低年龄段直线可能贴得不够好——脂肪含量在青年期随年龄上升得更快些。 样本里 $23$ 到 $39$ 岁之间是空的，这一段没有数据支撑。 所以这个方程适用于 $23\sim 61$ 岁，拿去预报少年儿童或八十岁老人的脂肪含量都属于外推，不可靠。

练习（第 113 页）第 4 题

4. 计算表 8.2-2 中的所有残差之和，你能发现什么规律？

表 8.2-2 在课本里是插图。它列的是父子身高数据（表 8.2-1）在经验回归方程 $\hat{y}=0.839x+28.957$ 下的残差。本份按课本给出的方程和表 8.2-1 逐个复算如下 （表 8.2-1 的数值是本份对 8.2-一元线性回归模型及其应用/page-0110.png 扫描图的转述）：

（复算与课本对得上：第 6 个观测的残差是 $2.735$，与正文的示范一致； 残差绝对值最大的是第 2 个观测的 $4.413$，与课本”残差的绝对值最大是 4.413”一致。）

求和：

$$\begin{aligned} \sum_{i=1}^{14}(y_i-\hat{y}_i) &=1.057+4.413-4.104-0.748+3.345+2.735-1.977\\ &\quad +0.735+0.091-0.231-3.655-2.104-1.553+2.023\\ &=0.027 . \end{aligned}$$

答：所有残差之和约为 $0$。

发现的规律：残差之和恒等于 $0$。 这不是巧合，是可以证明的恒等式：

$$\sum_{i=1}^{n}(y_i-\hat{y}_i) =\sum_{i=1}^{n}\bigl[y_i-\hat{b}x_i-\hat{a}\bigr] \overset{\hat{a}=\overline{y}-\hat{b}\overline{x}}{=} \sum_{i=1}^{n}\bigl[(y_i-\overline{y})-\hat{b}(x_i-\overline{x})\bigr] =\sum_{i=1}^{n}(y_i-\overline{y})-\hat{b}\sum_{i=1}^{n}(x_i-\overline{x})=0 ,$$

因为偏差之和恒为零：$\sum(y_i-\overline{y})=n\overline{y}-n\overline{y}=0$，$\sum(x_i-\overline{x})=0$。

那算出来的 $0.027$ 是怎么回事？ 是舍入。课本把 $\hat{b}$、$\hat{a}$ 四舍五入成了 $0.839$ 和 $28.957$；用未舍入的最小二乘估计（$\hat{b}=0.839012\cdots$、$\hat{a}=28.956887\cdots$）重算， 残差之和恰好是 $0$。$0.027$ 相对于 $14$ 个身高数据（一百七十几厘米）而言完全可以忽略。

这条规律有两个直接推论，都很要紧：

• 残差的平均值为 $0$，这与模型假定 $E(e)=0$ 正好对上——最小二乘估计”自动”让残差满足了这条假定；
• 残差之和不能用来评价模型的好坏。 不管直线拟合得多糟，只要模型带截距 $a$， 残差和永远是 $0$，正负残差自己抵消掉了。 要评价拟合效果，必须用残差平方和 $\sum(y_i-\hat{y}_i)^{2}$、决定系数 $R^{2}$，或者直接看残差图。

（另外还有一条同类的恒等式：$\sum\limits_{i=1}^{n}x_i(y_i-\hat{y}_i)=0$， 即残差与解释变量”不相关”。它同样是最小二乘的副产品，同样不能用来评价模型。）

练习（第 113 页）第 5 题

5. 假设变量 x 与变量 Y 的 n 对观测数据为 $(x_{1}, y_{1})$ , $(x_{2}, y_{2})$ , $\cdots$ , $(x_{n}, y_{n})$ ，两个变量满足一元线性回归模型

$\left\{ \begin{array}{l} Y = b x + e, \\ E (e) = 0, D (e) = \sigma^ {2}. \end{array} \right.$

请写出参数 b 的最小二乘估计.

这是一个不带截距的一元线性回归模型（回归直线过原点）。求法与课本正文完全平行， 只是少了一个参数，反而更简单。

第一步：写出”整体接近程度”。 由 $y_i=bx_i+e_i$ 得 $\lvert y_i-bx_i\rvert=\lvert e_i\rvert$， 仍用竖直距离的平方和：

$$Q(b)=\sum_{i=1}^{n}(y_i-bx_i)^{2}.$$

第二步：展开成关于 $b$ 的二次函数。

$$Q(b)=b^{2}\sum_{i=1}^{n}x_i^{2}-2b\sum_{i=1}^{n}x_iy_i+\sum_{i=1}^{n}y_i^{2}.$$

第三步：用对称轴求最小。 只要 $x_1,x_2,\dots,x_n$ 不全为 $0$， 就有二次项系数 $\sum\limits_{i=1}^{n}x_i^{2}>0$，抛物线开口向上，故 $Q$ 在对称轴处取到最小值：

$$\hat{b}=\frac{\sum\limits_{i=1}^{n}x_iy_i}{\sum\limits_{i=1}^{n}x_i^{2}} .$$

答：参数 $b$ 的最小二乘估计为 $\hat{b}=\dfrac{\sum\limits_{i=1}^{n}x_iy_i}{\sum\limits_{i=1}^{n}x_i^{2}}$，经验回归方程为 $\hat{y}=\hat{b}x$。

与带截距的模型对照着记，差别很有意思：

最后一行要特别注意。 上一题证明”残差和为 $0$“时，用的正是 $\hat{a}=\overline{y}-\hat{b}\overline{x}$； 这里没有 $\hat{a}$，那一步就没了，所以残差和不再自动归零。 这也从反面说明了那条恒等式的来源是”模型带截距”，而不是”最小二乘”本身。

什么时候该用不带截距的模型？ 当理论上就要求 $x=0$ 时 $Y$ 的均值为 $0$ 的时候。 最典型的就是 §8.1.2 习题里的胡克定律：不加外力时弹簧不伸长，所以 $F=kx$ 天然过原点。 没有这种理由时，不要随便去掉截距——强行让直线过原点会把系统性偏差塞进残差里。

练习（第 120 页）第 1 题

1. 在回归分析中，分析残差能够帮助我们解决哪些问题？

残差是随机误差的估计结果——真误差 $e_i=y_i-(bx_i+a)$ 含着未知的 $a$、$b$，看不见； 把它们换成最小二乘估计，就得到看得见的残差 $y_i-\hat{y}_i$。 “看得见”这一点，让残差成了检查模型的窗口。它能解决四类问题：

（一）判断模型是否满足一元线性回归模型对随机误差的假定。 模型要求随机误差均值为 $0$、方差为常数 $\sigma^{2}$。把残差对解释变量（或观测次序）作残差图， 如果残差比较均匀地分布在以横轴为对称轴的水平带状区域内，就说明假定基本成立； 否则说明假定被破坏。课本图 8.2-8 里只有图（4）合格。

（二）指出模型的不足，给出改进方向。 这一条最有价值，因为残差图不仅报警，还指路：

（三）判断原始数据中是否存在可疑数据。 个别点的残差绝对值远大于其余点时，这个点就值得回头查——可能是记录、录入或测量出了错， 也可能它本身就是一个真实的异常个体。异常点对最小二乘估计的影响很大（平方会放大大偏差）， 所以发现它、弄清它的来历，是残差分析的重要用途。

（四）度量拟合效果，并比较不同的模型。 残差平方和 $Q=\sum\limits_{i=1}^{n}(y_i-\hat{y}_i)^{2}$ 越小，拟合越好； 决定系数

$$R^{2}=1-\frac{\sum\limits_{i=1}^{n}(y_i-\hat{y}_i)^{2}}{\sum\limits_{i=1}^{n}(y_i-\overline{y})^{2}}$$

越大，拟合越好。百米飞人问题里正是靠 $Q_1\approx 0.669$ 与 $Q_2\approx 0.004$、 $R^{2}$ 约 $0.7325$ 与 $0.9983$，判定非线性模型远优于线性模型。

最后提醒一条边界：残差之和恒为 $0$（模型带截距时），所以它什么也说明不了。 能用的是残差的分布形态（残差图）和残差的平方和，不是残差的和。

练习（第 120 页）第 2 题

2. 1997—2006 年我国的国内生产总值（GDP）的数据（摘自《中国统计年鉴—2017》）如下：

(1) 作 GDP 和年份的散点图, 根据该图猜想它们之间的关系可以用什么模型描述;

（2）建立年份为解释变量，GDP为响应变量的一元线性回归模型，并计算残差；

（3）根据你得到的一元线性回归模型，预测2017年的GDP，看看你的预测值与实际的GDP的误差是多少；

（4）你认为这个模型能较好地刻画 GDP 和年份的关系吗？请说明理由.

（5）随着时间的发展，又收集到2007—2016年的GDP数据（摘自《中国统计年鉴—2017》）如下：

建立年份（1997—2016）为解释变量，GDP 为响应变量的经验回归方程，并预测 2017 年的 GDP，与实际的 GDP 误差是多少？你能发现什么？

两张 GDP 表在课本里都是插图，按 page-0125.png 扫描图读出如下 （以下数值是本份对扫描图的转述，不是课本原文）：

另外，2017 年的实际 GDP 课本没有给，本份取国家统计局公布的约 $827122$ 亿元 （$82.7$ 万亿元）。这个数字来自课本之外，不同核算版本（初步核算、最终核实）在 $82.0\sim 82.7$ 万亿之间略有出入，但相差远小于下面出现的误差量级，不影响任何结论。

（1）散点图与模型猜想

以年份为横坐标、GDP 为纵坐标描点。看两件事：

• 点整体上升，$10$ 年从 $7.97$ 万亿涨到 $21.94$ 万亿；
• 上升越来越快：$1997\to 1998$ 一年增加 $5480.5$ 亿元， 而 $2005\to 2006$ 一年增加 $32119.6$ 亿元，是前者的近 $6$ 倍。

所以散点不是沿直线走，而是沿一条下凸（向上弯）且递增的曲线走。

猜想：可以用指数型模型描述，例如 $y=c_1\mathrm{e}^{c_2t}$（$c_2>0$）， 或等价地——先对 GDP 取对数，再对年份作一元线性回归。 判据很直接：相邻两年的比值比相邻两年的差值稳定得多。粗算年增长率： $1998$ 年约 $6.9\%$、$2002$ 年约 $9.8\%$、$2006$ 年约 $17.1\%$， 虽不是常数，但比”每年增加同样多”的假设贴近得多。用直线描述只能是粗略的近似。

（2）一元线性回归模型与残差

取年份为解释变量 $x$、GDP 为响应变量 $y$，$n=10$。用公式（2）算得

$$\hat{b}\approx 14854.75,\qquad \hat{a}=\overline{y}-\hat{b}\,\overline{x}\approx -29602353.29,$$

经验回归方程为

$$\hat{y}=14854.75x-29602353.29\quad(\text{单位：亿元}).$$

（$\hat{b}$ 的含义：这十年里 GDP 平均每年增加约 $1.49$ 万亿元。 $\hat{a}$ 是形式上的截距，$x=0$ 对应公元元年，没有任何实际含义。）

各年残差（精确到 $0.1$ 亿元）：

残差呈现出非常明显的规律：正 $\to$ 负 $\to$ 正，是一条 U 形（下凸）曲线。 两端为正、中间为负，正是”真实关系向上弯、却拿直线去拟合”的典型特征。 这已经说明模型不合适了（对照百米飞人问题里方程①的”上、下、上”）。

（3）预测 2017 年的 GDP

$$\hat{y}=14854.75\times 2017-29602353.29\approx 359684.2\ (\text{亿元}),$$

即约 $36.0$ 万亿元。而 2017 年的实际 GDP 约 $827122$ 亿元，

$$\text{误差}=827122-359684\approx 467438\ (\text{亿元}),$$

约 $46.7$ 万亿元，预测值只有实际值的 $43\%$ 左右。

（4）这个模型能较好地刻画 GDP 和年份的关系吗

不能。 三条理由，从弱到强：

• 残差不是随机分布的：（2）里的残差呈明显的 U 形规律，说明数据里还有直线没抓住的系统性趋势。 按残差分析的判据，这属于”残差与解释变量有非线性关系，应在模型中加入非线性函数部分”；
• 决定系数具有欺骗性：这条直线的 $R^{2}\approx 0.921$，孤立地看似乎不低。 但 GDP 十年翻了近三倍，趋势极强，任何一条向上的直线都能拿到不低的 $R^{2}$； 能不能刻画关系，要看残差有没有规律，不能只看 $R^{2}$；
• 预报灾难性地失准：（3）里外推 $11$ 年就差了 $46.7$ 万亿。

根本原因：GDP 随年份是加速增长（近似按比例增长），不是每年增加固定数额。 一元线性回归模型假定的是”每增加一年，均值增加固定的 $b$“，与事实不符。

改进方向：对 GDP 取对数后再作一元线性回归，即令 $z=\ln y$，拟合 $\hat{z}=\hat{b}x+\hat{a}$， 再换回 $\hat{y}=\mathrm{e}^{\hat{z}}$——正是百米飞人问题里”换元线性化”的同一套手法。

（5）用 1997—2016 年的 20 对数据重做

$$\hat{b}\approx 36820.09,\qquad \hat{a}\approx -73562093.55,$$ $$\hat{y}=36820.09x-73562093.55 .$$

预测 2017 年：

$$\hat{y}=36820.09\times 2017-73562093.55\approx 704024.9\ (\text{亿元}),$$

即约 $70.4$ 万亿元。误差为

$$827122-704025\approx 123097\ (\text{亿元}),$$

约 $12.3$ 万亿元。

能发现什么？ 至少三点：

• 扩大样本、让预测点贴近样本范围，预报效果大幅改善。 误差从 $46.7$ 万亿降到 $12.3$ 万亿， 缩小到原来的四分之一左右。原因有二：一是样本从 $10$ 对增加到 $20$ 对； 二是预测点 $2017$ 由”离样本末端 $11$ 年”变成”离样本末端 $1$ 年”， 这正对应课本那条注意事项——解释变量的取值离样本数据的范围越远，预报效果越差；
• 但系统性偏差消不掉。 新方程仍然低估了 $12.3$ 万亿，方向和上一次一样。 只要真实关系是向上弯的曲线，直线在样本区间之外就必然偏低。 换样本只能减轻症状，换模型才能治本；
• 斜率变了，说明”平均每年增加多少”本身不是常数。 $\hat{b}$ 从 $14854.75$ 涨到 $36820.09$， 两倍还多。一个真正合适的模型，其参数不该这样随样本区间大幅漂移。 参数的不稳定本身就是”模型选错了”的信号。

习题 8.2 复习巩固 第 1 题

1. 如果散点图中所有的散点都落在一条斜率为非0的直线上，请回答下列问题：

(1) 解释变量和响应变量的关系是什么?

(2) $R^2$ 是多少?

（1）解释变量和响应变量的关系是什么

答：是函数关系，具体说是一次函数关系 $y=bx+a$（$b\neq 0$）——一种确定性关系。

理由。 所有散点落在同一条斜率非 $0$ 的直线上，意味着每一个 $x_i$ 都对应着直线上唯一的 $y_i=bx_i+a$，没有任何一个 $x$ 配出两个不同的 $y$。这正是函数关系的定义。

用模型的语言说：此时全部随机误差的观测值 $e_i=y_i-(bx_i+a)$ 都等于 $0$， 模型 $Y=bx+a+e$ 退化成 $Y=bx+a$。函数关系是回归模型在”随机部分消失”时的特例。

（也可以从相关系数看：所有点共线 $\Rightarrow \lvert r\rvert=1$， 这是线性相关”紧到极致”的情形，相关关系退化为函数关系。 斜率非 $0$ 这个条件不能少——若 $b=0$，直线水平，$y$ 恒为常数， 此时 $\sum(y_i-\overline{y})^{2}=0$，$r$ 与 $R^{2}$ 都没有定义。）

（2）$R^{2}$ 是多少

答：$R^{2}=1$。

推导。 先确认经验回归直线就是这条直线本身：因为对这条直线有 $Q=\sum(y_i-bx_i-a)^{2}=0$， 而 $Q\geqslant 0$ 恒成立，所以它已经取到了可能的最小值，最小二乘法必然选中它， 即 $\hat{b}=b$、$\hat{a}=a$。于是每个预测值 $\hat{y}_i=y_i$，所有残差都是 $0$，

$$R^{2}=1-\frac{\sum\limits_{i=1}^{n}(y_i-\hat{y}_i)^{2}}{\sum\limits_{i=1}^{n}(y_i-\overline{y})^{2}} =1-\frac{0}{\sum\limits_{i=1}^{n}(y_i-\overline{y})^{2}}=1 .$$

（分母非零正是靠 $b\neq 0$ 保证的：斜率非零且各 $x_i$ 不全相同，$y_i$ 就不会全相等。）

$R^{2}=1$ 是拟合的上界，表示响应变量的变异被模型解释得一点不剩。 现实数据几乎不可能达到——真出现了 $R^{2}=1$，该先怀疑数据是不是编的， 或者两个变量本来就是同一个量的换算（比如身高的厘米数与米数）。

习题 8.2 复习巩固 第 2 题

2. 一个车间为了规定工时定额，需要确定加工零件所花费的时间，为此进行了10次试验，收集数据如表所示.

(1) 画出散点图；

(2) 建立加工时间关于零件数的一元线性回归模型；

(3) 关于加工零件的个数与加工时间, 你能得出什么结论?

数据表在课本里是插图，按 page-0126.png 扫描图读出如下 （以下数值是本份对扫描图的转述，不是课本原文）：

（1）散点图

以零件数为横坐标 $x$、加工时间为纵坐标 $y$ 描出 $10$ 个点。 $x$ 每增加 $10$，$y$ 依次增加 $6,7,6,8,6,7,6,7,7$ 分钟——增量几乎一样， 所以散点几乎严格地落在一条自左下向右上的直线上，线性相关且是正相关，相关程度极强。

（用零件数作横坐标，是因为要由零件数去确定加工时间——要预测谁，谁就当响应变量。）

（2）建立一元线性回归模型

设加工时间 $Y$ 关于零件数 $x$ 的一元线性回归模型为 $Y=bx+a+e$，$E(e)=0$，$D(e)=\sigma^{2}$。 $n=10$，五个和为

$$\sum x_i=550,\quad \sum y_i=917,\quad \sum x_iy_i=55950,\quad \sum x_i^{2}=38500 ,$$

故 $\overline{x}=55$，$\overline{y}=91.7$，

$$\sum x_iy_i-10\overline{x}\,\overline{y}=55950-10\times 55\times 91.7=55950-50435=5515,$$ $$\sum x_i^{2}-10\overline{x}^{2}=38500-10\times 55^{2}=38500-30250=8250,$$ $$\hat{b}=\frac{5515}{8250}\approx 0.6685, \qquad \hat{a}=91.7-0.6685\times 55\approx 54.93 .$$

经验回归方程为

$$\hat{y}=0.6685x+54.93 .$$

（验算：$x=55$ 时 $\hat{y}=91.7=\overline{y}$，过样本中心点。）

拟合效果好得出奇：样本相关系数 $r\approx 0.9998$，$R^{2}\approx 0.9996$， 残差最大的一个才 $0.67$ min，全部残差落在宽度不到 $1.4$ min 的水平带里。

（3）能得出什么结论

结论一：加工时间与零件数高度正线性相关。 $r\approx 0.9998$，几乎共线， 用一元线性回归模型刻画完全合适。

结论二：斜率 $\hat{b}\approx 0.67$ 是”单件工时”。 每多加工 $1$ 个零件，加工时间平均增加约 $0.67$ min（约 $40$ 秒）； 每多加工 $10$ 个，约多花 $6.7$ min。

结论三：截距 $\hat{a}\approx 54.93$ 是”固定准备时间”。 它是与零件数无关的那部分开销——领料、装夹、调机、首件检验等。 这是本题最有实际意义的一处：加工时间不与零件数成正比，而是”固定开销 + 单件工时 $\times$ 件数”。 所以批量越大，分摊到每个零件的平均时间越少：

$$\frac{\hat{y}}{x}=0.6685+\frac{54.93}{x},$$

$x=10$ 时约 $6.16$ min/件，$x=100$ 时只有约 $1.22$ min/件。这正是”批量生产更划算”的数量说明。

结论四（工时定额怎么定）：可定为「准备时间约 $55$ min，每个零件约 $0.67$ min」， 即加工 $x$ 个零件的定额时间约 $0.67x+55$ 分钟。

一处必须提醒：$\hat{a}\approx 54.93$ 对应 $x=0$，而样本里 $x$ 从 $10$ 起， 所以”零件数为 $0$ 时要花 $54.93$ min”是外推出来的解释，只在”存在固定准备时间”这个 实际背景支持下才讲得通。同理，这个方程适用于 $10\sim 100$ 件的范围， 拿去估算加工 $1000$ 件要多久（会得到约 $723$ min）风险很大——批量太大时会有换刀、 休息、疲劳等新因素进来。

习题 8.2 复习巩固 第 3 题

3. 根据8.1.2节例2中某城市居民年收入与A商品销售额的数据：

（1）建立 A 商品销售额关于居民年收入的一元线性回归模型；

(2) 如果这座城市居民的年收入为 40 亿元，估计 A 商品的销售额是多少.

表 8.1-2 在课本里是插图，按 8.1.2-样本相关系数/page-0106.png 扫描图读出如下 （以下数值是本份对扫描图的转述，不是课本原文）：

（1）建立一元线性回归模型

先确认前提。 §8.1.2 例 2 已经判定：散点图呈线性相关，样本相关系数 $r\approx 0.95$， 正线性相关且相关程度很强。可以用一元线性回归模型。

取居民年收入为解释变量 $x$（亿元）、A 商品销售额为响应变量 $Y$（万元），模型为 $Y=bx+a+e$，$E(e)=0$，$D(e)=\sigma^{2}$。$n=10$，

$$\sum x_i=379.7,\quad \sum y_i=391,\quad \sum x_iy_i=15202.9,\quad \sum x_i^{2}=14663.67 ,$$

$\overline{x}=37.97$，$\overline{y}=39.1$，

$$\sum x_iy_i-10\overline{x}\,\overline{y}=15202.9-10\times 37.97\times 39.1=15202.9-14846.27=356.63,$$ $$\sum x_i^{2}-10\overline{x}^{2}=14663.67-10\times 37.97^{2}=14663.67-14417.209=246.461,$$ $$\hat{b}=\frac{356.63}{246.461}\approx 1.4470, \qquad \hat{a}=39.1-1.4470\times 37.97\approx -15.84 .$$

经验回归方程为

$$\hat{y}=1.4470x-15.84 .$$

（验算：$x=37.97$ 时 $\hat{y}\approx 39.1=\overline{y}$，过样本中心点。）

斜率的含义要连单位一起说：居民年收入每增加 $1$ 亿元， A 商品销售额平均增加约 $1.45$ 万元。两个变量单位不同，$\hat{b}$ 的单位是”万元/亿元”。

（2）居民年收入为 40 亿元时的销售额

$$\hat{y}=1.4470\times 40-15.84=57.880-15.84=42.04\ (\text{万元}).$$

答：估计 A 商品的销售额约为 $42.04$ 万元（取一位小数即 $42.0$ 万元）。

这次预报是可靠的，因为 $x=40$ 落在样本范围 $[31.1,\;46.0]$ 之内，属于内插而非外推 （对照上一题里”$x=0$ 时的截距”和 GDP 题里的 $2017$ 年，都是外推）。

两点补充：

• $\hat{a}\approx -15.84$ 不能解释成”居民年收入为 $0$ 时销售额为 $-15.84$ 万元”。 销售额不可能为负；$x=0$ 离样本范围极远，截距在这里只是直线的定位参数，没有实际含义；
• $42.0$ 万元是均值的估计——是”居民年收入为 $40$ 亿元的那些年份里，A 商品销售额的平均值”， 不是某一年一定卖到这个数。

习题 8.2 综合运用 第 4 题

4. 人口问题是关乎国计民生的大问题. 下表是 1949—2016 年我国的人口总数（摘自《中国统计年鉴—2017》）.

(1) 画出散点图；

(2) 建立总人口数关于年份的一元线性回归模型；

（3）直接用上面建立的回归模型预测2020年的我国人口总数，得到的结果合理吗？为什么？

人口表在课本里是插图，按 page-0126.png 扫描图读出 $53$ 对数据 （以下数值是本份对扫描图的转述，不是课本原文）。注意年份不连续： 1949—1951 逐年，然后跳到 1955、1960、1965，再从 1970 起逐年到 2016。

| 年份 | 2014 | 2015 | 2016 | | --- | --- | --- | | 总人口/万人 | 136782 | 137462 | 138271 |

另外，2020 年的实际人口课本没有给，本份取国家统计局公布的约 $141212$ 万人 （第七次全国人口普查为 $141178$ 万人）。这个数字来自课本之外，两个口径相差约 $34$ 万人， 远小于下面出现的误差量级，不影响结论。

（1）散点图

以年份为横坐标、总人口为纵坐标描出 $53$ 个点。整体自左下向右上升， 但仔细看会发现斜率在变：

• $1949\to 1980$：$31$ 年增加约 $44538$ 万人，年均约 $1437$ 万人；
• $1980\to 2000$：$20$ 年增加约 $28038$ 万人，年均约 $1402$ 万人；
• $2000\to 2016$：$16$ 年增加约 $11528$ 万人，年均只有约 $720$ 万人。

点云不是一条直线，而是一条越往右越平缓的、上凸的曲线（增长在减速）。 另外还要留意：1951—1970 这二十年间只有 $1955$、$1960$、$1965$、$1970$ 四个点， 样本在前段稀疏、后段稠密。

（2）建立一元线性回归模型

取年份为解释变量 $x$、总人口（万人）为响应变量 $Y$。对全部 $53$ 对数据用公式（2），算得

$$\hat{b}\approx 1313.47,\qquad \hat{a}\approx -2502859.14,$$

经验回归方程为

$$\hat{y}=1313.47x-2502859.14\quad(\text{单位：万人}).$$

样本相关系数 $r\approx 0.9916$，$R^{2}\approx 0.9833$。 $\hat{b}$ 的含义：$1949$—$2016$ 年间我国人口平均每年增加约 $1313$ 万人。

（3）用它预测 2020 年的人口，结果合理吗

$$\hat{y}=1313.47\times 2020-2502859.14\approx 150345\ (\text{万人}),$$

约 $15.03$ 亿人。而 2020 年的实际人口约 $141212$ 万人（约 $14.12$ 亿）。

$$\text{误差}\approx 150345-141212=9133\ (\text{万人}),$$

高估了约 $9133$ 万人，相对误差约 $6.5\%$——将近一亿人。答：不合理。

为什么不合理？四条理由：

其一，真实关系不是线性的，模型选错了。 （1）里已经看到人口增速在持续下降：$20$ 世纪五六十年代年增千余万， $2010$ 年之后年增只有六七百万。线性模型假定”每年增加固定的 $\hat{b}$“，与事实相反。

其二，残差有明显的系统性规律。 逐点看残差：前段（$1949$—$1970$ 前后）为负， 中段（$1980$—$2000$ 前后）转正并达到最大约 $+3655$ 万人， 后段（$2005$ 年之后）又转为负且越来越负，最后一个点（$2016$ 年）的残差达 $-6820$ 万人。 残差呈”负—正—负”的抛物线形，正是”用直线去拟合上凸曲线”的典型征兆 （对照百米飞人问题的方程①）。$R^{2}\approx 0.983$ 看着很高， 但那是被”人口从 $5.4$ 亿涨到 $13.8$ 亿”这个强趋势撑起来的，掩盖不了残差里的规律。

其三，斜率被前期的高增长抬高了。 样本前段稀疏（$1951$ 到 $1970$ 只有四个点） 却覆盖了增长最快的年代，最小二乘用一条直线去平衡整段， 得到的 $\hat{b}\approx 1313$ 万人/年明显高于近年的实际水平（$2000$ 年后仅约 $720$ 万人/年）。 拿这个偏大的斜率往后推，必然越推越高。

其四，$2020$ 超出了样本范围（末端为 $2016$），属于外推。 这正对应课本的注意事项——解释变量的取值离样本数据的范围越远，预报效果越差。

怎么改？两条路：

• 换样本区间：只用近年的数据。用 $2000$—$2016$ 的 $17$ 对数据重做， 得 $\hat{b}\approx 699.7$，预测 $2020$ 年约 $141069$ 万人，与实际的 $141212$ 万人只差约 $143$ 万人， 相对误差约 $0.1\%$。同一个模型形式，把样本换到与预测点相近的区间，效果天差地别；
• 换模型：改用增长率递减的非线性模型（例如逻辑斯谛型），对整段数据都能刻画得更好。

这道题真正要教的一句话：$R^{2}$ 高不等于模型对，残差图里有没有规律才是判据； 而外推的可靠性，取决于预测点离样本范围有多远。

习题 8.2 综合运用 第 5 题

5. 在某地区的一段时间内观测到的不小于某震级 $x$ 的地震数 $N$ 的数据如下表：

这道题的题面在转写里不完整。 数据表和它后面那一问 「试建立经验回归方程表示二者之间的关系，该模型对预测地震有帮助吗？」在课本里被排进了插图 （page-0127.fig-1.jpg），digest 只留下了引出表格的那一句。 下面的数据与这一问都是按 page-0127.png 扫描图读出的转述，不是课本原文：

第一步：先看散点图，直线一定不行

$x$ 从 $3.0$ 增到 $7.0$（只增大了一倍多），$N$ 却从 $28381$ 掉到 $25$——跨了三个数量级。 散点从左上角陡直下落，很快贴近横轴，是一条急剧下降、下凸的曲线。

如果不管形状，硬对 $(x,N)$ 作一元线性回归，会得到 $r\approx -0.79$、$R^{2}\approx 0.62$， 而且预测值在 $x$ 较大时会变成负数（地震数为负，荒谬）。所以必须换模型。

第二步：换元线性化

盯住相邻两项的比值：$28381/20380\approx 1.39$，$20380/14795\approx 1.38$， $\cdots$，$41/25\approx 1.64$。震级每增加 $0.2$ 级，地震数大约变成原来的 $0.7$ 倍左右， 是按比例衰减而不是按固定数量衰减。这正是指数衰减的特征：

$$N\approx C\cdot 10^{-\beta x} \quad\Longleftrightarrow\quad \lg N\approx \lg C-\beta x .$$

所以令 $z=\lg N$，对 $(x,z)$ 作一元线性回归。（用自然对数 $\ln N$ 同样可以， 只差一个常数因子；地震学里习惯用常用对数。）

第三步：求经验回归方程

对 $21$ 对数据 $(x_i,\lg N_i)$ 用公式（2），算得

$$\hat{\beta}\approx -0.7405,\qquad \hat{a}\approx 6.7014,$$

即

$$\widehat{\lg N}=6.7014-0.7405x ,$$

换回原变量得

$$\hat{N}=10^{\,6.7014-0.7405x}.$$

（若用自然对数，则 $\widehat{\ln N}=15.4305-1.7051x$，两者等价。）

拟合效果极好：$(x,\lg N)$ 的样本相关系数 $r\approx -0.9987$，$R^{2}\approx 0.9973$， $21$ 个残差全部落在 $[-0.28,\;0.20]$ 之内，均匀分布在横轴两侧，没有趋势也没有喇叭口。 换元之后，一条几乎完美的直线出现了。

抽两个点验算：

$$x=3.0:\ \hat{N}=10^{6.7014-2.2215}=10^{4.4799}\approx 30191\ (\text{实际 }28381);$$ $$x=7.0:\ \hat{N}=10^{6.7014-5.1835}=10^{1.5179}\approx 33\ (\text{实际 }25).$$

这个规律在地震学里有名字，叫震级—频度关系（古登堡–里希特定律）， 一般写成 $\lg N=a-bx$。本题算出的 $b\approx 0.74$，与全球常见的 $b$ 值（多在 $0.8$ 上下）同量级。

第四步：该模型对预测地震有帮助吗

答：有帮助，但帮的不是”预测下一次地震”。要分两句话说清。

它能做什么。 方程回答的是频度问题：在这一地区、这段时间内， 不小于某个震级的地震大约会发生多少次。例如

$$x=7.5:\ \hat{N}=10^{6.7014-5.5538}=10^{1.1476}\approx 14\ (\text{次}),$$ $$x=8.0:\ \hat{N}=10^{6.7014-5.9240}=10^{0.7774}\approx 6\ (\text{次}).$$

斜率 $-0.7405$ 本身就是最有用的信息：震级每升高 $1$ 级， 地震次数变为原来的 $10^{-0.7405}\approx 0.182$，不到五分之一。 这为抗震设防标准、建筑规范、地震风险评估与保险定价提供了定量依据—— 知道”多大的地震多罕见”，才能决定房子该按几级设防。

它不能做什么。 模型里只有震级一个变量，没有时间，也没有地点。 所以它说不出下一次地震在什么时候、什么地方发生，对地震预报（预警）没有直接作用。 把”某震级地震平均 $N$ 次”误读成”每隔多少年就会来一次”， 是把统计规律当成了时间表——地震的发生在时间上并不均匀。

还有两条使用上的限制：

• 外推要谨慎。 样本震级只到 $7.0$，上面对 $7.5$、$8.0$ 的估计已经是外推； 实际的震级—频度关系在大震端会偏离直线（受地壳能量上限约束），推得越远越不可靠；
• 结论只适用于”这个地区、这段时间”。 这正是课本那条注意事项—— 经验回归方程只适用于所研究的样本的总体。换一个地区，$a$、$b$ 都要重新估计。

习题 8.2 拓广探索 第 6 题

6. 生活中有许多变量之间的关系是值得我们去研究的。例如，数学成绩、物理成绩和化学成绩两两之间是相关的吗？哪两个学科成绩之间相关性更大，你能解释其中的原因吗？语文成绩对数学成绩有影响吗？等等，请用你们班的某次考试成绩，研究它们之间的关系。如果它们之间有关系，请建立统计模型进行分析。

这是一道开放的调查研究题，数据要用你们班自己的成绩，所以没有唯一答案。 下面给的是一套可以照着做的完整方案，以及按常见情形能预期到的结论； 具体的数值必须以你们班的实际数据为准。

一、明确变量与数据

设班级人数为 $n$（$n$ 最好在 $40$ 以上，样本容量太小时样本相关系数很不可靠—— 参见 §8.1.2 练习第 2 题：$3$ 对数据算出 $r=-1$ 也说明不了问题）。 对每位同学同时记下同一次考试的四科成绩，构成成对数据：

$$(\text{数学}_i,\ \text{物理}_i),\quad (\text{数学}_i,\ \text{化学}_i),\quad (\text{物理}_i,\ \text{化学}_i),\quad (\text{语文}_i,\ \text{数学}_i).$$

必须是同一次考试，否则试卷难度不同，数据没有可比性。 如果各科满分不同，先把每科成绩换算成百分制再作比较。

这里要先把”用什么尺度”定下来，而且一定下就不能中途改，因为它会一路影响到最后 斜率怎么解释：

本方案采用原始分（或百分制折算分），下面第六节的解释都按这一行来写。 若你选了标准化，第六节那句话必须换成第二行的说法—— 标准化之后 $\hat b$ 就是相关系数，再说”每多考 $1$ 分”是错的。

二、第一步永远是画散点图

对每一对科目画一张散点图，按 §8.1.1 的三层顺序读：有没有相关性 $\to$ 正还是负 $\to$ 线性还是曲线。

有一个本题特有的现象要留心：天花板效应。成绩有满分上限， 接近满分的一段散点会被”压扁”，可能让点云在右上角变平。 如果确实出现这种情况，说明线性模型在高分段不太合适。

三、第二步：算样本相关系数，排出强弱

对每一对科目算

$$r=\frac{\sum\limits_{i=1}^{n}(x_i-\overline{x})(y_i-\overline{y})} {\sqrt{\sum\limits_{i=1}^{n}(x_i-\overline{x})^{2}}\;\sqrt{\sum\limits_{i=1}^{n}(y_i-\overline{y})^{2}}},$$

手算太繁时用计算工具（Excel 的 CORREL、R 的 cor）。把结果列成一张表，按 $\lvert r\rvert$ 排序。

下面这条排序是”预期”，不是结论，写报告时不能先把它抄上去。 题面没有给任何成绩，这道题的任何一个 $r$ 都只能由你们班的数据算出来。 凭学科之间的知识重叠可以预先猜：

$$r(\text{数学},\text{物理})\;>\;r(\text{数学},\text{化学})\;\approx\;r(\text{物理},\text{化学})\;>\;r(\text{语文},\text{数学}),$$

且四个都为正。但这只是一个待检验的假设： 先猜、再算、最后拿算出来的表去对照这条猜测，对上了要说对上了，对不上更要如实写。 统计报告里出现的每一个 $r$，都必须有数据支撑；预期不能当数据用。

四、第三步：解释原因

为什么数学与物理相关性通常最大？ 因为两科共用的知识与能力重叠最多：

• 知识重叠：函数、方程与不等式、向量、三角、导数、几何，都是物理解题的日常工具；
• 能力重叠：符号运算、建模抽象、逻辑推理、由条件到结论的多步演绎，两科要求几乎一致；
• 考法重叠：物理题里相当一部分的难点其实是数学难点（列式之后的求解）。

化学与数学、物理的相关性次之：化学也要计算（物质的量、浓度、平衡常数）， 但记忆性、实验性的内容占比更高，与数学能力的重叠没那么多。

为什么语文与数学也正相关，却弱一些？ 这一问最值得想： 两科的知识几乎不重叠，$r$ 之所以仍为正，多半来自一个潜在变量—— 学生的整体学业投入与学习能力（用功程度、上课专注度、时间管理、家庭与学校环境） 同时影响两科成绩。

所以必须明确写上一句：这里的相关不是因果。 “语文成绩对数学成绩有影响吗”这一问的正确答案是—— 数据只能显示两者正相关，不能证明语文提高会导致数学提高。 按 §8.1.2 习题第 4 题（天鹅与婴儿出生率）的排查框架： 巧合（样本太小）、反向因果、共同原因，三条都要排除掉，才轮得到”影响”两个字， 而观察一次考试成绩根本排除不掉第三条。

五、第四步：建立并检验统计模型

先回答题面里那个前置条件：“如果它们之间有关系”——它有可能不成立，必须先判。 判据就是第二、三步的结果，两条都要过：

• 散点图呈线性（不是曲线、不是无规律的一团）；
• $\lvert r\rvert$ 足够大（结合 $n$ 看；$n$ 只有几十时 $\lvert r\rvert$ 不到 $0.3$ 基本说明不了问题）。

四对都不满足时，正确的做法是不建线性回归模型， 在报告里写清”本班这次考试的数据不支持在这四对之间建立一元线性回归模型”， 并说明是散点呈曲线、还是相关太弱。 若某一对散点明显弯曲，可以按 §8.2.2 例题的路子先做变量变换再回归， 但不能直接套直线。

通过判据之后，挑 $\lvert r\rvert$ 最大且散点确实呈线性的那一对 （多半是数学与物理），建立一元线性回归模型。 以数学成绩为解释变量 $x$、物理成绩为响应变量 $Y$：

$$\left\{ \begin{array}{l} Y=bx+a+e,\\ E(e)=0,\quad D(e)=\sigma^{2}, \end{array} \right.$$

用公式（2）求出 $\hat{b}$、$\hat{a}$，写出经验回归方程 $\hat{y}=\hat{b}x+\hat{a}$，然后必须做三件事：

1. 算残差、画残差图（横轴取数学成绩）。合格的残差图应当是以横轴为对称轴的水平带； 如果高分段残差系统性偏负（天花板效应），说明线性模型在那一段不合适；
2. 算决定系数 $R^{2}$，说明数学成绩解释了物理成绩变异的百分之多少；
3. 检查异常点：残差绝对值特别大的同学值得单独看——可能是某一科发挥失常， 也可能是成绩录错了。这正是残差分析的第三个用途。

六、报告结论时要守住的三条

• $\hat{b}$ 的解释要带”平均”，还要对上第一节定的尺度： 按本方案的原始分（百分制）口径，是”数学每多考 $1$ 分，物理成绩平均高 $\hat b$ 分”， 不是每个人都高 $\hat b$ 分； 若你在第一节选了标准化，这句话必须改成”数学高出 $1$ 个标准差， 物理平均高 $\hat b$ 个标准差”（此时 $\hat b=r$）；
• 预报的是子总体均值：由某人的数学成绩预报出的物理成绩，是”数学考这个分数的那一群人” 物理成绩的平均值，不是他一定考出的分数；
• 不许外推，也不许越界：$x$ 必须落在本班数学成绩的实际取值范围之内， 范围之外的数学成绩不能拿这条方程去预报； 而且线性预报算出来的 $\hat y$ 可能跑到 $0$ 以下或满分以上， 一旦越界就说明模型在那一段已经不适用，不能把越界的数报出去 （天花板效应正是在高分段制造这种越界）；
• 残差图不合格就不能用：若残差图不是水平带（例如高分段残差系统性偏负）， 这条经验回归方程就不能拿去做预报，只能说”在中低分段大致可用”；
• 结论只适用于本班这次考试：这正是课本的两条注意事项—— 经验回归方程只适用于所研究的样本的总体，而且有时效性。 换一个班、换一次考试（难度不同），$\hat{b}$、$\hat{a}$ 都要重新估计。