8.1 成对数据的统计相关性

人教 A 版 · 本节 3 页原书扫描(原文)+ 本站重写的讲解与习题详解没有考过 ↓

原书扫描页(人教 A 版原文)

原书 page-0098
page-0098
原书 page-0099
page-0099
原书 page-0100
page-0100

考过本节的真题

没有考过

本站语料里还没有一道真题考到这一节:现有攻略中没有任何一篇,经由引本节作教材出处的实体连到本节。这一段是两跳派生的(节 ← 实体 ← 攻略),源里没有「节 → 题」的手写声明——新的攻略一上站,清单会自己长出来。它说的是本站已上站的那些卷子里没有考到,不是「高考不考这一节」。

讲解

本站对这一节的重写(不是原书转写):顺序可重组、推导可补全,目标是易读易学 + 与真题关联。原文以上方扫描图为准。

这一章要处理的是”有关系,但不是函数关系”

函数关系是”给一个 xx 就唯一定出一个 yy“。可现实里有大量这样的情形:两个变量明明有关系, 却达不到函数关系那么紧。人的体重与身高就是——个子高的人往往体重大, 但知道一个人身高 175175 cm,你定不出他的体重。

课本给这种关系起了名字:相关关系。定义里有两个要点,缺一不可:

  1. 两个变量确实有关系(不是毫不相干);
  2. 但没有确切到能由其中一个精确决定另一个。

之所以”决定不了”,是因为影响的因素不止一个。身高只是影响体重的因素之一, 饮食习惯、体育锻炼、睡眠、遗传都在起作用。课本举的四个例子都是这个结构:

例子xxyy大致趋势为什么定不死
遗传父亲身高子女身高父高则子女偏高还有母亲身高、饮食、锻炼
经营广告支出商品销售收入支出越多收入越高还有商品质量、居民收入
环境汽车保有量空气污染指数车越多指数越高还有气象、工业废气、取暖、垃圾焚烧
农业施肥量粮食亩产量一定范围内肥越多产量越高还有土壤质量、降水、田间管理

注意第四个例子里那句”在一定范围内”:施肥超过某个限度,亩产反而会掉下来。 相关关系的趋势常常只在某个范围内成立,这一点后面判断散点图形态时还会遇到。

为什么不能只靠经验,要用数据

既然 yy 不能由 xx 唯一定出,函数就直接用不上了。那怎么办?人的本能是凭经验推断—— “经验之中有规律”,这话没错,经验确实能给决策提供依据。但课本紧接着指出经验的两处不足:

  • 不同经验的人对同一情形可能得出不同结论(没有公共标准);
  • 不是所有情形都有经验可循(新问题就没经验)。

所以研究相关关系的路子是:通过样本数据分析 → 从数据中提取信息 → 构建适当的模型 → 用模型估计或推断。 这一整章(散点图、样本相关系数、回归模型、独立性检验)都是在把这条路子走实。

散点图:把成对数据画成点

研究相关关系,数据不能再是一列数,而必须是成对的:同一个个体上同时测两个量, 得到 (x1,y1),(x2,y2),…,(xn,yn)(x_1,y_1),(x_2,y_2),\dots,(x_n,y_n)。课本的例子是”同一个人的年龄与脂肪含量”—— “同一个体”这四个字是关键,把甲的年龄和乙的脂肪含量凑成一对是没有意义的。

把每一对数据当成直角坐标系里的一个点画出来,得到的统计图叫散点图。 它与直方图是同一个思路的两级:直方图描述单个变量的分布特征,散点图描述成对数据的变化特征。

从散点图能读出什么:三层判断

看一张散点图,按这三层依次问,问完这道题就做完了:

第一层:有没有相关性? 散点若杂乱无章、看不出任何规律,就说明看不出这两个变量有相关性。

第二层:是正相关还是负相关?

  • 一个变量的值增加时,另一个的相应值也呈现增加的趋势 ⇒\Rightarrow 正相关;
  • 一个变量的值增加时,另一个的相应值呈现减小的趋势 ⇒\Rightarrow 负相关。

散点图上,正相关的点云整体从左下走向右上,负相关的从左上走向右下。

注意”呈现趋势”不是”每一点都如此”:允许个别点反着来,看的是整体走向。这正是相关关系与函数关系的分野。

第三层:是线性相关还是曲线相关?

  • 呈现正相关或负相关,而且散点落在一条直线附近 ⇒\Rightarrow 线性相关;
  • 有相关性但不是线性相关 ⇒\Rightarrow 非线性相关,也叫曲线相关。

课本用图 8.1-2 的三张图把边界划清楚了:

散点的形态结论
图(1)落在某条曲线附近有相关性,但不是线性相关
图(2)落在一条折线附近有相关性,但既不是正相关也不是负相关
图(3)杂乱无章,无规律可言看不出有什么相关性

图(2)最值得琢磨:散点先降后升(或先升后降),整体上你既不能说”xx 增大时 yy 增大”, 也不能说”xx 增大时 yy 减小”——趋势在中途拐了弯。所以”正相关 / 负相关”这对概念不是非此即彼, 存在两者都不是的情形。判断时别被”不是正相关”直接推到”那就是负相关”。

几个容易混的说法,摆在一起

说法意思判据
函数关系由 xx 唯一确定 yy同一个 xx 只对应一个 yy
相关关系有关系但定不死同一个 xx 可以对应不同的 yy,但整体有趋势
正相关xx 增 yy 也增点云左下 →\to 右上
负相关xx 增 yy 减点云左上 →\to 右下
线性相关正/负相关且落在直线附近点云贴着一条直线
曲线相关有相关性但不线性点云贴着一条曲线或折线

“线性相关”包含”正相关或负相关”这个前提——先得有单向趋势,才谈得上是不是贴着直线。 所以图 8.1-2 的图(2)虽然点贴着一条折线,也不叫线性相关。

这一小节的局限,与下一小节要补的东西

散点图是直观的方法,好用,但它只能给出定性的判断:“大致像正相关""大致落在直线附近”。 它没法回答”到底有多相关”——两张都呈正相关的散点图,哪一张的点更贴近直线?靠眼睛比不出精确结果, 不同的人还可能看出不同答案,这就又回到了”经验因人而异”的老问题。

所以下一小节(§8.1.2)要做的事,是给相关程度找一个数字特征——就像用均值、方差刻画单个变量那样, 用样本相关系数把”有多相关”量化成一个数。

习题详解(本站解答,无官方答案可核)

人教 A 版学生用书不含答案,教师用书与全解不在本站语料里——因此本节习题的解答无官方答案可核,它们是本站写的。每一道都过了独立 verifier 的 refute 优先复核(默认它有问题,找不出问题才放行),但那不等于官方标准答案:拿它对思路,别拿它对分。

本节目录里有三页(page-0098–page-0100,印刷页码第 93–95 页),印着 §8.1.1「变量的相关关系」 的全部正文(相关关系的概念、四个例子、散点图、正相关与负相关、线性相关与曲线相关)、 图 8.1-1 与图 8.1-2,以及节末「练习」的第 1、2 题。本份收 2 道。

「练习」是跨页的:第 1 题与第 2 题的题干印在 page-0100(本节最后一页), 而第 2 题的四张散点图、以及第 3 题的题干与数据表都印在次页 page-0101,那一页归 §8.1.2 的目录。 所以第 3 题归 §8.1.2 那一份,这里不收;第 2 题的题干在本节,图在次页, 下面第 2 题会专门说明这个缺口怎么处理。

页码用的是印刷页码(page-0100 的页脚印着 95);全仓口径不一见 #534。

练习(第 95 页)第 1 题

  1. 举例说明什么叫相关关系. 相关关系与函数关系有什么区别?

这道题问的是概念,答案不唯一,但必须答到两件事:举一个合格的例子,说清一条本质区别。

先举例。 举本节正文之外的一个:每天的复习时长 xx 与考试成绩 yy。 一般来说复习时间越长,成绩往往越好;但复习时长并不能决定成绩——学习方法、基础、 考试当天的状态、题目难度都在起作用。所以同样复习 3 小时的两个人,成绩可以差很多。 这就是相关关系:两个变量有关系,但又没有确切到可由其中一个精确决定另一个的程度。

(正文里的四个例子同样合格:父亲身高与子女身高、广告支出与销售收入、 汽车保有量与空气污染指数、施肥量与粮食亩产量。举例时关键是要把”还有别的因素在起作用”说出来, 只说”有关系”不算说明白。)

再说区别。 最本质的一条是能不能唯一确定:

函数关系相关关系
由 xx 能否定出 yy能,且唯一不能
同一个 xx 对应的 yy只有一个可以有很多个
关系的性质确定性关系非确定性(随机性)关系
表达方式一个式子 y=f(x)y=f(x)只能说整体趋势,要靠数据与模型刻画
例子圆的面积 S=πr2S=\pi r^{2}身高与体重

一句话概括:函数关系里 xx 说了算,相关关系里 xx 只说了一部分,剩下的交给别的因素和随机性。

一个常被忽略的补充:两者不是并列的两类,而是紧密程度的两端。相关关系”紧”到极致, 就退化成函数关系;反过来说,正因为影响 yy 的因素不止 xx 一个,关系才松开成相关关系。 所以学这一章的目的,就是给”松到什么程度”找一把尺子(§8.1.2 的样本相关系数), 再据此建立可用的模型(§8.2 的回归模型)。

练习(第 95 页)第 2 题

  1. 根据下面的散点图,推断图中的两个变量是否存在相关关系.

先说明一处缺口,免得读者以为漏了。 这道题的四张散点图印在次页 page-0101(印刷第 96 页)上, 图注是「(第 2 题)」。那一页的规范化转写把页首整块吞了,而散点图是插图、校订层只能补文字造不出图, 所以本仓的转写里现在没有这四张图,已在 page-0101-fix.md 里把这件事记为已知缺口。 下面的解答按 page-0101.png 扫描图逐张读出四图的形态再作答—— 四图各自长什么样,是本份对扫描图的转述,不是课本原文,这一点先讲明。

判读的三层顺序(见本节讲解):先问有没有相关性,再问正相关还是负相关,最后问线性还是曲线。

图(1):散点从左上 (1,10)(1,10) 附近一路密集地落到右下 (10,0)(10,0) 附近,围着一条下降的直线上下小幅摆动。

  • 有相关性;
  • xx 增大时 yy 呈现减小的趋势 ⇒\Rightarrow 负相关;
  • 散点紧贴一条直线 ⇒\Rightarrow 线性相关。

结论:存在相关关系,是线性负相关,而且相关程度看上去很强。

图(2):散点先随 xx 上升,在 xx 约 22 到 66 之间抬到 y≈9∼10y\approx 9\sim 10 的高位并大致走平, xx 超过 77 之后掉头向下,到 x≈10x\approx 10 时落到 y≈2y\approx 2。整体是一条先升后降的拱形。

  • 有相关性(点绝不是杂乱的,明显贴着一条曲线);
  • 但 xx 增大时 yy 先增后减,趋势在中途拐了弯,所以既不是正相关,也不是负相关;
  • 自然也不是线性相关,而是非线性相关(曲线相关)。

结论:存在相关关系,是曲线相关;不能说它是正相关或负相关。

图(3):散点在整个矩形区域里铺开,xx 小的地方 yy 有大有小,xx 大的地方 yy 也有大有小, 看不出任何走向。

结论:看不出这两个变量有什么相关性。

图(4):散点整体从左下 (1,1)(1,1) 附近升到右上 (10,8)(10,8) 附近,但上升的速度越来越慢—— xx 从 11 到 44 时 yy 大约从 11 抬到 66,而 xx 从 44 到 1010 时 yy 只从 66 抬到 88 出头。 点云贴着一条向上凸的曲线。

  • 有相关性;
  • xx 增大时 yy 始终呈现增加的趋势 ⇒\Rightarrow 正相关;
  • 但散点贴的是曲线不是直线 ⇒\Rightarrow 非线性相关(曲线相关)。

结论:存在相关关系,是正相关,且为曲线相关。

四图并排一看,正好覆盖了本节全部四种判读结果:

图有无相关性正 / 负线性 / 曲线
(1)有负相关线性相关
(2)有都不是(先升后降)曲线相关
(3)看不出————
(4)有正相关曲线相关

两个容易踩的坑:

  • “不是正相关”推不出”是负相关”。图(2)就是反例:趋势拐了弯,两个都不是。 正相关与负相关不是互补的一对;
  • “有相关性”推不出”线性相关”。图(2)和图(4)都有明显的相关性,但都不线性。 线性相关是相关关系里更强的一类,判它之前先得有单向趋势,再看点是不是贴着直线。

最后说一句这道题的局限,它正是下一小节的引子:图(1)和图(4)的”相关程度”谁更强? 靠眼睛只能说”图(1)看起来更紧”,说不出紧多少,不同的人还可能给出不同判断。 要把这件事说准,就得有一个数——§8.1.2 的样本相关系数。

原书转写(OCR,供核对)

共 3 页· 默认折起

机器转写,如有出入以上方扫描图为准。它是原文可搜索、可复制公式、读屏器读得出的形态, 也是教材原文引文的逐字比对靶。

8.1 成对数据的统计相关性

我们知道,如果变量 yy 是变量 xx 的函数,那么由 xx 就可以唯一确定 yy。然而,现实世界中还存在这样的情况:两个变量之间有关系,但密切程度又达不到函数关系的程度。例如,人的体重与身高存在关系,但由一个人的身高值并不能确定他的体重值。那么,该如何刻画这两个变量之间的关系呢?下面我们就来研究这个问题。

8.1.1 变量的相关关系

我们知道,一个人的体重与他的身高有关系。一般而言,个子高的人往往体重值较大,个子矮的人往往体重值较小。但身高并不是决定体重的唯一因素,例如生活中的饮食习惯、体育锻炼、睡眠时间以及遗传因素等也是影响体重的重要因素。像这样,两个变量有关系,但又没有确切到可由其中的一个去精确地决定另一个的程度,这种关系称为相关关系(correlation)。

两个变量具有相关关系的事例在现实中大量存在. 例如:

  1. 子女身高 yy 与父亲身高 xx 之间的关系。一般来说,父亲的个子高,其子女的个子也会比较高;父亲个子矮,其子女的个子也会比较矮。但影响子女身高的因素,除父亲身高外还有其他因素,例如母亲身高、饮食结构、体育锻炼等,因此父亲身高又不能完全决定子女身高。

  2. 商品销售收入 yy 与广告支出 xx 之间的关系. 一般来说, 广告支出越多, 商品销售收入越高. 但广告支出并不是决定商品销售收入的唯一因素, 商品销售收入还与商品质量、居民收入等因素有关.

  3. 空气污染指数 yy 与汽车保有量 xx 之间的关系. 一般来说, 汽车保有量增加, 空气污染指数会上升. 但汽车保有量并不是造成空气污染的唯一因素, 气象条件、工业废气排放、居民生活和取暖、垃圾焚烧等都是影响空气污染指数的因素.

  4. 粮食亩产量 yy 与施肥量 xx 之间的关系. 在一定范围内, 施肥量越大, 粮食亩产量就越高. 但施肥量并不是决定粮食亩产量的唯一因素, 粮食亩产量还要受到土壤质量、降水量、田间管理水平等因素的影响.

因为在相关关系中,变量 yy 的值不能随变量 xx 的值的确定而唯一确定,所以我们无法直接用函数去描述变量之间的这种关系。对上述各例中两个变量之间的相关关系,我们往往会根据自己以往积累的经验作出推断。“经验之中有规律”,经验的确可以为我们的决策提供一定的依据,但仅凭经验推断又有不足。例如,不同经验的人对同一情形可能会得出不同结论,不是所有的情形都有经验可循等。因此,在研究两个变量之间的相关关系时,我们需要借助数据说话,即通过样本数据分析,从数据中提取信息,并构建适当的模型,再利用模型进行估计或推断。

探究

在对人体的脂肪含量和年龄之间关系的研究中,科研人员获得了一些年龄和脂肪含量的简单随机样本数据,如表8.1-1所示。表中每个编号下的年龄和脂肪含量数据都是对同一个体的观测结果,它们构成了成对数据。

为了更加直观地描述上述成对样本数据中脂肪含量与年龄之间的关系,类似于用直方图描述单个变量样本数据的分布特征,我们用图形展示成对样本数据的变化特征。用横轴表示年龄,纵轴表示脂肪含量,则表8.1-1中每个编号下的成对样本数据都可用直角坐标系中的点表示出来,由这些点组成了如图8.1-1所示的统计图。我们把这样的统计图叫做散点图(scatter plot)。

● ●

利用统计软件画散点图,Excel 软件可以通过插入图表,从图表类型中选取散点图;R 软件可以用函数 plot.

观察图8.1-1,可以发现,这些散点大致落在一条从左下角到右上角的直线附近,表明随年龄值的增加,相应的脂肪含量值呈现增加的趋势。这样,由成对样本数据的分布规律,我们可以推断脂肪含量变量和年龄变量之间存在着相关关系。

从整体上看,当一个变量的值增加时,另一个变量的相应值也呈现增加的趋势,我们就称这两个变量正相关(positive correlation);当一个变量的值增加时,另一个变量的相应值呈现减小的趋势,则称这两个变量负相关(negative correlation).

由图 8.1-1,能够推断脂肪含量与年龄这两个变量正相关.

思考

(1)两个变量负相关时,成对样本数据的散点图有什么特点?

(2) 你能举出生活中两个变量正相关或负相关的一些例子吗?

散点图是描述成对数据之间关系的一种直观方法.观察散点图8.1-1,从中我们不仅可以大致看出脂肪含量和年龄呈现正相关,而且从整体上可以看出散点落在某条直线附近.一般地,如果两个变量的取值呈现正相关或负相关,而且散点落在一条直线附近,我们就称这两个变量线性相关.

观察散点图8.1-2,我们发现:图(1)中的散点落在某条曲线附近,而不是落在一条直线附近,说明这两个变量具有相关性,但不是线性相关;类似地,图(2)中的散点落在一条折线附近,这两个变量也具有相关性,但它们既不是正相关,也不是负相关;图(3)中的散点杂乱无章,无规律可言,看不出这两个变量有什么相关性.

一般地,如果两个变量具有相关性,但不是线性相关,那么我们就称这两个变量非线性相关或曲线相关.

练习

  1. 举例说明什么叫相关关系. 相关关系与函数关系有什么区别?

  2. 根据下面的散点图,推断图中的两个变量是否存在相关关系.