9.1.3 获取数据的途径

人教 A 版 · 本节 7 页原书扫描(原文)+ 本站重写的讲解与习题详解没有考过 ↓

原书扫描页(人教 A 版原文)

原书 page-0193
page-0193
原书 page-0194
page-0194
原书 page-0195
page-0195
原书 page-0196
page-0196
原书 page-0197
page-0197
原书 page-0198
page-0198
原书 page-0199
page-0199

考过本节的真题

没有考过

本站语料里还没有一道真题考到这一节:现有攻略中没有任何一篇,经由引本节作教材出处的实体连到本节。这一段是两跳派生的(节 ← 实体 ← 攻略),源里没有「节 → 题」的手写声明——新的攻略一上站,清单会自己长出来。它说的是本站已上站的那些卷子里没有考到,不是「高考不考这一节」。

讲解

本站对这一节的重写(不是原书转写):顺序可重组、推导可补全,目标是易读易学 + 与真题关联。原文以上方扫描图为准。

本节把镜头拉远:前两节讲的是”已经决定要做调查了,怎么抽样”, 这一节要问的是更前面的一步——数据到底从哪儿来?

统计学是通过收集数据和分析数据来认识未知现象的,因此,如何收集数据是统计学研究的重要内容。 这句话不是套话:数据一旦收错了,后面再精巧的分析也救不回来。

零、先把上一节的悬念收掉:敏感性问题怎么算

上一节末尾那个随机化装置——袋中 5050 白球、5050 红球,摸到白球答”你父亲的公历生日日期是不是奇数”, 摸到红球答”你是否经常吸烟”,答”是”就放一颗石子。

现在给出数据:200200 人中共有 5858 人回答”是”。怎么估计吸烟的比例?

第一步:分清有多少人在答哪个问题。 每个学生摸出白球或红球的概率都是 0.50.5, 所以期望大约有 100100 人回答了第一个问题,另 100100 人回答了第二个问题。

第二步:把”无关问题”那一半的”是”算出来。 在摸出白球的情况下,回答”父亲公历生日日期是奇数”的概率是

186365≈0.51,\frac{186}{365}\approx 0.51 ,

因而在回答第一个问题的 100100 人中,大约有 5151 人回答了”是”。

这个 186186 是怎么来的? 一年 365365 天中日期为奇数的天数: 3131 天的月份(1,3,5,7,8,10,121,3,5,7,8,10,12 月,共 77 个)各有 1616 个奇数日, 3030 天的月份(4,6,9,114,6,9,11 月,共 44 个)各有 1515 个,22 月 2828 天有 1414 个:

7×16+4×15+14=112+60+14=186.7\times 16+4\times 15+14=112+60+14=186 .

第三步:相减,得到”敏感问题”那一半的”是”。 总共 5858 人答”是”,减去第一个问题贡献的约 5151 人, 在回答第二个问题的 100100 人中大约有 77 人回答了”是”,

7100=7%,\frac{7}{100}=7\% ,

即估计这个地区大约有 7%7\% 的中学生吸烟。

这个方法妙在哪里? 调查者拿到的只是”5858 颗石子”这个总数,永远无法知道任何一个具体的人吸不吸烟; 但因为无关问题的概率(0.50.5 和 0.510.51)是事先已知的, 总体的比例反而算得出来。用已知的随机性,换来了个体的隐私。

代价也要说清楚:

  • 有效样本被”稀释”了。200200 人里只有大约一半在回答敏感问题, 精度相当于只调查了 100100 人,误差比直接问要大;
  • 红白球的比例是一个权衡:红球太少,用于估计的人太少、误差大; 红球太多,被调查者会觉得”我多半答的就是那个敏感问题”,隐私保护就弱了;
  • 100100 和 5151 都是期望值,实际人数会有波动,所以结论只能说”大约”。 极端情况下相减甚至可能得出负数——那说明样本量太小,或者装置没被正确执行。

一、获取数据的四条途径

在实践中,获取数据的途径多种多样,常见的有统计报表和年鉴、社会调查、普查和抽样、 互联网、试验设计等。课本把它们归成四类。

先记住一句总纲:用哪条途径,不是看方便,而是看研究对象允不允许。

1. 通过调查获取数据

适用对象:有限总体问题。

课本给的例子很有代表性:人口总数、城乡就业状况、农村贫困人口脱贫状况、 生态环境改善状况、青少年受教育状况、高中生近视的比例、产品合格率、 高中生日平均上网时间等。这些总体的个体是可以一个一个数清楚的, 所以能用抽样调查或普查的方法获取数据。

抽样方法远不止我们学的两种。 除了简单随机抽样和分层随机抽样, 还有系统抽样、整群抽样、不等概率抽样、自适应抽样、两阶段抽样等很多方法。

课本对此下的判断值得逐字记:

在实际应用中,关键在于是否能充分有效地利用背景信息选择或创建更好的抽样方法, 并有效避免抽样过程中的人为错误。

这两句话正好对应前两节的两条主线: 分层随机抽样是”利用背景信息”的样板, 抽签法里那些”无差别、不透明、充分搅拌”的讲究是”避免人为错误”的样板。

2. 通过试验获取数据

适用对象:没有现存数据、且研究者能够控制条件的问题。

课本的例子:判断研制的新药是否有效、培育的小麦新品种是否具有更高的产量, 以及特种钢、轮胎的配方和产品质量等。 这些问题的共同点是”数据还不存在”——新药还没人吃过,新品种还没大面积种过, 无论怎么抽样、怎么查资料都查不到,只能通过对比试验去把数据造出来。

“对比”两个字是关键:要判断新药有效,光看吃药的人好没好不行, 必须有一组不吃药(或吃安慰剂)的人作对照,两组比较才说得清是药起了作用。

通过试验获取数据时,需要严格控制试验环境,通过精心的设计安排试验,以提高数据质量。 在统计学中,这种安排试验的学问叫做试验设计。

3. 通过观察获取数据

适用对象:人类不能控制、也无法用有限总体刻画的自然现象。

课本的例子:地震、降水、大气污染、宇宙射线。为什么前两条路都走不通?

  • 不能用抽样:自然现象会随着时间的变化而变化, 不能用我们已经学过的有限总体来刻画—— “所有的降水”根本不是一个由固定个体组成的集合,谈不上编号、谈不上等概率抽取;
  • 不能用试验:这些现象不能被人为控制,你没法”安排”一次地震来看看。

所以只能通过长久的持续观察获取数据。

这条途径还牵出了大数据的来历: 各个行业往往需要专业测量设备获取观测数据, 随着科技水平提高,设备的自动化程度越来越高,获取和存储数据的成本越来越低, 这成为大数据产生的根源。

观察所得的数据性质比较复杂,但其中蕴含着所观察现象的本质信息, 这些信息十分宝贵,统计学理论和方法是挖掘这些信息的强有力的工具之一。

4. 通过查询获得数据

适用对象:别人已经收集过的问题。

我们感兴趣的问题,可能有众多专家研究过, 他们收集的样本观测数据可能存储于学术论文、专著、新闻稿、公报或互联网上。 收集前人的劳动成果并加以利用,可以大大减少收集数据的成本。

这样获得的数据叫做二手数据(相对地,自己调查、试验、观察得到的叫一手数据)。

在我国,最主要的数据来源是国家统计局, 它是我国最主要的统计数据收集和发布的部门, 调查统计的数据涉及经济、社会、民生的方方面面,通过多种形式公布:

  • 定期发布新闻稿、举办新闻发布会;
  • 发布统计公报:年度统计公报、经济普查公报、人口普查公报、农业普查公报等;
  • 出版统计资料:《中国统计摘要》、以《中国统计年鉴》为代表的统计年鉴系列等。

课本举的例子:想了解 20142014 年全国的交通事故情况, 查《中国统计年鉴》即可得到表 9.1-3 的数据。 但要注意一句提醒:如果关心的是逐年变化的情况, 那就需要查找每一年的数据表,并把它们合并整理—— 年鉴是按年出版的,纵向的时间序列得自己拼。

二、互联网与”数据清洗”

随着信息技术的发展,通过互联网获取数据越来越成为获取二手数据的主要方式。 可以从国家统计局的官方网站查询各种统计数据;网络上也有专门提供数据服务的公司, 提供政府部门允许公开的各类数据。

互联网的最大优势是强大的搜索功能,可以在整个网络上查找所需要的数据。 但代价紧跟着就来了:

从网络上查找的数据,因为数据来历和渠道多样,所以质量会参差不齐, 必须根据问题背景知识”清洗”数据,去伪存真,为进一步的数据分析奠定基础。

“清洗”具体清什么? 至少这几件事:

  • 来源可信吗——是官方发布、学术论文,还是某个转了十几手的帖子?
  • 口径一致吗——同一个”平均工资”,是税前还是税后、含不含奖金、覆盖哪些行业? 口径不同的数字放在一起比,是最常见的错误;
  • 有没有明显异常——录入错误、单位写错(万元当成元)、缺失值被填成 00;
  • 时间和范围对得上吗——是全国还是某省,是年度还是季度。

一句话:二手数据省下的是收集成本,省不掉的是核实成本。

三、附:统计软件

课本这一节后面的”信息技术应用”介绍了统计软件。 在统计中使用计算机技术,不仅可以把人们从机械、烦琐的数据整理、计算中解放出来,而且能使大量人工难以完成的数据处理变成可能。

软件大致分两类:

  • 专门的统计软件,统计功能比较全面:R,SAS,SPSS,S-Plus,Stata 等;
  • 有一定统计功能的软件:Microsoft Excel,MATLAB,GeoGebra,《网络画板》 等。

统计软件的功能通常包括:对数据进行管理和组织、 将数据转化为可视化的图表、对数据进行统计计算和分析。

电子表格软件

用途做法
产生 [0,1][0,1] 内的随机数单元格输入 =RAND();拖动填充柄可批量生成
产生 [a,b][a,b] 内的整数随机数输入 =RANDBETWEEN(1,712)
有放回简单随机抽样“数据”—“数据分析”—“抽样”,选”随机”并填样本量
平均数 / 中位数 / 众数AVERAGE() / MEDIAN() / MODE()
方差 / 标准差 / 百分位数VAR.P() / STDEV.P() / PERCENTILE.INC()

若”数据”菜单中没有”数据分析”选项, 需在”文件”—“选项”—“加载项”—“转到”中, 勾选”分析工具库”和”分析工具库-VBA”再确定。

注意这里的”抽样”工具实现的是有放回简单随机抽样, 要做不放回的,得另想办法(比如生成随机数后剔重)。

R 软件

R 是一款免费软件,通过命令形式操作。

用途命令
产生 100100 个 [0,1][0,1] 内的随机数runif(100)
产生 100100 个 [1,712][1,712] 内可重复的整数随机数sample(1:712, 100, T)
同上但不可重复把参数 T 改为 F
从数据中有放回抽 55 个x<-c(1,2,3,3,4,4,5,6) 然后 sample(x, 5, T)
不放回抽取同上,把 T 改为 F
平均数 / 中位数mean() / median()
方差 / 标准差 / 分位数var() / sd() / quantile()

T 和 F 这一个字母的差别,正是”放回”与”不放回”的差别, 也就是 §9.1.1 里那件事——不放回的效率更高,所以实践中更常用 F。

(方差、标准差、分位数这几个统计量的含义,本章后续即有介绍。)

习题详解(本站解答,无官方答案可核)

人教 A 版学生用书不含答案,教师用书与全解不在本站语料里——因此本节习题的解答无官方答案可核,它们是本站写的。每一道都过了独立 verifier 的 refute 优先复核(默认它有问题,找不出问题才放行),但那不等于官方标准答案:拿它对思路,别拿它对分。

本节目录下印了两组题:第 188188 页的「练习」22 题,以及第 188∼190188\sim 190 页的「习题 9.1」1212 题 (复习巩固 55 题、综合运用 44 题、拓广探索 33 题)。习题 9.1 是整个 §9.1 的总复习题, 考的是前三小节的全部内容,都收在这里。

这一组题里开放题很多。 开放题不是”随便答”—— 评判标准是:总体说清楚了没有、抽样机制说清楚了没有、可能的偏差指出来了没有。 下面每道开放题都按这个标准给出一份可以直接照写的答案。

练习(第 188 页)第 1 题

  1. 请从国家统计局网站上查找我国水资源及其使用情况的一些数据,根据数据谈谈当前保护水资源的重要性.

这是一道查数据、用数据说话的题。下面给出查法、该查哪些指标,以及怎样从数据得出结论。

一、到哪里查

  • 国家统计局官网(stats.gov.cn):首页 →「数据」→「年度数据」→ 分类中选「资源和环境」,可查到水资源总量、人均水资源量、 用水总量及其构成、供水总量等指标的逐年数据;
  • 《中国统计年鉴》“资源和环境”一章,内容与上面一致,且便于一次取多年的数据;
  • 水利部《中国水资源公报》(每年发布),指标更细,含各流域、各省份的数据。

注意口径:不同年份的公报对”用水总量”是否含生态补水等口径略有调整, 跨年比较时要先看清定义——这正是上一节说的”二手数据要清洗”。

这里有一个最容易混的口径,必须先说清楚:公报里的”用水总量”是取用水量, 指从江河湖库和地下取走的水;其中相当一部分用完之后又回到了水体, 真正”消耗掉”的是另一项指标”耗水量”。 以 20222022 年为例,用水总量约 59985998 亿立方米,而耗水量约 31003100 亿立方米, 只有用水量的一半左右。 把”用水总量”当成”每年消耗了多少水”,就是没核口径。

二、该看哪几个指标

指标为什么要看它
水资源总量家底有多少
人均水资源量最关键的一项——总量大不等于不缺水
用水总量(取用水量)一年从江河湖库和地下取走了多少水
耗水量取走的水里真正消耗掉、回不到水体的那部分
用水构成(农业 / 工业 / 生活 / 生态)水都花到哪儿去了,节水该从哪儿下手
万元 GDP 用水量、万元工业增加值用水量用水效率,可作纵向和横向比较
人均用水量与人均水资源量对照,看压力大小

三、数据能支持什么结论

查到的数据大致是这样的量级(具体数字请以你查到的当年数据为准):

  • 我国水资源总量约 2.82.8 万亿立方米,总量在世界上位居前列;
  • 但人均水资源量只有 20002000 立方米左右,明显低于世界人均水平;
  • 全国用水总量约 60006000 亿立方米,其中农业用水占六成以上, 工业和生活用水各占一成多;
  • 水资源在空间上分布极不均衡:南方水多、北方地多, 北方水资源量约占全国的两成,耕地却占约六成,水土资源不相匹配。

这里有两处很容易写错、必须核准的地方,单独拎出来说:

  • 缺水的国际标准不是”人均 20002000 立方米”。 国际上通行的是 Falkenmark 指标:人均可再生淡水量 低于 17001700 立方米为”用水紧张”,低于 10001000 立方米为”缺水”, 低于 500500 立方米为”绝对缺水”。 国内教材、媒体常见的 20002000/30003000 立方米那套分级是通俗说法,不是国际标准, 不能冠上”国际上通常”四个字。按 Falkenmark 口径, 我国多年平均人均约 20002000 立方米是贴着”用水紧张”这条线, 枯水年份则会落进紧张区间——结论的方向站得住,但阈值和名称必须写对;
  • 不能说”北方人口比例也更大”。 以秦岭—淮河划分, 北方的耕地比例确实高于南方,人口比例却低于南方(南方约占五成半以上)。 正确的说法是”南方水多、北方地多”, 把人口也说成北方更多,就是把没核过的话写进了结论。

由这些数据可以说的话(每一句都要挂在一个指标上):

  1. “总量大”和”缺水”并不矛盾。 只看水资源总量会觉得很宽裕,一除以人口就看出问题—— 这正是本章开头强调”平均数才是总体特征”的现实版本。
  2. 节水的重点在农业。 以 20222022 年《中国水资源公报》核算: 全国用水总量 5998.25998.2 亿立方米,其中农业 3781.33781.3 亿(约 63.0%63.0\%)、 生活 905.7905.7 亿(约 15.1%15.1\%)。在同一个节约比例下比, 农业节约 10%10\% 可省下约 378378 亿立方米,生活节约 10%10\% 只省下约 9191 亿立方米, 前者是后者的四倍多。所以推广滴灌、喷灌等节水灌溉,比只号召居民少用水见效大得多。 这句话不能说过头:农业节约 10%10\%(约 378378 亿)并不多于 “生活用水全部省掉”(约 906906 亿)。 “农业是节水重点”靠的是同比例下的绝对量之比, 拿”农业省一成”去比”生活全省光”是两个不同比例的比较,推不出结论。
  3. 效率指标比总量指标更能说明进步。 如果万元 GDP 用水量在逐年下降,说明”用同样多的水办了更多的事”, 这是真实的节水成效;而用水总量的升降还受经济规模影响,单看它容易误判。
  4. 空间不均衡意味着”调水”和”就地节水”要并重。

四、答题时的注意事项

  • 每一句结论后面都要跟上支撑它的那个数据,不能只喊口号;
  • 要写清数据的来源和年份(“据国家统计局×年年度数据”),否则无法核实;
  • 比较不同年份时先确认口径一致。

练习(第 188 页)第 2 题

  1. 近视是青少年存在的普遍问题,你能查找相关数据,并利用数据说说近几年我国在防治青少年近视上取得的成效吗?

一、数据从哪里来

  • 国家卫生健康委员会每年发布的全国儿童青少年近视调查结果 (新闻发布会、官网”新闻发布”栏目);
  • 教育部《综合防控儿童青少年近视实施方案》(20182018 年,八部门联合印发) 及历年落实情况通报;
  • 《中国卫生健康统计年鉴》、各省份发布的本省近视率数据。

二、几个关键数据

据国家卫生健康委公布的全国调查结果(数字请以最新发布为准):

年份儿童青少年总体近视率与上一列出年份相比
2018201853.6%53.6\%——
2019201950.2%50.2\%降 3.43.4 个百分点
2020202052.7%52.7\%升 2.52.5 个百分点(较 20182018 年降 0.90.9 个百分点)
2025202549.9%49.9\%较 20182018 年累计降 3.73.7 个百分点

分学段看(以 20202020 年为例):高中学段仍高达 80.5%80.5\% 左右, 比 20182018 年的约 81.0%81.0\% 只降了不到 11 个百分点; 小学、初中同期也各降约 0.40.4—0.50.5 个百分点。

20182018 年八部门《综合防控儿童青少年近视实施方案》设定的目标是: 到 20232023 年,力争实现全国儿童青少年总体近视率在 20182018 年的基础上 每年降低 0.50.5 个百分点以上,近视高发省份每年降低 11 个百分点以上。

读目标要读清楚它的时间跨度:这是一个”到 20232023 年”的多年年均目标, 不是拿某一个年份的降幅去对标的单年指标。下面第 1 条错法就栽在这里。

三、怎样用这些数据说”成效”

可以说的(每一句都挂着数据):

  1. 长期看,总体近视率确实在下降,但幅度只是大致贴着目标线。 20182018 年的 53.6%53.6\% 到 20252025 年的 49.9%49.9\%,七年累计降 3.73.7 个百分点, 年均约 0.530.53 个百分点,刚刚压住 0.50.5 这条线。 方向是对的,“大致达标”是这批数据能支持的最强说法。
  2. 建立了年度监测制度本身就是成效。 有了逐年可比的数据,才谈得上评估政策—— 这正是本节”如何收集数据是统计学研究的重要内容”那句话的意义。

必须避开的四种错法(这才是统计课该有的态度):

  1. 不能拿 2018→20192018\to 2019 的 3.43.4 个百分点说”远超目标”。 一来目标是到 20232023 年的年均值,单年降幅不是它的对标对象; 二来 20202020 年回升到 52.7%52.7\%,2018→20202018\to 2020 两年净降只有 0.90.9 个百分点, 年均 0.450.45 个百分点,反而没达到 0.50.5。 只截取对结论有利的那一段去算年均,是统计里最常见的”挑樱桃”。 就这三个点看,形态是先降后升,连”明确的下降趋势”都推不出来。
  2. 不能由”政策出台后数字下降”推出”下降是政策带来的”。 时间上的先后不等于因果。20202020 年的回升就是现成的反证: 政策没变,数字却升了 2.52.5 个百分点,居家上网课这个混杂因素盖过了政策效应。 要真做归因,需要对照组或更细的研究设计,光靠一条时间线不行。
  3. 不能只看总体那一个数。 总体近视率是一个平均数,小学、初中、高中差别极大(越高年级越高), 而 20202020 年高中学段仍在 80.5%80.5\% 上下—— 总体率降了,最该关心的那一段几乎没动。 何况总体率的升降里还混着各学段人数占比的变化, 必须分学段看——这恰好是下一节”分层”思想的用武之地。
  4. 口径必须一致才能比。 “近视”的判定标准(裸眼视力、屈光度)、 调查覆盖的年龄段和地区、抽样方式,若年度之间有变化,数字就不能直接比; 抽样调查本身也有误差,相邻两年相差一两个百分点可能只是抽样波动。

四、一句话结论

从公开数据看,20182018 年以来我国青少年总体近视率是下降的, 但七年年均约 0.50.5 个百分点,只是大致达到《实施方案》设定的目标, 既谈不上”远超”,也不能把下降全部归功于防控措施; 且高中学段仍在 80%80\% 上下,结构性问题依旧突出。 判断成效必须看多年趋势、分学段、并核对调查口径。

习题 9.1 复习巩固 第 1 题

  1. 下列情况中哪些适合用全面调查,哪些适合用抽样调查?说明理由.

(1)了解某城市居民的食品消费结构;

(2) 调查一个县各村的粮食播种面积;

(3)了解某地区小学生中患沙眼的人数;

(4)了解一批玉米种子的发芽率;

(5) 调查一条河流的水质;

(6) 某企业想了解其产品在市场的占有率.

判断标准还是那两条:全查会不会毁掉个体?全查花不花得起? 两条中一条,就得抽样。

(1)了解某城市居民的食品消费结构——适合抽样调查。 一个城市的居民户数通常在几十万到上百万, 逐户记录一年的食品消费明细,人力和时间成本都不可承受。 而消费结构是一个总体特征,抽取几千户记账就能估计得相当准。

(2)调查一个县各村的粮食播种面积——适合全面调查。 一个县的行政村通常只有几百个,数量有限; 更重要的是,这里要的不是”估计值”而是”各村各自的确切数字”—— 题目问的是”各村的播种面积”,抽样只能给出全县的估计, 给不出没被抽中的那些村的数据。目的决定了必须逐村统计。

(3)了解某地区小学生中患沙眼的人数——适合抽样调查。 一个地区的小学生动辄数万人,逐个做眼科检查, 所需的医生、设备和时间都很可观。 用抽样调查估计出患病率,再乘以小学生总数,就能估出人数。

补一句:如果目的不只是”知道有多少人”,而是要把每一个患儿都找出来治疗, 那就必须全面筛查了——同一个调查对象,目的不同,该用的方法也不同。

(4)了解一批玉米种子的发芽率——适合抽样调查。 测发芽率必须把种子拿去发芽,是消耗性的检测。 全部拿去做发芽试验,发芽率是测出来了,可种子也全用光了,播不成种。

(5)调查一条河流的水质——适合抽样调查。 河水在流动,总量巨大且时刻更新, 根本不存在”把整条河的水都检测一遍”这件事。 实际做法是在若干断面、若干时刻取水样化验。

(6)某企业想了解其产品在市场的占有率——适合抽样调查。 总体是所有(潜在)消费者,人数极多, 而且企业根本拿不到全体消费者的名单,全面调查无从谈起。

归类看更清楚:

只能抽样的原因本题中的例子
检测具有破坏性(4)玉米种子发芽率
总体太大、成本不可承受(1)食品消费结构、(3)沙眼人数
总体没有固定边界、无法穷举(5)河流水质、(6)市场占有率
要每个个体各自的确切值(2)——所以反而必须全面调查

习题 9.1 复习巩固 第 2 题

  1. 某刊物对其读者进行满意度调查,调查表随刊物送到读者手中,对寄回的调查表进行分析。这是不是一项抽样调查?样本抽取是不是属于简单随机抽样?为什么?

(一)这是不是一项抽样调查?——按课本的定义,不能简单地答”是”。

课本对抽样调查的表述是: “根据一定目的,从总体中抽取一部分个体进行调查,并以此为依据对总体的情况作出估计和推断”。 这个定义里有两个动作:先”抽取”,再”由样本推断总体”。

本题只做到了后一半:调查者拿寄回调查表的那部分读者的意见,去推断全体读者的满意度。 前一半”抽取”根本没有发生——调查表是随刊物送到每一位读者手中的, 谁进入被分析的那一部分,由读者自己决定,而不是调查者按某个方案抽出来的。

所以准确的说法是:它不是全面调查(并没有得到全体读者的意见), 也不是严格意义上的抽样调查(缺了”抽取”这个环节); 它拿到的是一个自愿回答样本(自选样本)。

这道题的考点正在这里:把”只调查了一部分”直接等同于”抽样调查”, 会漏掉定义里最要紧的”抽取”二字——而缺的恰恰是这两个字, 下面(二)说不上”简单随机”、(三)说偏差消不掉,根子都在这里。

(二)样本抽取是不是简单随机抽样?——不是。

简单随机抽样要求”每次抽取时,总体内未进入样本的各个个体被抽到的概率都相等”。 这里根本不存在”抽取”这个动作:谁进入样本, 不是由调查者用随机机制决定的,而是由读者自己决定的—— 寄回调查表的就进样本,不寄的就不进。

这样产生的样本被称为自愿回答样本(自选样本),它有系统性的偏差:

  1. 态度极端的人更愿意寄回。 对刊物特别满意或特别不满意的读者 有强烈的表达欲望,而态度平平的读者往往懒得寄—— 样本中中间态度的人被严重低估;
  2. 寄回本身有门槛。 有闲暇、习惯写信、愿意承担邮资的人更可能寄回, 这类读者在年龄、职业、阅读习惯上与其他读者未必相同;
  3. 每个读者被”抽中”的概率既不相等,也无法计算。 连概率都写不出来,就谈不上用概率论去评估误差。

(三)最要命的一句话:这种偏差增大样本量也消不掉。

哪怕寄回了一万份,只要寄回的人和不寄回的人在满意度上有系统差异, 估计就一直偏在那里。样本量只能压缩随机波动,压不掉系统性偏向。

(四)怎么改进?(题面没问,作为延伸)

  • 先要有一份能覆盖总体的抽样框。若刊物只有订户名单, 那么从订户名单里抽,抽到的就只是订户这个总体, 零售购买的读者一个也进不来——换了抽样框就等于换了总体, 这一点必须在报告里写明,不能拿订户的满意度冒充全体读者的满意度;
  • 在抽样框内用随机数法抽取一定数量的读者,作为指定的样本;
  • 主动联系被抽中的读者(电话、上门、附回邮信封),跟催以提高回收率;
  • 记录并公布回收率和无回答的情况,让读结论的人知道数据的可靠程度;
  • 若回收率仍然偏低,可对回答者与不回答者做小规模比较,评估偏差有多大。

习题 9.1 复习巩固 第 3 题

  1. 中央电视台希望在春节联欢晚会播出后一周内获得该节目的收视率. 下面是三名同学为电视台

设计的调查方案.

同学A:我把这张《春节联欢晚会收视率调查表》放在互联网上,只要上网登录该网址的人就可以看到这张表,他们填表的信息可以很快地反馈到我的电脑中。这样,我就可以很快统计出收视率了。

同学 B:我给我们居民小区的每一个住户发一份是否在除夕晚上看过中央电视台春节联欢晚会的调查表,只要一两天就可以统计出收视率.

同学 C:我在一个电话号码本上随机地选出一定数量的手机号码,然后逐个给他们打电话,问一下手机用户是否收看了中央电视台春节联欢晚会,我不出家门就可以统计出中央电视台春节联欢晚会的收视率.

请问:上述三名同学设计的调查方案获得比较准确的收视率的可能性大吗?为什么?

三名同学的方案,获得比较准确收视率的可能性都不大。 逐个说。

同学 A:把调查表放在互联网上,谁登录谁填

可能性很小。 三重问题:

  1. 抽样框严重不覆盖总体。 收视率的总体是全国观众, 而只有上网、并且恰好登录了这个网址的人才可能填表。 不上网的人(尤其是老年人、部分农村居民)被完全排除在外, 可这部分人恰恰是春晚的重要观众。
  2. 这是自愿回答样本。 填不填由本人决定, 看过春晚的人往往更有兴趣去填,没看的人多半直接划走。
  3. 无法防止重复填报。 同一个人可以反复提交,也可能有人恶意刷数。

注意:这里只能说”偏,而且偏多少不知道”,不能说”一定偏高”。 第 11 条里被排除的老年、农村观众,恰恰是收视率较高的一群, 少了他们会把估计值往下压;第 22 条的自愿回答又把估计值往上抬。 两种偏差方向相反,题面给的条件不足以判断哪一个更大, 所以正确的结论是”这个方案得到的数据不可信”, 而不是”它会系统性地高估收视率”——后面那句话是题面推不出来的。

同学 B:给本居民小区每一住户发调查表

可能性很小。 它的问题与 A 不同:

  1. 样本局限在一个小区。 一个小区的居民在地域、年龄结构、收入水平、生活习惯上高度相似, 代表不了全国观众。 要估计全国收视率,样本必须覆盖不同省份、不同城乡。 要说清楚的是:这不是”整群抽样只抽了一个群”。 整群抽样要求从全部群的名单里随机地抽出若干个群, 而这里的小区是同学 B 自己住的那一个,根本没有经过随机抽取, 它是一个便利样本——挑了最容易做的那一处,而不是抽中的那一处。
  2. 在小区内部它反而是全面调查(每户都发), 所以这个方案能相当准确地得到”本小区的收视率”—— 它的毛病不在小区内部,而在于把一个小区当成了全国。
  3. 同样存在无回答问题:发出去的表不一定都收得回来。

同学 C:从电话号码本中随机选号码,逐个打电话

它引入了随机机制,这一点确实比 A、B 强;但仍然不够准确。

它对的地方只有一处: 号码是从号码本里随机选的, 被调查者不是自己找上门的,这一步不会产生 A 那样的自选择偏差。

但”随机”只发生在号码本内部,抽样框仍然不是全国观众。 题面写的是”一个电话号码本”,并没有说它覆盖全国; 所以不能把”避免了地域局限”算作它的优点—— 覆盖范围如何,题面根本没有交代。问题至少有三条:

  1. 抽样框未必覆盖总体。 没有手机的人(幼儿、部分老人)进不了样本; 若这本号码本只收录某一地区、某一运营商的号码,样本就只代表那一小块。 随机地从一个不对的框里抽,抽出来的仍然不对。
  2. 拒答率高,且拒答不是随机的。 陌生来电常被直接挂断, 接听与否本身就与年龄、职业、作息有关, 愿意配合的人可能与不愿意的人在收视习惯上不同——这是无回答偏差。 (至于”什么时候打电话、谁更可能接”,题面没有交代,不能凭想象补条件, 但”接听概率不相等”这一条本身是这类电话调查公认的问题。)
  3. 记忆和口径误差。 一周内还记得住,但”电视开着人没看”算不算收看? “只看了十分钟”算不算?问法不统一,答案就不可比。

所以不能说 C 一定是三者中最准的——它换掉了 A 的自选择, 却留下了抽样框和无回答两个同样致命的口子。

三个方案各自的病根不一样,不能用一句话概括

这一点要说准,否则就把三条不同的毛病糊成一条。

方案真正的病根
A样本自己找上门(自愿回答),且抽样框只有上网并登录该页的人
B总体被换掉了——样本内部近乎普查,错在把一个小区当成全国
C抽样框不等于总体,加上无回答——号码是调查者抽的,随机这一步没错

A 的”谁进样本不由调查者决定”这句话,套不到 B、C 头上: B 是同学 B 指定本小区每一户都发,进样完全由调查者决定; C 的号码也是调查者从号码本里抽的。它们错在别处。

唯一能把三者串起来的说法是: 样本所来自的那个范围(抽样框),都不是”全国观众”这个总体。

该怎么做

题面只问”可能性大不大、为什么”,没有要求给出改进方案, 下面这一段是额外的,答题时不写也不扣分:

  • 在全国范围内分层随机抽样:按省份、城乡、年龄段分层,各层按人口比例分配样本量;
  • 控制拒答率,并如实公布拒答率与抽样方法;
  • 报告估计的误差范围,而不是只给一个光秃秃的数字。

习题 9.1 复习巩固 第 4 题

  1. 下列从总体中抽得的样本是否为简单随机样本?

(1)总体编号为 1∼751\sim 75 ,在 0∼990\sim 99 中产生随机整数 rr .若 r=0r = 0 或 r>75r > 75 ,则舍弃,重新抽取.

(2) 总体编号为 1~75,在 0~99 中产生随机整数 r,r 除以 75 的余数作为抽中的编号。若余数为 0,则抽中 75。

(3)总体编号为 6001∼68766001\sim 6876 ,在 1∼8761\sim 876 范围内产生一个随机整数 rr ,把 r+6000r + 6000 作为抽中的编号.

判据只有一条:每个个体被抽到的概率是否都相等。

(1)编号 1∼751\sim 75,在 0∼990\sim 99 中产生 rr,r=0r=0 或 r>75r>75 则舍弃重抽——是

0∼990\sim 99 共 100100 个整数,每个出现的概率都是 1100\dfrac{1}{100}。 舍弃 r=0r=0 和 r>75r>75 后,留下的只有 1∼751\sim 75,共 7575 个, 每一个被保留的概率都是 1100\dfrac{1}{100}, 在”这一次没被舍弃”的条件下,各编号出现的条件概率都是

1/10075/100=175,\frac{1/100}{75/100}=\frac{1}{75},

完全相等。所以是简单随机样本。

舍弃法不会破坏等概率——它对所有保留下来的编号”一视同仁”地放行, 只是要多抽几次,浪费了 25%25\% 的随机数。

(2)编号 1∼751\sim 75,在 0∼990\sim 99 中产生 rr,取 rr 除以 7575 的余数(余 00 则取 7575)——不是

把映射逐个数清楚就露馅了。 rr 取遍 0,1,…,990,1,\dots,99:

rr 的取值r÷75r\div 75 的余数抽中的编号
r=0r=0007575
r=1,2,…,74r=1,2,\dots,74rr1∼741\sim 74
r=75r=75007575
r=76,77,…,99r=76,77,\dots,99r−75=1∼24r-75=1\sim 241∼241\sim 24

于是各编号被抽中的机会数为:

  • 编号 7575:由 r=0r=0 和 r=75r=75 两个数产生,22 次机会;
  • 编号 1∼241\sim 24:各由 rr 本身和 r+75r+75 两个数产生,各 22 次机会;
  • 编号 25∼7425\sim 74:只由 rr 本身产生,各 11 次机会。

核对总数:2+24×2+50×1=2+48+50=1002+24\times 2+50\times 1=2+48+50=100,恰好用完 0∼990\sim 99。

所以

P(抽中编号k)={2100=150,k=1,2,…,24 或 k=75,1100,k=25,26,…,74.P(\text{抽中编号}k)=\begin{cases} \dfrac{2}{100}=\dfrac{1}{50}, & k=1,2,\dots,24\ \text{或}\ k=75,\\[6pt] \dfrac{1}{100}, & k=25,26,\dots,74 . \end{cases}

前 2424 号和第 7575 号被抽中的概率是其余编号的两倍,等概率被破坏了, 所以不是简单随机样本。

病根在于 100100 不是 7575 的整数倍。 取余数的办法把 100100 个等概率的数 “卷”到 7575 个编号上,多出来的 2525 个数只能落在其中一部分编号上, 分不匀。若把范围改成 0∼740\sim 74(7575 个数一一对应),或改成 0∼1490\sim 149、 0∼2240\sim 224 这样 7575 的整数倍,取余数就没问题了。

(3)编号 6001∼68766001\sim 6876,在 1∼8761\sim 876 中产生 rr,取 r+6000r+6000——是

先数个体数:6876−6001+1=8766876-6001+1=876,与随机数的范围 1∼8761\sim 876 一一对应。

rr 在 1∼8761\sim 876 上等概率,各为 1876\dfrac{1}{876}; 映射 r↦r+6000r\mapsto r+6000 是一一对应(不重不漏), 所以每个编号被抽中的概率都是 1876\dfrac{1}{876},完全相等。

平移编号是最省事的做法:不必生成 6001∼68766001\sim 6876 这样的大数, 也不必像(1)那样舍弃,一个随机数都不浪费。

小结

做法是否简单随机样本关键
(1)超范围就舍弃重抽是舍弃对所有编号一视同仁
(2)取余数不是100100 不是 7575 的倍数,余数分不匀
(3)平移 +6000+6000是一一对应,不重不漏

要提防的正是(2)这种”看起来很省事”的办法—— 凡是把一个大范围”折叠”到小范围上的做法, 都要先检查折叠后每个编号摊到的机会是不是一样多。

习题 9.1 复习巩固 第 5 题

  1. 一支田径队有男运动员 56 人,女运动员 42 人,按性别进行分层,用分层随机抽样的方法从全体运动员中抽出一个容量为 28 的样本。如果样本按比例分配,那么男、女运动员应各抽取多少名?

男运动员 5656 人,女运动员 4242 人,全队共

56+42=98 (人),56+42=98\ (\text{人}),

样本量为 2828,按比例分配。

先算抽样比:

2898=27.\frac{28}{98}=\frac{2}{7}.

再按抽样比算各层的样本量:

n男=56×27=16,n女=42×27=12.n_{\text{男}}=56\times\frac{2}{7}=16,\qquad n_{\text{女}}=42\times\frac{2}{7}=12 .

校验:16+12=2816+12=28,与总样本量相符。

答:男运动员应抽取 1616 名,女运动员应抽取 1212 名。

也可以用”层占总体的比例乘总样本量”来算,结果相同:

n男=5698×28=16,n女=4298×28=12.n_{\text{男}}=\frac{56}{98}\times 28=16,\qquad n_{\text{女}}=\frac{42}{98}\times 28=12 .

这道题恰好整除,所以两个答案都是整数。 若不能整除(如 §9.1.2 中 326712×50≈23\frac{326}{712}\times 50\approx 23), 就要四舍五入,并注意调整后各层人数之和仍要等于总样本量。

习题 9.1 综合运用 第 6 题

  1. 数据 x1,x2,⋯ ,xnx_{1}, x_{2}, \cdots, x_{n} 的平均数为 x‾\overline{x} ,数据 y1,y2,⋯ ,yny_{1}, y_{2}, \cdots, y_{n} 的平均数为 y‾\overline{y} ,a, b 为常数。如果满足 y1=ax1+by_{1}=ax_{1}+b , y2=ax2+by_{2}=ax_{2}+b , ⋯\cdots , yn=axn+by_{n}=ax_{n}+b ,证明 y‾=ax‾+b\overline{y}=a\overline{x}+b 。

证明。 由 yi=axi+by_i=ax_i+b(i=1,2,…,ni=1,2,\dots,n)及平均数的定义,

y‾=1n∑i=1nyi=1n∑i=1n(axi+b)=1n(a∑i=1nxi+nb)=a⋅1n∑i=1nxi+b=ax‾+b.\overline{y}=\frac{1}{n}\sum_{i=1}^{n}y_i =\frac{1}{n}\sum_{i=1}^{n}(ax_i+b) =\frac{1}{n}\left(a\sum_{i=1}^{n}x_i+nb\right) =a\cdot\frac{1}{n}\sum_{i=1}^{n}x_i+b =a\overline{x}+b .

证毕。

关键的一步是 ∑i=1nb=nb\sum\limits_{i=1}^{n}b=nb—— bb 是常数,加了 nn 次,不是加一次。

这条结论在说什么

数据整体做一次线性变换,平均数就做同样的这次线性变换。 换句话说,求平均这个动作与线性变换可以交换次序。

三个用处

(一)单位换算不必重算。 一组身高的平均数是 165.2165.2 cm,换成米只要 y‾=0.01×165.2=1.652\overline{y}=0.01\times 165.2=1.652 m, 不必把每个数据都除以 100100 再重新求平均。 温度从摄氏换华氏(F=1.8C+32F=1.8C+32)同理。

(二)数据很大时可以”先减后加”,大幅简化计算。 例如求 1001,1002,1005,1003,10041001,1002,1005,1003,1004 的平均数: 令 yi=xi−1000y_i=x_i-1000,得 1,2,5,3,41,2,5,3,4,平均数为 155=3\dfrac{15}{5}=3, 所以原数据的平均数为 1000+3=10031000+3=1003。 这里用的是 a=1, b=−1000a=1,\ b=-1000 的情形。

(三)它是后面学”标准化”的基础。 下一节会看到,把数据变成 xi−x‾s\dfrac{x_i-\overline{x}}{s} 这种形式时, 平均数会变成 00——根据的正是这条结论(取 a=1sa=\dfrac{1}{s}、b=−x‾sb=-\dfrac{\overline{x}}{s})。

习题 9.1 综合运用 第 7 题

  1. 已知总体划分为3层,通过分层随机抽样,得到各层的样本平均数分别为 x‾\overline{x} , y‾\overline{y} , z‾\overline{z} .

(1)根据以上信息可以估计总体平均数吗?如果不能,还需要什么条件?写出估计式.

(2) 如果样本量是按比例分配, 第 1, 2, 3 层的个体数分别为 LL, MM, NN, 样本量分别为 ll, mm, nn, 证明:

LL+M+Nx‾+ML+M+Ny‾+NL+M+Nz‾=ll+m+nx‾+ml+m+ny‾+nl+m+nz‾.\frac {L}{L + M + N} \overline {{x}} + \frac {M}{L + M + N} \overline {{y}} + \frac {N}{L + M + N} \overline {{z}} = \frac {l}{l + m + n} \overline {{x}} + \frac {m}{l + m + n} \overline {{y}} + \frac {n}{l + m + n} \overline {{z}}.

(1)能不能估计总体平均数?

不能。只知道三个层的样本平均数 x‾,y‾,z‾\overline{x},\overline{y},\overline{z} 是不够的。

还需要的条件:各层的个体数(或各层在总体中所占的比例)。

为什么非要它不可? 因为总体平均数是所有个体的平均, 层大的贡献就该大。同样是 x‾=180\overline{x}=180、y‾=160\overline{y}=160, 第 11 层若有 900900 人、第 22 层 100100 人,总体平均接近 180180; 反过来则接近 160160。光看两个平均数,分不出这两种情形。

设三层的个体数分别为 L,M,NL,M,N,则总体平均数的估计式为

W‾^=Lx‾+My‾+Nz‾L+M+N=LL+M+N x‾+ML+M+N y‾+NL+M+N z‾.\widehat{\overline{W}}=\frac{L\overline{x}+M\overline{y}+N\overline{z}}{L+M+N} =\frac{L}{L+M+N}\,\overline{x}+\frac{M}{L+M+N}\,\overline{y}+\frac{N}{L+M+N}\,\overline{z}.

若只知道各层所占的比例 p1,p2,p3p_1,p_2,p_3(p1+p2+p3=1p_1+p_2+p_3=1),估计式为

W‾^=p1x‾+p2y‾+p3z‾,\widehat{\overline{W}}=p_1\overline{x}+p_2\overline{y}+p_3\overline{z},

同样够用——需要的其实只是各层的相对大小。

(2)证明比例分配下两种权相等

已知:样本量按比例分配,即三层的抽样比相同。记这个公共的抽样比为 kk,则

lL=mM=nN=k,\frac{l}{L}=\frac{m}{M}=\frac{n}{N}=k ,

于是

l=kL,m=kM,n=kN.l=kL,\qquad m=kM,\qquad n=kN .

求和得

l+m+n=k(L+M+N).l+m+n=k(L+M+N).

因为样本量 l+m+n>0l+m+n>0,所以 k>0k>0,L+M+N>0L+M+N>0,分母不为零。 于是

ll+m+n=kLk(L+M+N)=LL+M+N,\frac{l}{l+m+n}=\frac{kL}{k(L+M+N)}=\frac{L}{L+M+N},

同理

ml+m+n=ML+M+N,nl+m+n=NL+M+N.\frac{m}{l+m+n}=\frac{M}{L+M+N},\qquad \frac{n}{l+m+n}=\frac{N}{L+M+N}.

三对系数逐项相等,因此

LL+M+Nx‾+ML+M+Ny‾+NL+M+Nz‾=ll+m+nx‾+ml+m+ny‾+nl+m+nz‾,\frac{L}{L+M+N}\overline{x}+\frac{M}{L+M+N}\overline{y}+\frac{N}{L+M+N}\overline{z} =\frac{l}{l+m+n}\overline{x}+\frac{m}{l+m+n}\overline{y}+\frac{n}{l+m+n}\overline{z},

证毕。

这道题的意义

左边是按层的大小加权(原理),右边是按样本量加权(也就是样本平均数 w‾\overline{w},捷径)。 这条等式说明:只有在比例分配时,捷径才与原理重合。

w‾\overline{w} 好在哪里?它不需要知道 L,M,NL,M,N—— 只用样本自己就能算出来。所以(1)里”必须知道各层个体数”这个要求, 在比例分配下被悄悄地绕过去了。 但这个便利有条件,一旦不是比例分配,就必须退回到左边那条式子。

习题 9.1 综合运用 第 8 题

  1. 校学生会希望调查学生对本学期学生活动计划的意见。你自愿担任调查员,并打算在学校里抽取 10%10\% 的同学作为样本。

(1)怎样安排抽样,可以提高样本的代表性?

(2) 在调查抽样中你可能遇到哪些问题?

(3) 这些问题可能会影响什么?

(4) 你打算怎样解决这些问题?

(1)怎样安排抽样,可以提高样本的代表性

第一步:把总体定清楚。 总体是全校在册学生,从学籍册取名单,不重不漏 (注意新转入、休学的同学,名单要用最新的)。

第二步:分层,而不是简单随机。 不同年级对学生活动的需求差别很大(高三备考、高一新鲜感强), 年级就是一个理想的分层变量——层间差异明显、层内差异较小。

  • 按年级分层;若各年级人数多、班级之间也有差异,可在年级内再按班级分层;
  • 若某些活动男女生偏好差别大,还可以加上性别这一层。

第三步:各层按比例分配 10%10\%。 设某年级有 NiN_i 人,则从该年级抽 0.1Ni0.1N_i 人(四舍五入后核对总数)。 这样样本的年级结构与全校完全一致。

第四步:层内用简单随机抽样。 把该层学生按学号编号,抽取时必须是不放回的:

  • R 里写 sample(1:N, n, replace = F),第三个参数 F 就是”不放回”;
  • 用电子表格的 RANDBETWEEN(1,N) 时要当心——它是有放回的、会重复, 必须把重复的编号剔掉再补抽,直到凑够 nn 个互不相同的编号; 或者给每人生成一个 RAND(),按随机数排序取前 nn 个,这样天然不重复。

绝对不能图省事让班干部”随便找几个人填”—— 那就变成了自选样本,前功尽弃。

第五步:把回收率当成质量指标来管。 事先想好怎样让被抽中的同学愿意认真填(说明用途、承诺匿名、选合适的时间发放)。

(2)在调查抽样中可能遇到哪些问题

  1. 找不到人:抽中的同学请假、转学、当天有课外活动;
  2. 不愿意填:觉得填了也没用,或担心意见被认出来;
  3. 不认真填:随手乱勾,或全选同一个选项;
  4. 名单不全:学籍册没及时更新,部分同学根本没机会被抽中;
  5. 问卷本身有毛病:选项有倾向性(把学生会已经想办的活动排在最前)、 题目表述含糊(“经常参加”是多久一次?)、题目太多没人愿意做完;
  6. 执行走样:为了图快,让班主任”随便找几个人补上”,替换了抽中的同学;
  7. 时间紧:临近考试,各班不配合。

(3)这些问题可能会影响什么

要分清哪些造成随机误差、哪些造成系统性偏差——后者严重得多。

问题造成什么严重程度
不愿意填、找不到人无回答偏差:愿意填的同学与不愿意填的同学意见可能不同严重,样本量再大也修不好
随手替换被抽中的人破坏等概率,退化成非随机样本严重
名单不全抽样框不覆盖总体,部分同学入样概率为 00严重
问卷有倾向性结果被”问法”带偏,答案系统性偏向某一侧严重
不认真填(乱勾、全选同一项)回答偏差:答案不反映真实意见严重,样本量大也稀释不掉
时间紧回收率下降,回到第一行的问题视程度而定

“不认真填”必须算进系统偏差那一栏,不能当成随机误差。 随手乱勾会把各选项的比例整体拉向”平均分布”(kk 个选项就拉向 1/k1/k), 全选同一个选项则直接把那一项的比例顶高—— 两种都不是围绕真值上下抖动,而是把真值本身换掉了。 加大样本量只能压缩抽样波动,估到的仍然是被污染的那个值。

一句话:上表里除”时间紧”以外的每一行, 都会让”用样本推断总体”这件事在原理上失效,而不只是让结果不那么精确。

(4)你打算怎样解决这些问题

  1. 匿名 + 说明用途。 用不记名问卷,设密封投递箱, 问卷开头写清”结果只用于制定活动计划,不追溯个人”;
  2. 规定替换规则,而不是随手替换。 抽中的同学确实联系不上时,在同一层内重新随机抽取一名顶替, 并记录发生了多少次替换;
  3. 设置跟催。 第一次未回收的,隔两天再发一次,给出明确截止时间;
  4. 问卷先试填。 找五到十位同学先做一遍, 看有没有看不懂的题、有没有倾向性的措辞;把敏感、较难的题放在后面;
  5. 控制长度。 题目控制在十题以内,三五分钟能做完;
  6. 核对名单。 向教务处取最新学籍册,覆盖全部在册学生;
  7. 如实报告。 在结论里写明抽样方法、样本量、回收率、替换次数, 让看结论的人知道数据的可靠程度。 能把局限写出来的调查报告,才是可信的调查报告。

习题 9.1 综合运用 第 9 题

  1. 一般来说,影响农作物收成的因素有气候、土质、田间管理水平等。如果你是一个农村调查队成员,要在麦收季节对你所在地区的小麦进行估产调查,你将如何设计调查方案?

估产调查的目标是:估计本地区小麦的总产量。

一、总体、个体、变量——先把这一步钉死

  • 总体:本地区所有种植小麦的地块;
  • 个体:每一块麦田;
  • 变量:该地块本季的小麦产量 yy(单位:kg)。

变量要取”地块的产量”而不是”地块的亩产”,这一步不是措辞讲究,是后面加权对不对的关键。 要估的量是全地区总产

Y=∑jyj(对全部地块求和),Y=\sum_{j}y_j\quad(\text{对全部地块求和}),

它是各个体变量值之和,正好落在 §9.1.1、§9.1.2 讲的”用样本均值估总体均值、 再乘个体数得总量”这套框架里。 若把变量取成亩产,各地块的亩产直接平均是没有意义的—— 一块 5050 亩的地和一块 22 亩的地,对总产的贡献差了 2525 倍, 不能等权平均。(本题末尾另给一种直接用亩产的写法,那时权必须换成面积。)

注意也不要把个体定成”每一株小麦”——那样总体大到无法编号, 田间也没法按株抽样。

二、分层:题干已经把分层变量给出来了

题干说”影响农作物收成的因素有气候、土质、田间管理水平”, 这三句正是分层变量的候选,因为它们与亩产高度相关、且层间差异明显:

  • 按土质与地形分层:平原 / 丘陵,水浇地 / 旱地,或按土壤类型;
  • 按灌溉与管理水平分层:规模经营的合作社 / 分散经营的农户, 有无节水灌溉设施;
  • 若本地区跨度较大、小气候有差异,再按乡镇(小气候区)分层。

各层按其播种面积的比例分配样本量(面积大的层多抽几块,这是分配问题,不是加权问题), 层内用简单随机抽样(不放回)抽取若干地块。

三、每块地怎么测产

这是最容易出偏差的一步,必须写清楚。

  1. 在抽中的每块地里,随机选取若干个固定面积的样方 (例如随机取 33 个 1 m21\ \mathrm{m}^2 的样方);

  2. 收割样方内的小麦,脱粒、去杂、称重,按标准含水率折算;

  3. 把样方总产除以样方总面积,折算成该地块的亩产 rijr_{ij}(单位 kg/亩);

  4. 再乘上这块地的播种面积 aija_{ij}(单位:亩),才得到这块地的产量

    yij=rij aij(kg).y_{ij}=r_{ij}\,a_{ij}\quad(\text{kg}).

第 4 步不能省。 样方测出来的是亩产,而第一节把变量钉成了地块的总产, 两者差一个面积因子。所以抽中的每一块地都必须同时记下它的面积 aija_{ij}—— 实测,或从土地确权登记数据里取。没有 aija_{ij},第四节的汇总就没有输入。

要害:样方的位置必须随机确定,绝不能”挑长得好的地方”割。

这里有一条常见的说法必须辨明白:不少材料会写”要避开地头、路边、水沟边”。 它和”位置随机”是互相冲突的两条指令,只能二选一,而且选完口径要一路对齐:

选哪一条目标总体是什么面积口径必须用什么
样方位置在整块地内随机(推荐)整块麦田,包括地边该地块的全部播种面积
剔除地头、路边、水沟边大田内部那一部分扣除地边后的大田内部面积

推荐第一条:要随机就得认账——抽到地边就测地边, 地边长势不同这件事本身就是这块地产量的一部分。 若选第二条,就不能再拿含地边的播种面积去乘,否则用”大田内部的亩产” 去套”含地边的面积”,估计必然偏高。两套口径混用是这道题最隐蔽的错误。

四、汇总:先选定一条口径,再一路走到底

估产有两条都对的路线,区别在于”个体是什么”。 两条路线的公式不能互相拼接,也不是同一个估计量——这一节把它们摆开。

设第 ii 层共 NiN_i 块麦田、播种面积合计 AiA_i 亩,抽中其中 nin_i 块, 第 jj 块的产量为 yijy_{ij}(kg)、面积为 aija_{ij}(亩)。

路线 A:个体是”一块地”,权是地块数。

yi‾=1ni∑j=1niyij,Yi^=Ni yi‾,Y^=∑i=1kNi yi‾.\overline{y_i}=\frac{1}{n_i}\sum_{j=1}^{n_i}y_{ij},\qquad \widehat{Y_i}=N_i\,\overline{y_i},\qquad \widehat{Y}=\sum_{i=1}^{k}N_i\,\overline{y_i}.

用它的前提是:层内确实按地块做了简单随机抽样, 因而必须先有各层的地块清单(有清单才能编号、才能用随机数抽), 并且知道各层的地块数 NiN_i。 由 §9.1.1,yi‾\overline{y_i} 是”该层每块地平均产量”的无偏估计, 乘 NiN_i 得该层总产——这正是 §9.1.2 的加权公式,权是各层个体数占比 Ni/NN_i/N。 注意 yijy_{ij} 必须是地块总产(亩产 ×\times 面积), 直接拿各地块的亩产等权平均是错的: 一块 5050 亩的地和一块 22 亩的地对总产的贡献差 2525 倍。

路线 B:个体是”一亩”,层内用比值,权是面积。

ri^=∑j=1niyij∑j=1niaij(该层平均亩产的估计),Yi^=Ai ri^,Y^=∑i=1kAi ri^.\widehat{r_i}=\frac{\sum_{j=1}^{n_i}y_{ij}}{\sum_{j=1}^{n_i}a_{ij}} \quad(\text{该层平均亩产的估计}),\qquad \widehat{Y_i}=A_i\,\widehat{r_i},\qquad \widehat{Y}=\sum_{i=1}^{k}A_i\,\widehat{r_i}.

用它的前提是:知道各层的播种面积 AiA_i。 分子分母都只用抽中的那几块地,大小地块自动按面积计权。

两条路线不是”等价”的,千万别写成等号。 举个反例: 某层共 33 块地,(产量 kg,面积 亩)分别是 (10 000, 10)(10\,000,\,10)、(10 000, 10)(10\,000,\,10)、(500, 1)(500,\,1), 该层总面积 Ai=21A_i=21 亩,抽中第 11、33 块。

  • 路线 A:y‾=10 000+5002=5250\overline{y}=\dfrac{10\,000+500}{2}=5250, Y^=3×5250=15 750\widehat{Y}=3\times 5250=15\,750 kg, 折算平均亩产 15 75021=750\dfrac{15\,750}{21}=750 kg/亩;
  • 路线 B:r^=10 000+50010+1=10 50011≈954.5\widehat{r}=\dfrac{10\,000+500}{10+1}=\dfrac{10\,500}{11}\approx 954.5 kg/亩, Y^=21×954.5≈20 045\widehat{Y}=21\times 954.5\approx 20\,045 kg。

两个数差了近三成(该层真值是 20 50020\,500 kg)。 两者相等当且仅当样本的平均面积恰好等于层内的平均面积—— 这是巧合,不是恒等式。

那该选哪一条?

  • 路线 A 是无偏的(在等概率抽地块的前提下),但要地块清单, 而且当地块面积悬殊时方差很大——上面的反例就是它失手的典型;
  • 路线 B 的比值估计一般有很小的偏倚,但当产量与面积高度相关时方差小得多。 估产恰恰就是这种情形(同一层里地越大产越多), 而且农业部门手里的播种面积比地块清单现成。

所以估产实务通常走路线 B,本题也推荐它。选定之后:

  • 样本量分配按同一条口径来:走路线 A 就按地块数比例分配, 走路线 B 就按播种面积比例分配。 (分配方式只影响精度、不影响估计量对不对,但口径一致更容易解释。)
  • 汇总公式必须和”个体是什么”对齐。 这道题最容易犯的错,就是把两条路线各取一半: 按面积分配样本、按面积算亩产,最后却套上路线 A 的 Y^=∑Niyi‾\widehat{Y}=\sum N_i\overline{y_i}——同一份数据被两套口径各算了一遍, 和第三节警告过的”样方口径混用”是同一个毛病。

至于”平均亩产”这个上级报表要的指标,两条路线都只有一种正确算法: 先估总产,再除以总播种面积

平均亩产^=Y^A,A=∑iAi,\widehat{\text{平均亩产}}=\frac{\widehat{Y}}{A},\qquad A=\sum_i A_i ,

绝不能把各地块的亩产直接取平均。

五、其他注意事项

  • 调查要在同一时期集中完成,避免各地收割进度不同带来的差异;
  • 需要的辅助数据要事先从农业部门(或土地确权登记)取得,而且随路线不同: 走路线 A 要各层的地块清单(有清单才能编号抽样)与地块数 NiN_i; 走路线 B 要各层的播种面积 AiA_i。 两条路线都必须拿到抽中地块的面积 aija_{ij}—— 它既是把样方亩产折成地块产量的因子,也是比值估计的分母, 没有它,第四节的公式一个也用不了;
  • 与历史数据和农业部门的估计相互校验,出现大幅偏离时要回查原因;
  • 遇到局部受灾(倒伏、病虫害)的地块,不能因为”不好看”就跳过—— 跳过它就等于系统性高估。

习题 9.1 拓广探索 第 10 题

  1. 如果调查目的是要确定被调查者的收入水平,请设计一种提问方法.

收入是典型的敏感性问题,直接问”你的年收入是多少”, 多数人会拒答,或者报一个不真实的数。下面给三种由浅入深的提问方法。

方法一:分档提问(最简单、最常用)

不问具体数额,只问落在哪一档:

问法:您(家庭)去年的税后总收入大约属于下列哪一档?

选项区间口语化写法
A[0,5)[0,5) 万元不满 55 万
B[5,10)[5,10) 万元55 万至不满 1010 万
C[10,20)[10,20) 万元1010 万至不满 2020 万
D[20,50)[20,50) 万元2020 万至不满 5050 万
E[50,+∞)[50,+\infty) 万元5050 万及以上

分档的写法必须让端点只属于一档,这一点不能含糊。 按汉语习惯和国家标准,”55 万元以下""5050 万元以上”都是含本数的, ”5∼105\sim 10 万元”这种写法通常也含两端。 于是”55 万元以下 / 5∼105\sim 10 万元”这样分,收入恰好是 55 万的人就同时落进两档, 1010、2020、5050 万同理。端点归属不定,后面算比例就会双计或漏计,中位数、百分位数也就无从谈起。 所以要么写成上表左列那样的左闭右开区间, 要么写成右列那样的”不满……""……及以上”,两种写法都能把端点切开。

为什么有效: 说出”我在 B 档”的心理压力,远小于说出一个精确数字; 而且分档已经足够刻画收入水平的分布, 后面要算的比例、中位数、百分位数都用得上(这些正是下一节的内容)。

注意: 档位的划分要覆盖全部可能、互不重叠(上面已经按这条改过写法), 且中间档不能太宽(否则大部分人挤在一档里,信息就没了)。

方法二:随机化回答(本节读过的技巧)

用于只需要知道”收入是否超过某个水平”的比例时。

准备一个随机装置——袋中 5050 个白球、5050 个红球,摸出后放回。

  • 摸到白球的人回答:“您父亲的公历生日日期是不是奇数?”
  • 摸到红球的人回答:“您的年收入是否超过 1010 万元?”

回答”是”的往盒中投一颗石子,回答”否”的什么都不做。

估算方法与正文完全一样: 设共调查 200200 人、收到 SS 颗石子, 则约 100100 人回答了第一个问题、其中约 186365×100≈51\dfrac{186}{365}\times 100\approx 51 人答”是”, 于是回答第二个问题的约 100100 人中约有 S−51S-51 人答”是”, 估计收入超过 1010 万元的比例约为 S−51100\dfrac{S-51}{100}。

好处: 调查者永远不知道任何一个人回答的是哪个问题, 被调查者可以毫无顾虑地说实话。

方法三:加随机数后再报(要算平均收入时用)

让被调查者把自己的收入加上一个由随机装置产生的、分布已知的随机数再报出来。 例如掷一枚骰子,把点数乘以 11 万元加到自己的收入上。

调查者知道这个随机数的均值是 3.53.5 万元,于是

收入的平均数≈(报出数的平均数)−3.5 万元.\text{收入的平均数}\approx(\text{报出数的平均数})-3.5\ \text{万元}.

而单独一个人报出的数还原不出他的真实收入(不知道他掷出了几点)。

这里用的正是本章第 6 题证过的那条结论: yi=xi+uiy_i=x_i+u_i 时 y‾=x‾+u‾\overline{y}=\overline{x}+\overline{u}—— 平均数在加法下是可以拆开的。

无论用哪种方法,都要配套做到

  • 匿名:问卷不留姓名、学号等可识别信息;
  • 位置靠后:收入问题排在问卷末尾,前面先问不敏感的问题;
  • 说明用途并承诺保密,最好写明数据只以汇总形式发布;
  • 口径写死:税前还是税后?个人还是家庭?含不含奖金、租金、转移性收入? 口径不统一,收上来的数字根本不能放在一起比。

习题 9.1 拓广探索 第 11 题

  1. 你可能想了解全校同学生活、学习中的一些情况,例如,全校同学比较喜欢哪门课程,每月的零花钱平均是多少,喜欢看《新闻联播》的同学的比例是多少,每天大约什么时间起床,每天睡眠的平均时间是多少,等.选一些自己关心的问题,设计一份调查问卷,利用简单随机抽样方法调查你们学校同学的情况,并解释你得到的结论.

下面以”全校同学每月的零花钱平均是多少”为例,给出一份可以直接照做的完整方案。

一、确定调查问题与总体

  • 调查问题:全校学生每月可自由支配的零花钱平均是多少;
  • 总体:全校在册学生(设共 NN 人),从教务处取最新学籍册;
  • 个体:每一名学生;
  • 变量:该学生每月可自由支配的零花钱数额 yy(单位:元)。

总体、个体、变量这三行必须是同一类东西,不能一半是人、一半是钱。 课本 §9.1.1 的写法是”总体是全体考察对象、个体是其中每一个、变量是每个个体身上要测的那个数”。 本题抽样时抽的是学籍号,也就是抽人,所以个体只能是”学生”, “零花钱”是记在这个学生身上的变量。 (等价的另一种写法是:总体 = 全校 NN 名学生的月零花钱数额,个体 = 每名学生的月零花钱数额。 两种写法都自洽,不能各取一半拼起来。)

二、抽样方案

  • 方法:不放回简单随机抽样(题目要求用简单随机抽样);
  • 样本量:取 n=100n=100。 理由:样本量太小则样本平均数波动大(§9.1.1、§9.1.2 都讲过”nn 越大波动越小”), 太大则发放和回收的工作量吃不消,100100 份是一个班几名同学一周能做完的量。 要说清楚一点:样本量该由所要的精度和数据本身的波动大小决定, 不是按”占总体百分之几”定的。 抽 10%10\% 在一所千人学校是 100100 人、在一所万人学校是 10001000 人, 但这两个样本的精度并不相差十倍;反过来, 同样抽 100100 人,在千人学校和万人学校里精度也几乎一样。 (精度与 nn 的定量关系要到后续课程才学,这里只需知道不能用比例当理由。)
  • 实施:把学籍册上的学生按 1∼N1\sim N 编号, 在 R 中输入 sample(1:N, 100, F), 或在电子表格中用 RANDBETWEEN(1,N) 生成并剔除重复,直到得到 100100 个不同编号。

三、问卷(不记名)

问卷标题:关于同学零花钱情况的调查(不记名,结果只作汇总分析)

题号题目选项
11你的年级高一 / 高二 / 高三
22你每月可自由支配的零花钱大约是多少元填数字;不包括学费、书本费、由家长直接支付的餐费和交通费
33这笔钱主要用在哪些方面(可多选)饮食零食 / 文具书籍 / 娱乐 / 交通 / 储蓄 / 其他
44你觉得这笔钱很充裕 / 够用 / 偏紧 / 不够

问卷设计上的三处讲究:

  • 第 2 题必须把口径写死(“可自由支配""不包括……”), 否则每个人理解不同,收上来的数字根本不能比——这是全卷最关键的一句;
  • 年级放在第 1 题,它不敏感、好回答,还能用于分组比较;
  • 不问姓名,降低作答顾虑。

四、数据处理

  1. 用有效问卷的样本平均数估计总体平均数。 设发出 n=100n=100 份,实际收回并且填写有效的是 n′n' 份,记这 n′n' 个数为 y1,y2,…,yn′y_1,y_2,\dots,y_{n'},则
y‾=1n′∑i=1n′yi.\overline{y}=\frac{1}{n'}\sum_{i=1}^{n'}y_i .

分母必须是 n′n',不是 100100。 把没收回的当成 00 或者仍然除以 100100, 都会把估计值压低。 更要紧的是:n′<nn'<n 时,这 n′n' 个人已经不再是一个简单随机样本了—— “谁交问卷”这件事由本人决定,用样本平均数估总体平均数的前提被破坏了。 所以 n′n' 明显小于 100100 时,必须跟催补齐, 或者按 §9.1.3 第 55 题说的办法评估无回答者与回答者的差异; 不能只在最后的局限里提一句就算交代过去。 2. 按年级分组,分别求各年级的平均数,看看有没有明显差异; 3. 画出频率分布直方图,观察分布的形状 (多数人集中在哪个区间?有没有个别极大值?)——这是下一节的内容。

若发现个别同学填了明显异常的数(比如 9999999999), 要在报告中说明如何处理——剔除并注明,或改用中位数, 而不是悄悄删掉。

五、结论怎么写

结论模板(方括号处填自己算出的数): 本次调查采用不放回简单随机抽样,从全校 N=[ ⋅ ]N=[\ \cdot\ ] 名学生中抽取 n=100n=100 名, 实际回收有效问卷 n′=[ ⋅ ]n'=[\ \cdot\ ] 份,回收率 [ ⋅ ]%[\ \cdot\ ]\%。 估计全校学生每月可自由支配的零花钱平均约为 [ ⋅ ][\ \cdot\ ] 元 (该数由 n′n' 份有效问卷的平均数算得)。

“约为”两个字不能省。 还要写明 NN、nn、n′n'、回收率和抽样方法—— 没有这几项,别人无法判断这个数字可不可信。

六、必须承认的局限

  • 无回答:抽中的同学没交问卷或乱填,且不交的同学可能与交的同学不同;
  • 自报误差:零花钱是凭记忆估的,可能记不准;
  • 社会期许偏差:有的同学可能往少了说(怕显得花钱多), 也有的往多了说,方向不好预判;
  • 口径理解不一:即使写了说明,仍会有同学把餐费算进去。

习题 9.1 拓广探索 第 12 题

  1. 查询中央电视台最近五年春节联欢晚会的收视率,从中你能发现一些什么信息?查阅一些收视率调查所用的方法,在分析这些方法的合理性和不足的基础上,请你自行设计一个调查收视率的方案.

一、到哪里查

  • 中央广播电视总台每年春晚后发布的传播数据新闻稿(cctv.com、总台各平台);
  • 国家广播电视总局的工作动态、收视综述;
  • CSM 媒介研究(央视-索福瑞)发布的收视数据;
  • 各年度的媒体报道与行业报告(新华网、央广网、中国日报等转发总台数据)。

二、查到的五年数据——第一件事是把口径逐列标出来

下表是从公开报道中查到的数字(截至 20262026 年 99 月,来源见本题末尾的链接; 做题时应以自己查到的原始新闻稿为准)。 每一格都要连”原文的用语”和”出处是官方稿还是第三方转述”一起抄下来—— 这道题从头到尾要说的就是这件事。

年份查到的数字原文的用语出处的性质
2022202221.93%21.93\%电视端直播平均收视率媒体转总台数据
2023202320.23%20.23\%电视端直播平均收视率媒体转总台数据
2024202430.3%30.3\%(同批转述里还有 31.81%31.81\%);峰值 34.69%34.69\%只写”收视率”,未见总台/总局原稿给出定义仅见第三方转述,口径存疑
2025202578.88%78.88\%(转播频道 50.93%50.93\%,CCTV-1 为 35.19%35.19\%)全国电视市场直播总收视份额(近 1212 年新高)央广网转总台稿
2026202679.29%79.29\%全国电视市场占有率(近 1313 年纪录)国家广播电视总局工作动态
2026202641.02%41.02\%第三方口径的”央视&卫视整体收视率”(同一家还报市占率 92.66%92.66\%)第三方机构,与上一行不是同一个指标

新媒体一侧另有一组量纲完全不同的数:20222022 年新媒体直点播用户触达 49.3249.32 亿次、 竖屏累计超 22 亿人次;20232023 年新媒体直播用户规模 6.556.55 亿人(+47.7%+47.7\%)、 竖屏观看规模 1.791.79 亿人;20252025 年全媒体累计触达 168168 亿人次(+18.31%+18.31\%)、 移动端受众 3.723.72 亿人(+52.46%+52.46\%)、新媒体端直播收视 21.321.3 亿次(+26.04%+26.04\%)。

这两张表本身就是这道题最大的发现,因为它们一眼就能看出四种指标被混着用:

指标它是什么分母是谁
收视率某时点(或整场平均)收看的人数(或家户数)占比该调查的推及人口/推及家户(即调查总体所代表的那部分人口),而不是笼统的”全体观众”
收视份额 / 占有率收看该频道的人(户)数,占当时正在看电视的人(户)数的比例当时开机的人(户)
触达人次累计被”够到”的次数没有分母,是次数
受众人数 / 用户规模不重复的人数人

(一)不能拿这几行直接说”收视率在涨”或者”在跌”。 20222022 与 20232023 用的是同一句原文用语(电视端直播平均收视率), 这两个数可以比:21.93%→20.23%21.93\%\to 20.23\%,略降。 20242024 的 30.3%30.3\% 和 20262026 的 41.02%41.02\% 在公开的官方稿里查不到同口径的定义—— 前者只见于第三方转述(同一批转述里还并列着 31.81%31.81\% 这个另一个”平均数”), 后者是第三方机构的”央视&卫视整体收视率”,把多个频道并在一起算, 和总局稿里的 79.29%79.29\% 份额更不是一回事。

这里该说的是”查不到口径”,而不是替它编一个口径。 说 20222022、20232023 那两个数”按单一频道或较窄转播范围计”, 同样是没有依据的猜测——总台的原文用语就是”电视端直播平均收视率”, 并没有说只算一个频道。查不到就如实写查不到,这才是这道题的正确答案。

(二)“份额创新高”和”收视率下降”可以同时成立。 20252025 的 78.88%78.88\% 是份额,分母是”当晚正在看电视的人”。 看电视的人本身在减少时,份额上升完全可能与收视率下降并存—— 一个是”开机的人里有多少在看春晚”,一个是”所有人里有多少在看春晚”。

(三)168168 亿是”人次”,不是”人”。 全国人口约 1414 亿,168168 亿人次意味着人均被”触达”了十几次, 它统计的是累计的触达次数(同一个人刷到十次算十次), 绝不能读成”有 168168 亿人看了春晚”。 同一年公布的移动端受众 3.723.72 亿人才是不重复的人数,两者相差四十多倍。

(四)想做的”分地区比较”,公开数据支持不了——而这本身就是一条发现。 “北方比南方爱看春晚”是网上流传很广的说法,配的那张南北收视地图并非官方发布, 来源多方查证不明。总台和总局的新闻稿只公布全国口径的收视率/份额, 不发布分省收视率;CSM 的分省数据是商业产品,不公开。 所以在这道题里,“分省差异”是一条查不到数据、因而做不出来的发现,不能凭印象写上去。

能说的是:全国平均收视率必然掩盖地区差异 (这正是 §9.2.3 要讲的”平均数会掩盖结构”), 要看清这层结构就必须拿到分省数据—— 而这份数据不公开,恰好说明了本节”获取数据的途径”有多要紧: 查不到的数据,再想要也不能编。

(五)“平均收视率”和”最高时段收视率”是两个数。 20242024 年第三方转述里的 30.3%30.3\%(或 31.81%31.81\%)与 34.69%34.69\% 就是同一场晚会的两个数: 前者说是整场平均,后者是 21:2021{:}20 前后的峰值。 引用时必须说明是哪一个——何况这两个数连出处都只是转述。

三、常见的收视率调查方法及其合理性与不足

方法怎么做合理性不足
测量仪法在固定样本户的电视机上装测量仪,自动记录频道与时长,家庭成员按键标识身份客观记录,不依赖记忆;可精确到分钟;可长期跟踪同一批人样本户固定且长期参与,会改变收看行为(被观察效应);招募与维护成本高,拒绝参与的家庭可能与参与的不同;按键标识常被忘记;只测家里的电视,测不到手机、电脑和外出观看
日记卡法请样本户按时段填写收看记录成本低,样本可以铺得很大依赖记忆与自觉,事后补填普遍;频繁换台记不准
电话回访法事后随机拨号询问实施快,一周内能完成,成本低抽样框(号码库)覆盖不全;拒答率高;记忆误差;接听者结构偏老年
平台后台数据直接统计在线人数与观看时长全量数据而非抽样,精度高只覆盖该平台用户;“打开即计数”不等于”真在看”;多设备登录会重复计数;各平台口径不一,难以汇总

把四行放在一起看,规律很清楚: 越客观的方法覆盖面越窄,覆盖面越广的方法越依赖被调查者的配合。

这里要提醒一句容易混的话。 §9.1.2 结尾说的”把多种抽样方法组合起来使用”, 指的是分层、整群、系统这些抽样方式的组合(例如先分层再整群再简单随机), 它们抽的自始至终是同一个总体里的个体。 而”测量仪 + 平台后台 + 电话回访”三者的组合完全不是这回事: 测量仪的总体是样本户家里的电视机,后台数据的总体是该平台的账号, 回访的总体是号码库里的人,三个总体的个体根本不是同一类东西, 账号数与人数也对不上。它们只能作为互相印证的旁证,不能拼成一个”全国居民”的估计量。

四、我设计的调查方案

第一步:把口径写死(最重要的一步)。

  • 总体:全国居民(不限收看渠道、不限是否拥有电视机);
  • 主指标(这就是”收视率”):把除夕 20:0020{:}00 至次日 00:3000{:}30 按分钟切开, 每一分钟统计”此刻正在收看春晚的人数占全国人口的比例”, 整场平均收视率即这些分钟收视率的平均;同时报告最高时段收视率;
  • 辅助指标(这不是收视率,必须另立名目): 到达率 —— 当晚通过任一渠道至少收看过 11 分钟的人数占全国人口的比例。

这两个指标不能混为一谈:到达率数的是”看过的人”,收视率数的是”某一刻在看的人”。 而”谁大谁小”取决于门槛怎么定,这一点必须算清楚,不能凭感觉写”一定不小于”。

设晚会长 TT 分钟,第 ii 个人当晚累计收看 mim_i 分钟。 把每分钟的收视率平均起来,等于人均收看时长占全场的比例,即

平均收视率=m‾T,到达率=满足门槛的人所占的比例.\text{平均收视率}=\frac{\overline{m}}{T},\qquad \text{到达率}=\text{满足门槛的人所占的比例}.
  • 门槛取”至少 11 分钟”时,对每个人都有 miT≤1{mi≥1}\dfrac{m_i}{T}\le \mathbf{1}_{\{m_i\ge 1\}} (看过的人左边至多是 11、右边正好是 11;没看的人两边都是 00), 两边对全体取平均即得 到达率 ≥\ge 平均收视率,而且通常大得多 (很多人只看了十几分钟,会被到达率计入、却几乎不抬高平均收视率)。
  • 门槛取行业常用的”至少 55 分钟”时,这个不等式就不成立了。 极端一点:全国人人都恰好看了 44 分钟, 则平均收视率 =4T>0=\dfrac{4}{T}>0,而到达率 =0=0。 被漏掉的正是 0<mi<50<m_i<5 的那一批人。

所以本方案把门槛定在 11 分钟,“到达率不小于收视率”这句话才有保障; 若要沿用 55 分钟的行业口径,就只能把两个数分别报出来,不能声称大小关系。 方案的名字叫”调查收视率”,主指标就必须是收视率; 到达率可以一起报,但要另起一行、写清门槛。

没有这一步,后面所有数字都无法解释。

第二步:分层多阶段抽样。

  1. 第一阶段:按省份 ×\times 城乡分层,各层内随机抽取若干县(区);
  2. 第二阶段:在抽中的县(区)内随机抽取街道(村);
  3. 第三阶段:在街道(村)内随机抽取住户;
  4. 户内按事先规定的规则抽取一人 (例如”家中生日最接近今天的成年人”), 绝不能由开门的人自己决定谁来答——那又成了自选样本。

各层按常住人口比例分配样本量。

第三步:加权时必须校正户规模,否则样本仍然是偏的。

“每户抽一人”这条规则本身就带来一层不等概率: 一个人入样的概率与他家的常住人口数成反比—— 独居者只要户被抽中就必定入样,五口之家的每个人却只有 15\dfrac15 的机会。 若只按常住人口配层权、不管户规模,估计就会系统性地偏向小户人群 (老年独居、单身青年),而这批人的收看习惯恰恰与多口之家不同。

校正办法:设抽中的第 ii 个人所在住户有 hih_i 个符合条件的成员, 就给他一个与 hih_i 成正比的权(这就是入样概率的倒数), 再乘上分层与多阶段抽样各级的权,最后把该层全部权数归一化到该层的常住人口。 这一步不做,前面所有的随机化都白费。

第四步:测量落在被抽中的人身上,平台数据只作旁证。

估计量必须来自抽样: 对第二步抽中的每一个人, 用分钟级的收看日记卡(或在其手机/电视上征得同意后安装计时程序)记录 “每一分钟有没有在看春晚、通过什么渠道看”。 分钟收视率就用”抽中的人里此刻在看的比例”来估计, 分层多阶段的层权按常住人口比例加权还原到全国。

为什么不能把平台后台数据并进来算? 后台数据是该平台账号的全量记录, 它的个体是”账号”不是”人”(一人多号、一号多人、多设备同时在线), 与入户样本的个体对不上,两者也没有共同的抽样框。 把它们相加或去重,得到的既不是全国居民的比例,也不是任何一个明确总体的比例。

平台数据的正确用法是”对照”: 把本方案估出的”某分钟网络端收看比例 ×\times 全国人口” 与平台公布的同一分钟在线人数放在一起看, 差得离谱就说明抽样或加权出了问题,回头查—— 这叫互相印证,不叫合并。

第五步:时间与质量控制。

  • 播出后一周内完成,兼顾时效与记忆准确性;
  • 公布拒答率、抽样方法与口径定义;
  • 给出估计的误差范围,而不是只报一个数。

最后一条是整章的落脚点: 抽样得到的永远是估计值,一个负责任的调查报告, 应当同时告诉别人这个估计有多大的不确定性。

五、本题引用数据的来源

引用时务必连口径一起抄下来——本题从头到尾要说的就是这件事。

原书转写(OCR,供核对)

共 7 页· 默认折起

机器转写,如有出入以上方扫描图为准。它是原文可搜索、可复制公式、读屏器读得出的形态, 也是教材原文引文的逐字比对靶。

如果在 200 人中,共有 58 人回答 “是”,你能估计出这个地区吸烟的中学生所占的百分比吗?

由题意可知,每个学生从口袋中摸出1个白球或红球的概率都是0.5,即我们期望大约有100人回答了第一个问题,另100人回答了第二个问题。在摸出白球的情况下,回答父亲公历生日日期是奇数的概率是 186365≈0.51\frac{186}{365}\approx0.51 。因而在回答第一个问题的100人中,大约有51人回答了“是”。所以我们能推出,在回答第二个问题的100人中,大约有7人回答了“是”,即估计这个地区大约有7%的中学生吸烟。

这种方法是不是很巧妙?

9.1.3 获取数据的途径

统计学是通过收集数据和分析数据来认识未知现象的,因此,如何收集数据是统计学研究的重要内容.

在实践中,获取数据的途径多种多样,常见的有统计报表和年鉴、社会调查、普查和抽样、互联网、试验设计等。下面介绍获取数据的一些基本途径。

1. 通过调查获取数据

对于有限总体问题,如人口总数、城乡就业状况、农村贫困人口脱贫状况、生态环境改善状况、青少年受教育状况、高中生近视的比例、产品合格率、高中生日平均上网时间等问题,我们一般通过抽样调查或普查的方法获取数据.

针对不同问题的特点,为了有效收集所需数据,专家发明了各种不同的抽样方法。除了我们已经学过的简单随机抽样和分层随机抽样,还有系统抽样、整群抽样、不等概率抽样、自适应抽样、两阶段抽样等很多其他的方法。在实际应用中,关键在于是否能充分有效地利用背景信息选择或创建更好的抽样方法,并有效避免抽样过程中的人为错误。在前面的学习中,我们对此有了一定的认识。

2. 通过试验获取数据

试验是获取样本观测数据的另一种重要途径。例如,要判断研制的新药是否有效、培育的小麦新品种是否具有更高的产量等情况,没有现存的数据可以查询,就需要通过对比试验的方法去获取样本观测数据。又如特种钢、轮胎的配方和产品质量等,也需要通过试验获取样本观测数据。

通过试验获取数据时,我们需要严格控制试验环境,通过精心的设计安排试验,以提高数据质量,为获得好的分析结果奠定基础。在统计学中,这种安排试验的学问叫做“试验设计”,感兴趣的同学可以查阅试验设计教科书。

3. 通过观察获取数据

在现实生活中,我们感兴趣的很多自然现象都不能被人类所控制,如地震、降水、大气污染、宇宙射线等。自然现象会随着时间的变化而变化,不能用我们已经学过的有限总体来刻画,也就不能用抽样的方法获取观测数据;另一方面,由于自然现象不能被人为控制,也不能通过试验获取观测数据。研究这类现象,只能通过长久的持续观察获取数据。

对于各个不同的行业,往往需要专业测量设备获取观测数据。随着科技水平的提高,专业测量设备的自动化程度越来越高,通过观测获取和存储数据的成本越来越低,这成为大数据产生的根源。一般地,通过观察自然现象所获取的数据性质比较复杂,其中蕴含着所观察现象的本质信息,这些信息十分宝贵,统计学理论和方法是挖掘这些信息的强有力的工具之一。

4. 通过查询获得数据

我们感兴趣的问题,可能有众多专家研究过,他们在研究中所收集的样本观测数据可能存储于学术论文、专著、新闻稿、公报或互联网上。这些数据是宝贵的财富,我们可以收集前人的劳动成果并加以利用,从而减少收集数据的成本。我们往往把这样获得的数据叫做二手数据。国家统计局是我国最主要的统计数据收集和发布的部门,调查统计的数据涉及经济、社会、民生的方方面面。国家统计局的统计数据通过多种形式进行公布,例如定期发布新闻稿、举办新闻发布会、发布统计公报、出版各类统计资料等。统计公报有年度统计公报、经济普查公报、人口普查公报、农业普查公报等;统计资料出版物有《中国统计摘要》、以《中国统计年鉴》为代表的统计年鉴系列等。

例如,我们想了解2014年全国的交通事故情况,通过查找《中国统计年鉴》可以得到如表9.1-3所示的数据。如果我们关心机动车交通事故逐年变化的情况,那么需要通过查找每年的数据表,并把它们合并整理。

随着信息技术的发展,通过互联网获取数据越来越成为获取二手数据的主要方式。例如,可以从国家统计局的官方网站查询得到国家统计局公布的各种统计数据。在网络上,也有专门提供数据服务的公司,它们提供政府部门允许公开的各类数据。

当然,互联网的最大优势是,人们可以利用它强大的搜索功能,在整个网络上查找所需要的数据。但从网络上查找的数据,因为数据来历和渠道多样,所以质量会参差不齐,必须根据问题背景知识“清洗”数据,去伪存真,为进一步的数据分析奠定基础。

练习

  1. 请从国家统计局网站上查找我国水资源及其使用情况的一些数据,根据数据谈谈当前保护水资源的重要性.

  2. 近视是青少年存在的普遍问题,你能查找相关数据,并利用数据说说近几年我国在防治青少年近视上取得的成效吗?

习题9.1

复习巩固

  1. 下列情况中哪些适合用全面调查,哪些适合用抽样调查?说明理由.

(1)了解某城市居民的食品消费结构;

(2) 调查一个县各村的粮食播种面积;

(3)了解某地区小学生中患沙眼的人数;

(4)了解一批玉米种子的发芽率;

(5) 调查一条河流的水质;

(6) 某企业想了解其产品在市场的占有率.

  1. 某刊物对其读者进行满意度调查,调查表随刊物送到读者手中,对寄回的调查表进行分析。这是不是一项抽样调查?样本抽取是不是属于简单随机抽样?为什么?

  2. 中央电视台希望在春节联欢晚会播出后一周内获得该节目的收视率. 下面是三名同学为电视台

设计的调查方案.

同学A:我把这张《春节联欢晚会收视率调查表》放在互联网上,只要上网登录该网址的人就可以看到这张表,他们填表的信息可以很快地反馈到我的电脑中。这样,我就可以很快统计出收视率了。

同学 B:我给我们居民小区的每一个住户发一份是否在除夕晚上看过中央电视台春节联欢晚会的调查表,只要一两天就可以统计出收视率.

同学 C:我在一个电话号码本上随机地选出一定数量的手机号码,然后逐个给他们打电话,问一下手机用户是否收看了中央电视台春节联欢晚会,我不出家门就可以统计出中央电视台春节联欢晚会的收视率.

请问:上述三名同学设计的调查方案获得比较准确的收视率的可能性大吗?为什么?

  1. 下列从总体中抽得的样本是否为简单随机样本?

(1)总体编号为 1∼751\sim 75 ,在 0∼990\sim 99 中产生随机整数 rr .若 r=0r = 0 或 r>75r > 75 ,则舍弃,重新抽取.

(2) 总体编号为 1~75,在 0~99 中产生随机整数 r,r 除以 75 的余数作为抽中的编号。若余数为 0,则抽中 75。

(3)总体编号为 6001∼68766001\sim 6876 ,在 1∼8761\sim 876 范围内产生一个随机整数 rr ,把 r+6000r + 6000 作为抽中的编号.

  1. 一支田径队有男运动员 56 人,女运动员 42 人,按性别进行分层,用分层随机抽样的方法从全体运动员中抽出一个容量为 28 的样本。如果样本按比例分配,那么男、女运动员应各抽取多少名?

综合运用

  1. 数据 x1,x2,⋯ ,xnx_{1}, x_{2}, \cdots, x_{n} 的平均数为 x‾\overline{x} ,数据 y1,y2,⋯ ,yny_{1}, y_{2}, \cdots, y_{n} 的平均数为 y‾\overline{y} ,a, b 为常数。如果满足 y1=ax1+by_{1}=ax_{1}+b , y2=ax2+by_{2}=ax_{2}+b , ⋯\cdots , yn=axn+by_{n}=ax_{n}+b ,证明 y‾=ax‾+b\overline{y}=a\overline{x}+b 。

  2. 已知总体划分为3层,通过分层随机抽样,得到各层的样本平均数分别为 x‾\overline{x} , y‾\overline{y} , z‾\overline{z} .

(1)根据以上信息可以估计总体平均数吗?如果不能,还需要什么条件?写出估计式.

(2) 如果样本量是按比例分配, 第 1, 2, 3 层的个体数分别为 LL, MM, NN, 样本量分别为 ll, mm, nn, 证明:

LL+M+Nx‾+ML+M+Ny‾+NL+M+Nz‾=ll+m+nx‾+ml+m+ny‾+nl+m+nz‾.\frac {L}{L + M + N} \overline {{x}} + \frac {M}{L + M + N} \overline {{y}} + \frac {N}{L + M + N} \overline {{z}} = \frac {l}{l + m + n} \overline {{x}} + \frac {m}{l + m + n} \overline {{y}} + \frac {n}{l + m + n} \overline {{z}}.

  1. 校学生会希望调查学生对本学期学生活动计划的意见。你自愿担任调查员,并打算在学校里抽取 10%10\% 的同学作为样本。

(1)怎样安排抽样,可以提高样本的代表性?

(2) 在调查抽样中你可能遇到哪些问题?

(3) 这些问题可能会影响什么?

(4) 你打算怎样解决这些问题?

  1. 一般来说,影响农作物收成的因素有气候、土质、田间管理水平等。如果你是一个农村调查队成员,要在麦收季节对你所在地区的小麦进行估产调查,你将如何设计调查方案?

拓广探索

  1. 如果调查目的是要确定被调查者的收入水平,请设计一种提问方法.

  2. 你可能想了解全校同学生活、学习中的一些情况,例如,全校同学比较喜欢哪门课程,每月的零花钱平均是多少,喜欢看《新闻联播》的同学的比例是多少,每天大约什么时间起床,每天睡眠的平均时间是多少,等.选一些自己关心的问题,设计一份调查问卷,利用简单随机抽样方法调查你们学校同学的情况,并解释你得到的结论.

  3. 查询中央电视台最近五年春节联欢晚会的收视率,从中你能发现一些什么信息?查阅一些收视率调查所用的方法,在分析这些方法的合理性和不足的基础上,请你自行设计一个调查收视率的方案.

信息技术应用

统计软件的应用

在统计中使用计算机技术,不仅可以把人们从机械、烦琐的数据整理、计算中解放出来,极大提高工作效率,而且能使大量人工难以完成的数据处理变成可能,从而促进统计学的发展。现在,用统计软件处理数据已成为统计学的组成部分。

为了满足不同需求,人们开发了功能各异的统计软件。有些是专门的统计软件,统计功能比较全面,如 R,SAS,SPSS,S-Plus,Stata 等;有些是有一定统计功能的软件,如 Microsoft Excel,MATLAB,GeoGebra,《网络画板》等。通常,统计软件的功能包括对数据进行管理和组织,将数据转化为可视化的图表,对数据进行统计计算和分析等。

下面以电子表格软件和 R 软件为例,介绍统计软件在统计分析中的应用.

一、电子表格软件的简单统计功能

(一)产生随机数

  1. 用 RAND() 函数产生区间 [0, 1] 内的随机数

打开电子表格软件,在单元格A1中输入“=RAND()”,按回车键,即可产生区间[0,1]内的一个随机数。将鼠标放在A1单元格的右下角,待鼠标变为“+”时,拖动A1单元格到A100,就可产生区间[0,1]内的100个随机数。

  1. 用 RANDBETWEEN (a, b) 函数产生区间 [a,b][a, b] 内的整数随机数

例如,要产生区间 [1,712][1, 712] 内的一个整数随机数,只要在单元格中输入“=RANDBETWEEN(1,712)”,按回车键即可.

(二)随机抽样

用软件的数据分析工具,可以实现有放回简单随机抽样。例如,从一组数据中有放回抽取容量为20的样本,输入数据后,在菜单栏中依次选择“数据”—“数据分析”—“抽样”,点击“确认”按钮,在弹出的对话框中把被抽样的总体数据置于“输入区域”中,在“抽样方法”中选择“随机”,并输入要抽取的样本量“20”,设置“输出选项”后,单击“确定”即可。

若 “数据” 菜单中没有 “数据分析” 选项,则在 “文件” 菜单中依次点击 “选项” — “加载项” — “转到”,在 “可用加载宏” 中选中 “分析工具库” 和 “分析工具库-VBA”,单击 “确定” 即可把 “数据分析” 加载到菜单栏中.

(三)统计量的计算

在电子表格软件的函数库中,有一类统计函数提供了计算常用统计量的各种函数,如 AVERAGE()(平均数),MEDIAN()(中位数),MODE()(众数),VAR.P()(方差),STDEV.P()(标准差),PERCENTILE.INC()(百分位数),等。可以直接输入函数名称进行调用,也可以通过“插入函数”的方式选择调用。

例如,求单元格 A2 到 A101 所有数据的平均数,可以选一空白单元格,输入 “=AVERAGE(A2:A101)”,或者在菜单栏中依次选择 “公式” — “函数库” — “插入函数”,调出函数 “AVERAGE”,再设置求平均数的单元格范围.

其他函数调用的操作过程类似,只是不同函数的参数设置有所不同,可以根据函数的说明进行恰当设置.

二、R 软件的简单统计功能

R 软件是一款免费软件,可在其官方网站下载。它通过命令形式进行操作。

(一)产生随机数

  1. 用 runif()函数产生区间 [0,1][0, 1] 内的随机数

例如,要产生 100 个区间 [0,1][0, 1] 内的随机数,在命令窗口中输入 “runif (100)” 即可(图 1).

  1. 用 sample()函数产生区间 [a,b][a, b] 内的整数随机数

例如,在命令窗口中输入“sample (1: 712, 100, T)”,就产生了100个区间 [1, 712] 内的可重复的整数随机数。如果希望随机数不可重复,只要把sample函数中的参数T改为F即可。

图1

(二)用 sample()函数实现随机抽样

例如,从一组数据1,2,3,3,4,4,5,6中,抽取一个容量为5的样本。如果是有放回的抽取,在命令窗口中输入

x<−c(1,2,3,3,4,4,5,6)sample(x, 5, T)\begin{array}{l} \hline \mathrm{x< -c(1, 2, 3, 3, 4, 4, 5, 6)} \\ \text {sample(x, 5, T)} \end{array}

如果是不放回的抽取,只要把 sample 函数中的参数 T 改为 F 即可.

(三)统计量的计算

在 R 软件的命令窗口中,先以向量形式将数据输入 R 软件中,再根据统计量调用相应的函数求值,如 mean()(平均数),median()(中位数),var()(方差),sd()(标准差),quantile()(分位数)等.

例如,求数据6,4,2,4,5的平均数.在命令窗口输入

x<−c(6,4,2,4,5)mean(x)\begin{array}{l} \hline \mathrm{x< -c(6, 4, 2, 4, 5)} \\ \text {mean(x)} \end{array}

不同函数的参数设置可以查看软件提供的帮助文档。关于方差、标准差、分位数等统计量的含义,本章后续即有介绍。