风笑天:高回收率更好吗?——对调查回收率的另一种认识

选择字号:   本文共阅读 122 次 更新时间:2019-01-12 00:21:50

进入专题: 调查回收率  

风笑天  

   内容提要:论文结合国内外的研究实例,对调查回收率的衡量标准及其依据提出了自己的看法。作者指出,一方面,调查回收率所代表的实际样本的大小,是衡量一项调查结果所具有的代表性的最终指标,因而回收率越高越好。但另一方面,由于实际调查中存在着许多制约和影响回收率的因素,如果不切实际地单纯追求高回收率可能会影响到调查资料的质量,因此回收率并非越高越好。研究认为,样本的完整与资料的质量是我们在调查中应该同等关注的两个方面,既要尽可能地提高回收率,也要尽可能地防止和避免低质量的高回收率。

   关 键 词:社会调查  回收率  方法论

  

一、一个意外的提问

  

   2005年8月,美国社会学协会(ASA)第100届年会在费城召开。在分组会议上,一篇由笔者与合作研究者(美国教授及其博士生)合写的论文进行了宣读。论文报告完后,在场的一位美国学者提出了一个这样的问题:“你们的研究报告指出,调查的回收率为96%,请问,回收率怎么会有这么高?!”

   这一提问让笔者感到十分意外。国内学者——包括笔者——以往所进行的一些调查,回收率达到90%以上可以说是相当常见的现象(实际的统计结果证实了笔者的印象,具体情况可参见本文第三部分的内容)。更为重要的是,在笔者(以及国内许多同行)看来,调查回收率的高低,是衡量一项调查质量高低的主要标准。而在实际从事社会调查的过程中,努力追求高回收率也早已成为许多国内同行的共识和行动。难道高回收率有什么不好吗?难道我们不应该追求高回收率吗?高回收率有什么不正常吗?正是这种意外的感觉以及由此所带来的一系列疑问,促使笔者对调查中的回收率问题进行了重新思考,并对调查回收率或高或低的现象背后所具有的深刻含义进行了分析。本文的目的就是围绕这一看似简单、实际上却关系重大的方法论问题谈谈笔者新的认识,以就教于学界同行。

  

二、调查回收率及其意义

  

   社会调查中的回收率(response rates,也称作回答率或应答率)指的是“调查者实际调查的样本数与计划调查的样本数之比”(风笑天,1987),也就是社会调查过程中研究者成功完成调查询问的个案数占计划完成的样本总个案数的百分比。它通常包括自填式问卷调查中的问卷回收率和结构式访问调查中的访问回答率。回收率的计算方法是:

   回收率=(实际完成询问的个案数/计划完成的样本总个案数)×100%

   比如,一项调查从总体中抽取了400名调查对象作为样本,研究者采用自填问卷的方法收集资料,发出问卷400份,实际收回问卷380份。那么,根据上述公式计算,该项调查的回收率为:

   (380/400)×100%=95%

   同样,如果研究者采用的是结构式访问的方法来收集资料,而在实际访问400名调查对象的过程中,有10位调查对象由于地址错误、外出打工、生病住院等客观原因而无法接触到,还有10位调查对象拒绝接受访问。结果,实际完成访问的对象为380人,回收率亦是95%。

   实际调查中,由于收回的问卷里还可能会有一部分不合格的问卷,所以,真正严格意义上的调查回收率(也称为有效回收率)指的是通过对问卷的审核,剔除那些填答不全或明显乱填的废卷后所剩下的问卷数(即有效问卷数)占样本总个案数的百分比,即:

   (有效)回收率=(实际完成询问的有效个案数/计划完成的样本总个案数)×100%

   比如,通过审核发现上述调查中所收回的380份问卷里,有20份不合格的废卷,将这些废卷剔除,该项调查的有效回收率就只有:

   [(380-20)/400]×100%=(360/400)×100%=90%

   由于最终进入数据分析的问卷数目是有效问卷数,因而,一般情况下研究者在研究报告中向读者报告的应该是有效问卷数和有效回收率。如无特别说明,本文中的调查回收率也指的是调查的有效回收率。

   对于社会调查而言,回收率最常见、同时也是最基本的方法论意义在于:它是决定和影响调查样本代表性的重要因素。“回收率是受访者样本代表性的一项指标”(巴比,2000:331),“它是反映抽样调查结果对总体的代表性程度的重要指标之一”(风笑天,1987)。调查研究中,研究者虽然可以通过科学的抽样设计,达到从总体中抽取具有代表性的样本的目的,然而,这种抽样所得到的样本的代表性并不能最终反映调查结果的代表性。因为抽样所得样本对总体的代表性是一种处于调查开始之前的衡量指标。在进行调查的过程中,会有许多因素导致抽样样本中部分个案的缺失或失效,使得最终完成调查的样本只是抽样样本中的一个部分。而由于“未回答者通常与问卷的回答者有着相当的差别,他们通常是一些由于受教育程度低而看不懂问卷的人、一些年事已高而无法回答问卷的人、或者是一些流动性较大而无法找到的人”(Nachmias & Nachmias,2000:208),所以,当调查的回收率较低(即未回答者的数量较大)时,调查结果的总体代表性就会受到明显的影响和破坏。这方面最著名的例子是美国《文学文摘》杂志关于美国总统选举的调查。该杂志在1936年的总统选举调查中收回了200多万份调查表,其收回的问卷规模可谓巨大。但是,相对于其所发出的1000多万张调查表来说,200万的数字依然只是很小的一部分。正是这种20%左右的回收率(以及研究者在抽样框方面的失误),彻底葬送了《文学文摘》杂志的这次调查结果,也最终导致了这家杂志的关门。回收率过低而影响到调查结果质量的另一个著名例子是美国学者海蒂关于美国女性的性调查。尽管这项著名调查的有效样本规模也达到了4500份,但相对于其发出的10万份问卷来说则小得可怜(回收率仅为4.5%),其研究结果因此遭到学界猛烈批评。也正因为如此,“在调查研究中,回收率是研究者的一大担心”(Neuman,1994:239)。

   那么,可接受的回收率,以及很好的回收率的标准是什么呢?对此学界目前还没有统一的认识。纳克米亚斯等人指出:“要确定一种可接受的回答率标准并不是一件容易的事情,因为科学家在最低回答率的标准上意见不一致”(Nachmias & Nachmias,2000:213)。美国社会学者巴比提出过一个简单的等级规则:“要进行分析和报告撰写,问卷回收率至少要有50%才是足够的,要至少达到60%的回收率才算是好的;而达到70%就非常好。”但他同时也明确指出:“要记住,以上数据都只是概略指标,并没有统计上的基础”(巴比,2000:331)。

   尽管没有统一的衡量标准,但笔者认为,一般情况下,如果无回答的比例超过样本总量的1/3,即回收率低于样本总量的2/3时,调查结果就有可能出现大的偏差。因此,当一项调查的回收率低于这一比例时,研究者有责任对未回收的调查对象所具有的基本特征及其所带来的误差进行分析和说明。因为这种误差在相当大的程度上将决定和影响调查研究结果的推广范围以及推广中的偏差范围。

   由于回收率所代表的样本才是真正的样本,或者说,才是得出调查结果时实际用到的样本,因此,即使在抽样样本具有很好代表性的情况下,调查回收率的高低仍然可以影响到调查结果的代表性程度。正是这种由回收率所代表的调查样本的大小,成为衡量一项调查的结果所具有的代表性的最终指标。也正是在这种意义上,我们说,调查的回收率越高越好。

  

三、目前国内社会学界调查回收率的状况

  

   正是基于上述认识,研究者在调查中一般都会尽可能地追求更高的回收率。国内社会学界调查回收率的状况也很好地说明了这一点。笔者对《社会学研究》最近两三年来(2004年第2期-2006年第3期)所刊登的、利用抽样调查数据(一项网络调查除外)撰写的全部研究论文中的回收率进行了统计,其结果表明,在最近两年半的时间内,《社会学研究》共发表了利用抽样调查所得数据撰写的研究论文27篇(涉及到20项调查)。其中,报告了回收率的19篇,没有说明回收率的8篇(其中有4篇通过其他方式了解到或计算出其回收率)。在最后得到的总共23篇(属于16项调查)有回收率统计的报告中,2篇(属于同一调查)的回收率为60%左右,1篇为76%,3篇为82%-90%之间,其他17篇(属于11项调查)的回收率都超过90%。特别是其中两项全国范围的大规模调查(样本量均在6000份左右)的回收率更是达到了99.2%和99.9%(见表1)。

   上述统计说明,目前国内社会学界所进行的调查研究,绝大部分(70%左右)的回收率都在90%以上。如果那位提问的美国学者了解到这样一种十分普遍的高回收率状况,或许会更加大惑不解。然而,值得我们思考的问题是:他为什么会对这种较高的回收率感到不可思议?特别是为什么会以一种对高回收率表示怀疑和将高回收率看作缺点的方式来提问?

  

四、GSS:调查回收率的一个参照


   为了回答上述问题,我们先来看看美国社会调查方面的一些情况。在美国,有一项专门为全体社会科学的学者和学生所利用而设计的全国范围的大型抽样调查——综合社会调查(General Social Survey,简称GSS)。它由芝加哥大学的“全国民意研究中心”(NORC)具体负责实施。从1972年到1993年,GSS基本上每年进行一次。调查采用入户访问的方式进行。每次调查的样本都是单独抽取的,样本规模大约在1900-2500份之间。后来由于调查经费紧张,从1994年开始,改为双年调查一次,样本规模则相应增加了大约1倍,即在3800-4100份之间。1972年开始第一次GSS调查时,访问表格很短,仅仅由20个问题组成。从1973年开始,该调查得到美国国家科学基金的资助,问卷变成由上百个问题所组成。根据芝加哥大学NORC的统计,目前至少有7000份利用GSS的调查数据写成的研究报告发表。此外,GSS的数据资料还经常用在大学本科生和研究生的教学中,也经常被新闻媒体利用(Dorsten & Hotchkiss,2005:350)。那么,这样一个著名的调查的回答率情况如何呢?从1972年到2002年,GSS在长达30多年的21次调查中,访问了将近44000位回答者,调查的回收率却始终比较稳定,基本上都处于70%-80%之间(最低的2000年和2002年是70%,最高的1993年是82%),全部21次调查的平均回收率为76%(见表2)。

    进入专题: 调查回收率  

本文责编:陈冬冬
发信站:爱思想(http://www.aisixiang.com),栏目:天益学术 > 社会学 > 社会研究方法
本文链接:http://www.aisixiang.com/data/114490.html
文章来源:《社会学研究》2007年 第3期

0 推荐

在方框中输入电子邮件地址,多个邮件之间用半角逗号(,)分隔。

爱思想(aisixiang.com)网站为公益纯学术网站,旨在推动学术繁荣、塑造社会精神。
凡本网首发及经作者授权但非首发的所有作品,版权归作者本人所有。网络转载请注明作者、出处并保持完整,纸媒转载请经本网或作者本人书面授权。
凡本网注明“来源:XXX(非爱思想网)”的作品,均转载自其它媒体,转载目的在于分享信息、助推思想传播,并不代表本网赞同其观点和对其真实性负责。若作者或版权人不愿被使用,请来函指出,本网即予改正。
Powered by aisixiang.com Copyright © 2019 by aisixiang.com All Rights Reserved 爱思想 京ICP备12007865号 京公网安备11010602120014号.
易康网