风笑天:社会调查中的无回答与样本替换

选择字号:   本文共阅读 2270 次 更新时间:2019-01-13 14:51

进入专题: 社会调查   无回答   样本替换   方法论  

风笑天  

内容提要:社会调查中的无回答可以归为四类:即样本对象不适合、样本对象无接触、样本对象无能力以及样本对象拒绝回答。根据调查方式的不同,无回答的处理方式也不一样。电话调查主要采用扩大备用样本规模的方式;邮寄调查主要采用催促信函和电话提醒的方式;面访调查则主要采用多次上门联系、耐心解释和说服以及替换样本的方式。由于样本替换存在着破坏随机抽样原则、促使访问员放弃减少无回答的各种努力、不能在实质上降低无回答误差、以及初期调查结果容易被掩盖等风险,因此,面访调查中最合适的处理方式是在转化和减少无回答上下工夫,而不是采用替换样本的方法。

关 键 词:社会调查  无回答  样本替换  方法论


社会调查是“一种采用自填式问卷或结构式访问的方法,通过直接的询问,从一个取自总体的样本那里收集系统的、量化的资料,并通过对这些资料的统计分析来认识社会现象及其规律的社会研究方式”(风笑天,2009:6)。在这种应用非常广泛的社会研究方式中,存在一个十分常见的现象,这就是研究者所抽取的样本中的对象往往不可能百分之百地成功接受调查。“很少有抽样调查的回答率能达到100%,这就是说,大多数调查或多或少都会抽到一些搜集不到数据的单元(如人或住户)。如果那些被抽到但没有搜集到资料的单元系统地不同于那些被抽到且搜集到数据的单元,那么调查结论便会在一定程度上存在无回答①误差的影响”(拉弗拉卡斯,2005:4)。也就是说,在研究者所抽取的样本中,实际上包含着两个部分:回答者的部分和无回答者的部分。十分显然的是,样本中无回答者的部分越大,样本调查的结果对总体的代表性存在偏差的可能性也就越大。正如福勒教授明确指出的:“从被选择的样本中收集资料失败的比例过高是调查误差的主要来源”(福勒,2004:40)。因此,如何解决调查中的无回答问题,也是社会调查方法面临的主要挑战之一。

面对调查中不可避免的无回答现象,国内学术界最常见的处理方法就是通过样本替换②来对其进行补救。例如,有研究者对国内社会学界一些调查项目执行过程的主持人进行了专门了解,结果发现,“调查主持人均报告,各项调查在执行过程中均发生过样本替换”(郝大海,2007)。该研究者也认为,“从目前国内调查实践看,相当多的调查对无应答单位采用了替换处理”(郝大海,2008)。值得思考的是,对于提高调查的回答率,从而减少调查偏差的目的来说,样本替换是最好的选择吗?除了进行样本替换,还有哪些无回答的处理方式值得注意?在不同的调查方式中,无回答的表现形式以及最合适的处理方式是否有所不同?无回答偏差在整个调查偏差中处于什么位置?替换样本的使用可能存在怎样的风险?什么样的情况适合使用替换样本,什么样的情况并不适合?对这些与社会调查中的无回答、样本替换以及调查偏差密切相关,国内学术界又很少关注的问题进行初步探讨,就是本文的主要目标。


一、无回答的内涵及其表现形式


为了更好地探讨上述问题,有必要首先对调查中的无回答概念及其在不同调查中的表现形式进行简要分析。由于调查具体方式以及无回答现象的多样性,学者们对无回答概念的界定和表述也存在一定的差别。在Kendall和Buckland主编的《统计术语词典》中,无回答指的是“在抽样调查中,由于某种原因(死亡、缺席、拒访等)而无法从指定的个体处获得信息”的情形(Kendall & Buckland,1960:200)。显然,他们的无回答定义主要指的是单位无回答③。亨利教授在《实用抽样方法》一书中认为,无回答指的是“未能从样本成员中得到有效的回答。在被调查人拒绝回答某一特定问题,拒绝参与调查,或无法与被调查人取得联系的时候就会发生无回答问题。”(亨利,2008:51)按照他的这种界定,无回答实际上可分为三类:一类为项目无回答;一类为主观性的单位无回答;另一类为客观性的单位无回答。而莱斯勒、卡尔斯比克两位教授在《调查中的非抽样误差》一书中则指出,“调查中最明显的问题之一是不能从所有的样本单位及问卷中的所有问题获得有用的数据,我们称这类问题为‘无回答’”(莱斯勒、卡尔斯比克,1997:113)。显然,他们的无回答定义同样包含了单位无回答和项目无回答两种类型。其中,单位无回答“是指被调查单位没有接受调查”,“这里谈及的单位指的是应用于抽样、数据采集或数据分析的单位”(莱斯勒、卡尔斯比克,1997:113)。总结上述各种定义可以认为,被抽取到调查样本中的单位没有成功接受调查,就是本文所探讨的(单位)无回答。

对于上述含义十分明确的无回答概念,在实际社会调查中会由于调查方式的不同,而在具体表现形式上有所不同。比如,在入户面访调查中,无回答的表现形式就可能既包括所抽取的样本户地址不存在、样本户为空户(即无人居住户)、样本户地址为非住户机构等抽样框偏差造成的不适合,也包括调查期间因被调查对象外出、生病住院等造成的无接触,还包括由于有身体残疾或智力障碍等造成的被调查对象无能力,以及由于被调查对象拒绝参与调查所造成的拒访等;在邮寄调查中,其表现形式则相对简单,即所有的无回答都是以调查问卷没有寄回的形式表现出来的。但在实际上,这些无回答中同样可能有因地址错误而没收到问卷造成的、有因被调查者在调查期间不在家造成的、有因被调查者语言不通或文化程度太低而看不懂问卷造成的、还有因被调查者不愿接受调查造成的等多种情况。研究者虽然在邮寄调查中不能像入户面访调查那样可以明确区分哪些单位是不适合、哪些是无接触、哪些是无能力回答、哪些是拒绝回答,但实际上其主要类型依然可归结为与上面相似的四类;在电话调查中,无回答的表现形式则主要包括电话号码为空号、电话号码为非住户号码等不合适情况,电话多次无人接听、电话为自动录音装置等无接触情况,接电话的对象语言不通、无法交流等无能力情况,以及对象接听后挂断电话等拒答现象等。

上述分析表明,不同调查方式所表现出的具有不同特征的无回答现象,实际上都可以归结为四类:即由抽样框偏差造成的样本对象“不适合”、由特定调查方式和客观条件造成的与样本对象“无接触”、由被调查对象的特定原因造成的“无能力”接受调查以及由被调查对象主观上拒绝参与调查造成的“拒答”。上述四类的划分与Groves在其著作《调查方法论》中所总结的三类无回答十分相近。他的总结是:“(1)未能提出调查的请求(如“未接触”,没能找到样本单位,邮寄调查中邮件被退回);(2)被拒绝(如已经联系到的个体拒绝了调查请求);(3)没有能力接受调查(如已经联系到的个体不懂问卷使用的语言)。”(Groves,2004:170)本文的划分与他的分类之间的唯一区别是,在他的分类中,将抽样框偏差造成的“不合适”与调查方式造成的“无接触”合并为一类;但笔者认为,不适合与无接触两种情况所造成的无回答现象不仅从来源上有着明显的区别,在处理方式上也有所不同,故将二者分开可能更好。


二、无回答现象与调查偏差


当调查中遇到无回答现象时,研究者采取样本替换方法的主要动机是为了减少无回答者的比例,以提高调查的回答率,从而减少调查样本所带来的偏差。由于无回答包含了上述四类不同的形式,而它们对调查偏差的影响不尽相同。因此,为了更清楚地认识无回答与调查偏差之间的联系,有必要对调查的各种偏差及其来源有一个整体的了解。

根据基什教授的看法,调查偏差的来源可分为抽样偏差与非抽样偏差两大类。前者主要包括抽样框偏差;后者则包括观察偏差和非观察偏差(基什,1997:583)。值得注意的是,抽样框偏差发生在抽样设计的阶段,它主要包含未覆盖和不合适两种④。所谓“未覆盖”,即“遗漏”了本来应该属于抽样框的一部分个体;而“不合适”则正好相反,即包含了本来不应该属于抽样框的一部分个体;这两方面的偏差所反映的都是抽样总体(抽样框)与目标总体之间的一致性问题。与抽样偏差相对应的非抽样偏差则发生在调查实施和资料处理的阶段,它指的是在调查数据的收集和处理过程中所出现的问题。这种非抽样偏差还可再分为观察偏差和非观察偏差两类。观察偏差是由于不正确地获得和记录观察值所引起的,即一类“是在观察进行中引起的,包括访问、列举、计数或计量;这些是回答偏差。另一类是为数据处理偏差,它产生于办公室数据处理、编码、列表和计算中”(基什,1997:584)。而非观察偏差则是由无回答引起的。这种无回答的主要来源包括无法接触、无能力回答和拒绝回答等。笔者在基什教授分类的基础上对调查中各种偏差进行了归纳整理,具体分类见下图1。

图1 调查中的偏差来源分类

根据前面关于无回答概念的界定以及在不同调查方式中表现形式的描述,可以看出,本文所讨论的无回答现象除了主要包括图1中作为非观察偏差的无回答的三种来源外,同时也包括了作为抽样框偏差来源的不合适(即图1中标有1、2、3、4的几个来源)。因此,社会调查中实际上也存在着两种不同性质的样本替换。一种样本替换所针对的是那些在样本抽取后发现并不适合作为调查对象的个体(如入户调查中样本户为无人居住的空户、样本户地址为非住户机构等,以及电话调查中的空号、非住户号码等);另一种样本替换则是针对调查实施阶段出现的那些无法接触、无能力回答以及拒绝回答的个体。对于前一种情形,样本替换是可以采用的。但对于后一种情形,样本替换就有可能是不合适的(这一点将在下文中详细讨论)。对不同替换目标的区分同时也提示我们,样本替换问题既与实地调查阶段相关,也在一定程度上与抽样设计阶段有关。


三、无回答的处理方式


莱斯勒和卡尔斯比克在其著作中讨论了解决无回答问题的一些方法,主要有:降低无回答数量;替代;估计潜在的偏差;对无回答进行补救(具体有外推法;在无回答单位中进行次级抽样;加权调整;直接替代;模型推断)等(莱斯勒、卡尔斯比克,1997:175)。由于笔者关于无回答来源的分类与现有研究者的看法有所不同,因此,在无回答处理方式上,也有一定的补充。概括地说,对于前述各种类型的无回答现象,研究者可以采用的处理方式通常有下列几种:

第一种处理方式是放大样本。即研究者在抽样设计阶段将无回答的因素考虑进去,根据以往调查的结果和经验,预先估计无回答的比例,并适当增加样本容量,以保证最终有回答的样本对总体有足够的代表性,从而保证样本调查的结果在推论总体时能达到预定的精确性和可靠性。例如,在一项大型调查的样本设计中,研究者确定样本规模时,先是以估计简单随机抽样的总体比例为P时的样本容量为基础。“在95%的置信度下按抽样绝对误差不超过3%的要求进行计算”,需要抽取的样本容量为1067。“由于采用多阶段的复杂抽样,设计效应deff一般会在2和2.5之间,我们把deff定为2,这样需要的样本量就为2000个。综合考虑精确度、费用以及调查实施的可行性等因素,以及以往若干全国社会调查的经验;再加上考虑到在调查实施中通常会存在一部分户内找不到、或没有合格调查对象、以及各种原因造成的无回答等情况,根据对回答率的估计,需要将上述样本量适当扩大为2380个。”(风笑天,2007)

这种处理方式的特点是不需要在调查过程中使用替换样本,而只是对所抽取的原始样本实施调查。如果在实际调查过程中,无回答比例与事先预计的比例比较接近,那么,样本调查结果推断总体时的精确性程度和可靠性程度就能够达到预期的目标。从本质上看,这种处理方式也可以理解为是将替换样本放到了最初设计抽取的样本中。它实际上相当于用规模较大的样本来获取(事先确定的)规模较小的样本所具有的代表性。当然,实际调查中的回答率依旧是决定这种代表性程度高低的关键因素。

第二种处理方式是转化无回答。即在调查的实施过程中,积极加强对无回答个体的转化工作,努力减少无回答的数量。这种转化的工作既包括让调查员在不同时间反复上门,或在不同时间多次拨打电话,或者多次寄送催促信函;也包括对拒绝回答者进行耐心的解释和说服工作。研究者通过这些工作,一方面可以更多地创造和增加与那些无接触者的接触机会,提高接触率。另一方面,可以更多地将拒绝回答者转化成为回答者;以此来增加调查中的回答者比例,降低调查中的无回答比例,达到提高调查回答率的目的。

第三种处理方式是进行样本替换。即在调查的实施过程中,遇到无回答个体时,采用其他个体对其进行替换。具体的操作方法有两种:一是预先抽取出一部分调查单位(对象)作为备用样本,当调查中遇到无回答情况时,用备用样本中的对象对无回答的对象进行替换;二是预先并不抽取备用样本,而只是制定出某种替换的原则或方式。当调查员在实地调查中遇到无回答情况时,就按照此原则和方法抽取新的对象作为无回答者的替换。比如,“遇到家中无人、拒访等情况而无法对样本中的对象进行调查时,则选取样本户左边的第一户作为对象进行调查”,或者“遇到所拨号码为空号、或者为应答机等情况而无法进行调查时,则拨打原号码最后一位加上1所构成的新号码”等,就是这种替换原则和方法的例子。

第四种处理方式是调查后的统计修正。即在调查结束后,通过统计的方法,来估计和修正无回答所造成的潜在偏差以及对无回答结果进行补救。这方面的具体内容在基什以及莱斯勒、卡尔斯比克的著作中都有专门的讨论,本文不作探讨。但需要指出的是,由于许多情况下这种统计修正需要获得调查总体的相关统计资料,而现实中一方面这种总体的统计资料常常不能获得或者资料过于陈旧;另一方面,这种“可以得到的总体成员的特征,并不一定直接与那些对当前的研究很重要的变量有关”。因此,即使可以通过加权等方式进行修正,这种做法也是“假定回答者和无回答者是没有差异的,充其量无非是对某些比例过低的群体所做的补偿而已”(亨利,2008:52)。

总之,在调查前通过对无回答比例的预估来扩大样本规模,在调查过程中加强对无接触者和拒答者进行转化或者进行样本替换,在调查结束后对无回答的结果进行统计修正等是研究者用以减少无回答现象及其影响的几种主要方式。


四、不同来源的无回答与样本替换的运用


上述对无回答问题处理方式的归纳中,我们可以看到,样本替换的方法只是研究者处理无回答问题的方式之一。虽然有好几种来源的无回答都可以采用样本替换的方法处理,但实际上这些样本替换的方式、意义和必要性却并不是一样的。换句话说,并不是每种来源的无回答都适合采用样本替换的方法。

首先,对于由抽样框偏差中的“不合适”所导致的无回答,研究者可以有两种方法来处理:一是在这种不合适造成的无回答数量占原始样本规模的比例很小的前提下,直接从样本中去掉这些无回答的个案。这是处理这种情况的无回答的最合适方式。二是依据同样的概率抽样原则和抽样方法从总体中再抽取一部分样本户来对这部分无回答户进行替换。第一种方法的结果实际上相当于更加准确地界定了原始的抽样规模,而不会对调查回答率带来影响。比如:假定研究者最初抽取了规模为1000户居民的样本进行调查,结果有100户因地址不存在、或者是无人居住户、或者是非住户机构等不合适原因形成了无回答。由于这些“住户”并不符合调查对象的性质要求,有的甚至根本就不存在于调查对象的总体中。因此,研究者可以直接从样本中去掉这100户,而不需要进行样本替换处理。这样,实际调查的样本规模就只有900户。此时计算调查的回答率时,分母就不是1000,而是900。而如果按第二种方法,对不合适的100户对象进行替换后,在计算调查的回答率时,分母就还是1000。特别需要注意的是,对于抽样框偏差中无回答所采取的样本替换与下文中的样本替换在含义上有一定差别。由于此时原样本中需要被替换的对象,是本来就不应该属于抽样总体的个体,因而这种替换实际上更应该被看成是在样本规模为900的基础上所进行的一次补充抽样。

其次,对于因与调查对象“无接触”(比如多次拨打电话无人应答、被抽中的调查对象外出打工不在家等等),以及因调查对象“无能力”(比如年龄过大、语言不通、身患残疾等)所造成的无回答(二者也即亨利定义中所界定的客观性无回答),研究者所能采取的方式或许就只有进行样本替换了(尽管样本替换的结果与原始样本的结果并不会相同)。这主要是因为,无接触和对象无能力所造成的客观无回答结果,与抽样框偏差中的不适合所造成的无回答结果有一点类似,就是在调查结果统计中,他们往往都是作为缺省的个案或无回答的个案来对待的(因为客观上研究者无法从他们身上获得资料)。因此,在处理方式上也与不合适处理中的方法类似。除了直接将他们作为无回答进行统计外,还可以对他们进行样本替换。但应该注意的是,由于此时被替换的对象是原始样本中符合目标总体要求、并且实实在在存在的对象,只是由于各种原因无法从他们身上获得信息资料。因此,此时的样本替换与上述不适合中的样本替换有所不同:此时的样本替换一方面必须是以样本规模增加的方式来进行回答率的统计(比如说,样本规模不是900,而是1000);另一方面它不是作为原始抽样基础上的补充抽样,而是实实在在的样本替换。这种替换始终存在着由于替换者与被替换者所具有的本质不同所带来的偏差。因此,此时的样本替换可以说并不是合适的办法,而是一种没有办法的办法。

第三,对于由被调查者拒绝参与调查和拒绝回答问卷所造成的无回答现象(即亨利定义中所界定的主观性无回答),主要有转化与替换两种处理方式,即既可以通过反复上门、多次联系和耐心解释,将拒答者转化成为回答者;也可以采用替换样本的方法,直接用新的被调查者来替换拒答者。拒答是社会调查(特别是入户访问调查)中造成无回答的最主要原因,它对调查结果所造成的影响也最大。因此,要特别重视对它的处理。笔者认为,对拒答现象最好的处理方式是通过反复的联系和耐心的说服工作,努力将拒绝回答者转化为回答者,而不是简单地对他们进行样本替换。这一方面是因为样本替换存在着一定的风险(将在下面集中分析);另一方面也是因为对拒答者进行样本替换实际上并不能提高调查的回答率。因为在进行了样本替换后,我们在计算调查的回答率时,不能只在分子中加入新获得的回答数量,同时还应该在分母中加入全部的替换样本数量。比如,原始样本为1000人,调查中因各种情况出现了300个拒答,此时的回答率为70%。如果调查员根据某种规则,对这300个拒答者进行了样本替换,结果成功完成了200个调查,再次失败了100个;那么,此时的回答率并不是(700+200)/1000=90%,而应该是(700+200)/(1000+300)=69.2%。这也就是说,研究者进行样本替换的结果并没有提高调查的回答率,因而也并没有改善调查样本的代表性。

总之,对于由抽样框偏差中的“不合适”所导致的无回答,我们可以采用样本替换的方法;对于因与调查对象“无接触”以及因调查对象“无能力”所造成的无回答(即客观性无回答),我们就只能采取样本替换的方法;而对于由被调查者拒绝参与调查和拒绝回答问卷所造成的无回答(即主观性无回答),则最好不采用样本替换的方法。


五、不同调查方式中的无回答处理


由于社会调查中几种不同的资料收集方式具有各自不同的特点,它们在无回答来源方面的状况也不一样。因此,在不同的调查方式中,处理无回答问题的策略和方法也有所不同。

对于邮寄调查来说,由于在通常情况下研究者并不知道哪些被调查者寄回了问卷、哪些被调查者没有寄回,因而其无回答的实际原因(是不合适、无接触,还是无能力、拒答)研究者并不清楚。所以,对于无回答的处理不能盲目进行替换,有时甚至不可能进行替换。此时最合适的、同时也是绝大多数研究者在实际调查中所采取的处理方式,就是向被调查对象多次邮寄催促信函,或者通过电话进行提醒(如果有联系电话的话)。许多研究表明,催促信函和电话提醒对提高邮寄调查的回收率(即回答率)具有十分明显的效果。例如,美国一项邮寄问卷调查的结果表明,研究者发出问卷后第一批寄回的问卷只占样本的46.2%,研究者发出第一封提醒信件后又收回12.2%,发出第二封提醒信件和问卷后再寄回8.8%,最后打电话通话后又寄回10.1%。两次催促信件和一次电话提醒总共帮助收回了31.1%的问卷,使问卷总的回收率达到了77.3%(贝利,1986:227)。笔者也曾进行过一次邮寄问卷调查,按时回收与催促后回收的情况与这一结果也十分相似:在规定时间寄回的比例为62.5%,发出催促信件后又寄回21.1%,最终回收率达到83.7%(风笑天,1999)。正如贝利所指出的,如果不使用催促信和电话提醒,邮寄调查“一般可望得到的回答率不超过50%或60%,而有跟踪,人们便可望得到70%或80%甚至更高的回答率”(贝利,1986:226)。

对于电话调查来说,或许扩大抽样库以便进行样本替换才是最好的处理方法。“所谓抽样库,就是一组完整的电话号码。调查员就是用这一组电话号码来得到调查最终要求完成的访谈人数(最终样本)”(拉弗拉卡斯,2005:31)。或者说,抽样库是抽样框中的一组实际的电话号码,调查员依靠它来和被调查对象进行联系。而之所以要扩大抽样库,则主要是因为一般电话调查中因为不适合、无接触和拒答所造成的无回答比例远远高于其他调查方式,也远远超过研究者所能接受的范围。例如,“格罗夫斯和卡汉在他们很有创造性的美国本土RDD(一阶)抽样调查中,最终完成的访谈即样本量是1700,但总共处理的电话号码(即呼叫单)有13000个,而这些电话号码一共被拨了44000次(即有44000个处理结果)”(拉弗拉卡斯,2005:92)。这也就意味着,研究者所完成的1700个电话调查,实际只占他们所准备的13000个电话号码的13%,而更是只占调查员实际呼叫次数44000的4%。如此大量的未完成调查的电话号码和呼叫次数,正是电话调查中需要大量备用样本、或者说需要进行大量的样本替换的原因。

而对于入户访问这种面对面的调查方式来说,虽然其中的无回答类型包括了不适合、无接触、无能力回答、拒绝回答等多种情况,但其中最主要的则是拒绝回答的问题。正如有学者所指出的“迄今为止的所有调查,构成无回答问题的最主要因素是拒绝回答”(弗拉卡斯,2005:103)。因此,研究者的处理方式虽然也有调查前的抽样设计(在预估无回答率的基础上扩大样本规模)、调查中的无回答转化和样本替换、调查后的统计调整补救等等,但笔者认为,通过积极预防以及努力做工作来尽量减少无回答,而不是进行样本替换,是入户访问这种调查方式中最为合适、同时也是最为重要的无回答处理方式。至于为什么不主张进行样本替换,笔者将在下面进行探讨。

总之,根据调查方式不同,无回答的处理方式也不一样。概括地说,电话调查主要采用扩大备用样本规模的方式;邮寄调查主要采用多次邮寄催促信函,或者通过电话进行提醒的方式;面访调查则主要以调查员多次上门、多次联系、耐心解释和说服工作来减少无回答为主,而不是以替换样本为主。


六、样本替换所面临的风险


对于调查中因拒答造成的无回答现象,为什么最好不采用样本替换的方法?问题的关键在于样本替换并不能减少由无回答所带来的调查偏差。在理论上,如果无回答现象是完全随机出现时,这种无回答就可以完全忽略。“如果这两个部分在分布上是完全随机的,则无应答部分在所调查问题上与应答部分相比不存在系统性的差别,这时,无应答的影响仅相当于减小了样本规模。如果两个部分在分布上不是随机的,而是存在系统性差别,即两个部分的统计量的期望值是不等的,则以应答部分推断总体参数时就会存在偏差。”(郭志刚等,1989:58)虽然有学者的研究表明,“当引起无回答的原因与所需统计并不相关时,无回答误差并不存在”(Groves,2004:183);但是在实际上,研究者往往没有办法去判定他们面对的无回答究竟是不是完全随机的,相反,如果一定要认为调查中的那些无回答是完全随机造成的,则往往十分牵强。

一旦无回答的出现不是随机的,那么,作为无回答处理方式的样本替换就面临一系列的风险。基什明确指出:“虽说替代常常天真地被作为一种解决方法提出来,但通常其帮助很小,实际上还可能使事情更糟。”虽然“通过预期采用增加样本容量,我们常常能使现场调查相当地便利”,但是,“使用替代来减少无回答偏差与容量控制完全不同。为此目的当替代者仅仅用更多的类似在样本里已经有的回答的个体来置换无回答时,替代是无效的”(基什,1997:626)。对无回答进行样本替换的风险主要表现在以下几个方面:

首先,常见的替换方式往往破坏了随机抽样的原则。在入户调查中,研究者通常会事先规定、并告知调查员各种替换的原则和方法。比如,“遇到样本户不在家或拒绝参与调查时,抽取该住户右边第一户作为替换”,或“抽取该住户对门户作为替换”等等。尽管从可行性上看,这种替换简便易行,也似乎具有随机性。但实际上,当使用这类替换方法时,就“在一定程度上破坏了随机性”(施锡铨,1999:201)。研究者如果要确保抽样的随机性,就只能将这些情况记作“无回答”,而不能进行替换处理。如果在实际调查中,调查员在选取替换对象时,自觉不自觉地倾向于用与回答者类似而不是与无回答者类似的个体来替换无回答者,那样造成的偏差就会更大。

其次,样本替换的做法往往会使得访问员放弃减少无回答的各种努力。样本替换的做法在某种程度上给了调查员某种临时处置的权限,使得研究者对调查质量的控制变得更为艰难。由于样本替换简单可行,所以,调查员在实际调查中往往会在两个方面放松努力:一是当遇到调查对象不在家、电话无人接听等无接触情况时,样本替换处理方式的存在往往会使调查员从提高调查完成率和提高工作效率的角度考虑,选择进行样本替换,而不是选择多次地上门、反复地拨打电话,提高与原始样本中对象的接触;二是当遇到调查对象拒访时,调查员也容易轻易地放弃对推断总体来说代表性更高的原始对象的说服和转化工作,而选择代表性相对较低、偏差可能更大、但却更容易完成调查的替换对象。正如有的学者所指出的:“替代法存在的风险是:由于提供了备选单元,访员可能就不会像‘没有捷径’时那样努力去联系指定的样本单元”(洛尔,2006:165)。而另一个可能更为严重的后果则是:“由于可以采用替代,使调查人员放松了对无回答追踪的努力,结果可能使得回答率比不采用替代时所期望的回答率还要低。”(莱斯勒、卡尔斯比克,1997:192)

第三,样本替换往往并不能在实质上降低无回答误差。样本替换的实质是以总体中新的个体来替换原来样本中的无回答个体,以此保持研究者所希望达到的样本容量,从而达到降低无回答偏差的目的。但是,一方面,样本替代虽然可以达到研究者所希望达到的回答者数量,却并不能提高调查的回答率;另一方面,样本“替代降低无回答偏差的程度取决于替代单位与被替代的样本单位间在各个方面整体的相似程度”(莱斯勒、卡尔斯比克,1997:191)。而调查中对(主观)无回答进行样本替换后,研究者并不能保证这些新的对象与原来的对象之间的整体相似性(实际上他们也不清楚二者究竟在多大程度上相似)。因此,样本替换后来自无回答的偏差的大小也难以估计。考虑到实际调查中的替换者与被替换者之间往往会在许多方面有所不同,特别是替换者往往更接近于原来的回答者而不是拒访者。所以,样本替换的结果依旧不能降低无回答带来的偏差。

第四,样本替换的做法往往导致初期调查的结果被掩盖。目前国内调查中所进行的样本替换有一个特点,这就是研究者通常并不记录和报告有关样本替换的情况,“一些调查研究主持人也没有保留样本替换的相关资料”(郝大海,2007)。这种使用了替换样本但是并不进行报告的做法,容易掩盖其初期调查的实际状况。因为,从调查最终出现的相对较高的“回答率”中,我们看不到在没有进行样本替换的情况下,调查所达到的实际回答率状况;我们也没有办法判断,在调查的过程中所使用的替换样本——不管是随机替换还是非随机替换——究竟产生了怎样的影响。正因为如此,美国公共舆论研究协会(AAPOR)关于替换样本使用的规定中专门提出了对替换的报告原则:“任何替换的使用都必须被报告。首先,无论使用了哪种替换原则都必须备有说明文件。第二,替换的数量以及性质必须要报告。应该区分户间替换和户内替换,但是应该保证两种替换都得到了报告。第三,所有被替换的个案在最后的编码中都必须被说明。……同样的,户内的替换也需要记录放弃的个案以及增加的个案,并且在另外的替换记录程序中记录下替换数等相关信息。被访者的选择程序必须清晰无误地规定并且被严格执行。这些程序的变动很可能形成替换,如果这样则它们也应该被记录下来。”⑤


七、结论:努力减少无回答而不是进行样本替换


在不可避免的无回答现象面前,研究者首先应区分不同的无回答现象,以便有针对性地采取相应的处理方式。对于实际调查中最常见的入户访问方式来说,除了由于被调查者无能力的原因所造成的无回答可考虑样本替换的方法外,对于更多的由于无接触,特别是由于拒访所造成的无回答,则应该积极地采取多种方式进行转化工作,努力增加接触和减少无回答。而不是通过简单地使用备用样本来进行样本替换。这是因为,从本质上说,只有减少原来样本中的无回答数量,才会直接减少由无回答所带来的调查偏差。这也是为什么亨利教授提醒研究者“在处理无回答问题时,我们首先应考虑的问题是如何最大限度地减少无回答”的缘故(亨利,2008:132)。

事实上,在学者们所提出的应对无回答的建议和方式中,更多的是强调事先的通知、反复的联系、对拒访者的转化工作、训练访问员争取被调查对象的合作等等,而不是建议人们去准备一份备用样本或进行样本替换。比如,福勒教授对于在电话调查和当面访谈调查中减少无回答的建议只有两条:“与选定的个人进行联系和赢得他们的合作”。而为了做好这两点,他非常详细地提出了“集中在晚上和周末多打电话”、“为访谈者提供弹性进度表”、“先寄一封预告函”、“提供关于研究项目目的的精确信息”、“确保调查任务和使用的措施不会对回应者产生不利的影响”、“找到得力的访谈员,让他们明白回应率的重要性”等等一系列具体措施(福勒,2004:47)。与此同时,研究者们在调查实践中也是身体力行。比如,在无回答面前,他们会有多次的电话联系(在电话调查中一个号码要在不同时间经过多达10次的呼叫才能定为无联系)、反复上门(在面访调查中一个对象要在不同时间经过至少三次以上的上门才能定为无法联系),以及对拒访的对象进行耐心的转化工作等等。同样的,从美国人口普查局的《当前人口调查》(CPS)中,我们也可以了解到,他们关于无回答的处理方式同样是重在事前的预防措施,而不是进行样本替换和事后的统计加权处理(U.S.Census Bureau,2006)。

总之,对于调查中的无回答现象,比较合适的做法是先按照正规的抽样设计,将可能的无回答比例考虑进去,计算出相对大一些的样本容量。同时,也是更重要的,是在实地调查的过程中,尽量采取措施,在转化和减少无回答数量上下工夫,最大限度地对由无接触和拒绝回答等原因造成的无回答现象进行转化,以此来保证足够的回答率,而不是采用样本替换的方法来补充样本。对于提高社会调查的质量来说,这是十分重要的一环。

(博士生王晓焘协助笔者查找了部分资料并对本文的撰写提供了帮助,在此表示感谢!)

注释:

①无回答,即英文中的nonresponse,也译为无应答。本文中二者含义相同。

②样本替换,即英文中的sample substitution,也译为样本替代。本文中二者含义相同。

③调查中的无回答现象一般分为“单位无回答”(unit nonresponse)和“项目无回答”(item nonresponse)。前者指样本中的调查单位(对象)无回答;后者则指的是调查单位(对象)对问卷中的一部分问题(即项目)无回答。本文主要探讨单位无回答问题。因此,若无特别说明,文中的无回答均指的是单位无回答。

④基什教授的著作中将遗漏,即未覆盖,作为非观察偏差中的一类。笔者认为更合适的分类是将其放在抽样框偏差中。实际上,他在具体论述中也是将其与抽样框问题一起讨论(基什,1997:592-593)。

⑤参见AAPOR,The American Association for Public Opinion Research,2008,pp.10-11.



    进入专题: 社会调查   无回答   样本替换   方法论  

本文责编:陈冬冬
发信站:爱思想(https://www.aisixiang.com)
栏目: 学术 > 社会学 > 社会研究方法
本文链接:https://www.aisixiang.com/data/114523.html
文章来源:本文转自《南京大学学报:哲学.人文科学.社会科学》2010年 第5期,转载请注明原始出处,并遵守该处的版权规定。

爱思想(aisixiang.com)网站为公益纯学术网站,旨在推动学术繁荣、塑造社会精神。
凡本网首发及经作者授权但非首发的所有作品,版权归作者本人所有。网络转载请注明作者、出处并保持完整,纸媒转载请经本网或作者本人书面授权。
凡本网注明“来源:XXX(非爱思想网)”的作品,均转载自其它媒体,转载目的在于分享信息、助推思想传播,并不代表本网赞同其观点和对其真实性负责。若作者或版权人不愿被使用,请来函指出,本网即予改正。
Powered by aisixiang.com Copyright © 2024 by aisixiang.com All Rights Reserved 爱思想 京ICP备12007865号-1 京公网安备11010602120014号.
工业和信息化部备案管理系统