电话访问成功率估计初探

推荐指数： 关注度： 报告业务: 010-65667912

一、背景

　　我们知道，在市场调研中通常采用的访问方式有多种，如街头拦截访问、定点访问、入户访问，而这些传统调查方法的缺点日益突出，对于街头访问而言，其明显的缺点是现场控制难度大，导致访问质量难以控制，以及这种访问形式所得样本对总体的代表性不强，当通过样本特征推断总体特征时，偏差不可避免；对于入户访问而言，其明显的缺点是访问成本高，并且随着高档社区的不断增多，进入高档社区变得更加困难，导致拒访率增加，一个明显的后果将是使得对调查结果不能很好反映高收入人群的特征，购买倾向等。

　　电话访问则在很大程度上克服了这些缺点，电话访问采取随机拨号方式（RDD），样本对总体代表性强，可以很好的从样本特征推断总体特征，这种推断是基于统计理论的科学推断；其次，电话访问可采用CATI系统，访问员在督导的直接控制之下，这使得质量易于控制；另外，电话访问无需访问员出差，成本相对较低，最后，电话访问速度快，省略了入户访问和街头访问需要的问卷跳问、问卷邮寄、复核、录入等过程，研究人员可以较快的拿到各天数据。

　　随着电话普及率在经济发达地区的日益提高，我国大中城市的家庭电话拥有率已在80%以上，传统的街头访问和入户访问正逐渐被新兴的调查方式所取代，电话访问正逐渐成为主流的调查方式。

　　当然，除了电话访问外，邮件访问、网络访问的使用也越来越普遍。据CNNIC2006年《中国互联网络发展状况统计报告》统计,收发电子邮件是除搜索引擎和浏览新闻外，网民最经常使用的网络服务。我国网民总人数已达到11000万人。在互联网飞速发展的大背景下,邮件访问、网络访问将越来越受到市场调查公司的青睐。

　　这些新的调查方式的引入带给我们一个关键性的问题:如何全面监控和记录调查过程,反映调查质量?有没有一个指标能够准确反映相似调查之间的可比性呢？

　　 CNNIC在这方面起到了先驱的作用。在CNNIC2006年《中国互联网络发展状况统计报告》中首次使用了AAPOR的成功率计算公式RR3,其调查方法就是RDD的电话访问。

　　那么，什么是RR3？它是如何计算的？以及在实际中如何应用它？本文将尝试对这些问题作出回答。

　　二、AAPOR成功率计算公式

　　 2006年AAPOR（美国舆论研究协会American Association for Public Opinion Research）正式提出成功率计算公式。

　　 AAPOR对成功率的定义是：“调查成功率是样本中，成功被访的个数和合格被访者的个数的比率。”

　　相对于传统的成功率定义（成功被访的个数和样本总量的比率)，这是一个比较合理的定义，在计算成功率时，并没有把所有被访者（包括合格的和不合格的）的个数作为分母，而是只用合格被访者的个数作为分母。在完成甄别后，不合格者不会被任何市场研究公司的访问员继续访问，真正体现调查公司成功访问能力的是访问员在甄别合格的被访者中有多少能完成成功访问。这一定义正是从这一角度出发。

　　可以根据是否知道其合格性将被访者分成两类，一类是已知合格性，即知道被访者是否是合格被访者；另一类是未知合格性，即不知道被访者是否合格。比如说在电话访问中甄别问卷没有被完成，就不知道被访者是否合格；在邮寄问卷访问中，邮寄问卷没有被寄出，不清楚指定被访者的联系地址是否更改。这些情况都属于未知合格性。

　　一个很自然的问题是：在未知合格性的群体中，事实上有多少被访者是合格的被访者？这一问题牵涉到成功率的计算，对于这个问题的不同处理方法导致了不同的成功率计算方法。

　　一种是将所有未知合格性的被访者都认为是合格的，这就导致了最保守的成功率计算结果；一种是将所有未知合格性的被访者都认为是不合格的，这就导致了最乐观的成功率计算结果。而APPOR所提出的成功率计算公式RR3，是比较合理折中的计算成功率的方法，因为这个计算方法估计了在未知合格性的被访者中有多少是合格的被访者。

　　 AAPOR定义成功率公式3为：



　　这里：

　　 I是“完全访问”的个数（1.1）(Complete interview 1.1)
　　 P是“部分访问”的个数(1.2)(Partial interview 1.2)
　　 R是“拒绝或者中断访问”的个数(2.10)(Refusal and break-off 2.10)
　　 NC是“没有联系”的个数(2.20)(Non-contact 2.20)
　　 O是“其他”(2.30)(other2.30)
　　 UH是“未知被访者是否是个人/家庭”(3.10)(Unknown if household 3.10)
　　 UO是“未知被访者是否合格”(3.20)(Housing unit ,unknown if eligible respondent 3.20)
　　 e估计在未知合格性被访者中合格被访者的比例。

　　在实践中如何判断某个访问是“完全访问”或者是“部分访问”？

　　 APPOR对其定义如下：

　　 “部分访问”的定义是：50%-80%的问题被回答，50%-99%的关键问题被回答；“完全访问”的定义是：80%的问题被回答,100%的关键问题被回答。

　　在实践中,对于不同的问卷,需要定义哪些问题是关键性问题,哪些问题是一般问题。另外,对于特定的调查，需要定义其“完全访问”和“部分访问”的判断条件，比如，在一次调查中，可以定义一次“完全访问”为100%的关键问题被回答并且至少80%的其他问题被回答；可以定义一次“部分访问”为至少90%的关键问题被回答并且至少75%的关键问题被回答。

　　另外有关e的估计，AAPOR的成功率计算器（Response Rate Calculator）采用的方法是CASRO(美国调查研究委员会)法，该方法认为未知合格性被访者中的合格比例与已知合格性被访者中的合格比例相同，即用已知合格性被访者中的合格比例作为e的估计。这种方法是很自然的，优点在于简单和低成本。从统计上讲，是一种用已知样本特征推断未知的一种方法（其实也是一个极大似然估计），符合统计学的原理，因此也是科学的。

　　此外还有六种e的估计方法，比如最大最小分配法(Minimum and maximum allocation)、生存分析法(Survival analysis method)、基于处理代码的分配法(Allocation based on disposition codes)等等，而这些方法都存在较大缺陷。如最大最小分配法取e为100%或者0%，虽说可以给出成功率的大致范围，但以此来表述成功率太过极端。对于生存分析法，虽然对数据收集要求不高，但是不容易控制，不能确定关于生存分析的统计假设的好坏程度，其次它对于调查设计太过敏感，不同的调查设计很可能会对结果产生较大差异。而对于基于处理代码的分配法则更多的依赖实际经验来确定比例，从而缺乏理论依据和准确性。

　　除了上述成功率计算公式RR3外，还有五中成功率的计算公式，它们是：



　　上述公式中各参数的定义如前文所述RR3一致，可以看出RR1与RR5是RR3的特殊情况，RR2与RR6是RR4的特殊形式(分别取e为100%和0%)，如前文所述RR1与RR2为最为保守的成功率，而RR5与RR6则为最为乐观的成功率。由于“完全访问”和“部分访问”本来界定起来就存在误差，如果将“部分访问”也放于分子上，那么将使得误差增加；其次就是从定义方面区别，RR3的定义更为自然，更为合理。

　　由于RR3公式中的每一项依赖于对每一项所对应的受访者的情况的记数，因此必须要有一套规范化的分类准则，才能对所有被访者的受访情况进行分类，从而记数并且得到成功率。

　　以下介绍AAPOR提出的分类规范。
　　三、最终处理代码(Final Disposition Codes)

　　 AAPOR给出了对于四种主要调查类型的受访者情况的最终处理代码，这四种主要调查类型是：

　　 1RDD电话访问
　　 2入户访问
　　 3指定被访者的邮寄问卷访问
　　 4指定被访者的电子邮件访问

　　对于一项调查来说，受访者的被访情况可以分成以下4个大类：

　　 A经过访问的1.0（Interviews）
　　 B合格的但是没有被访问2.0(Eligible cases that are not interviewed)
　　 C未知合格性3.0(Cases of unknown eligibility)
　　 D不合格的4.0(Cases that are not eligible)

　　对于每一大类的情况又可以进一步细分。比如对于“A经过访问的1.0（Interviews）”可以进一步细分为“完全访问1.1(Complete)”和“部分访问1.2(Partial)”；对于“B合格的但是没有被访问2.0(Eligible cases that are not interviewed)”可以进一步分为“拒绝或者中断访问2.10（Refusal and break-off）”,“没有联系2.20（Non-contact）”和“其他2.30（Others）”；对于“C未知合格性3.0(Cases of unknown eligibility)”可以进一步分为“未知被访者是否是个人/家庭3.10（Unknown if household)”和“未知被访者是否合格3.20(Housing unit ,Unknown if eligible respondent)”。以上各种分类都被用到了成功率计算公式RR3中。对于“不合格”的情况也可以分成几种情况。AAPOR对受访情况还进行了进一步细分得到了四种主要调查的最终处理代码。每一个受访者的最终被访情况都应该被归纳到一个类别中去。在本文附录（略）中给出了这四种调查的详细的AAPOR最终处理代码，在实践中可作为操作规范。

　　下面我们将给出一个实例来说明如何计算成功率RR3。

　　四、一个简单的实例

　　以下是某次电话访问的记录：



　　在这里成功率的计算方法是成功的访问的个数和所有被访者个数（包括合格的和不合格的）的比率，即成功率=30/1147=2.6%。

　　另一种方法是用AAPOR的成功率计算器（Response Rate Calculator）计算：



　　运用成功率计算公式RR3，将上述表格中数据代入，可得



　　根据上文的阐述，这个数字更合理地从成功率的角度反映了此次调查的访问质量。

　　五、结论

　　本文所介绍的这种成功率的计算方法，更合理客观的从成功率的角度反映了市场研究公司的访问质量和访问能力。这种计算方法同时也是规范化的，并且建立在规范化的记录调查的最终处理代码的基础上。客户衡量市场研究公司的调查质量的主要途径之一，就是详细的最终处理代码的记录。规范化的记录和规范化的成功率计算，在横向上，使相似性质的调查具有可查性和可比性，纵向上，使市场研究公司的固定客户在不同时间段的历次相似调查也具有可查性和可比性。