五、复核阶段
复核是了解访问员的工作、检查问卷质量的重要手段,一般采取抽查的方式来帮助督导监督、控制项目的运作情况。
1.复核人员要求
为了保证复核的中立性,一般要求参与复核的督导不得参与现场实施的访问控制,其主要职责是培训和管理复核员;参与复核的复核员应独立于访问员之外,不得参与任何项目的访问工作。
2.复核的基本内容
复核的基本内容应包括:基本内容复核、重点题型抽核、地址表抽核。
基本内容复核
基本内容包括访问地点、访问时间、访问长度、是否出示卡片/照片、是否给礼品以及基本的甄别条件等,其重点在于确认有无访问及有无按要求访问。
重点题型抽核
抽取重点题型,按访问要求重新询问,考察得到的答案是否与访问员的答案有所不同,其关键在于所选题型要有针对性和实用性。
地址表抽核
当某一访问员的地址表记录拒访或无人等情况比例异常时,可安排复核员实地重走,并通过观察被访者在前后两次的态度,来帮助判断情况产生的原因。
3.复核方法及比例
一般来说,复核可以分为电话复核和实地复核两种方式。
(1)复核方法
电话复核:
由复核员以电话的方式接触被访者,并对访问员的情况进行复核,一般占总复核率的2/3。
实地复核:
由复核员按照被访者地址进行上门复核,通常复核比例可以占总复核率的1/3。
注意:上述比例应根据项目要求及实际情况适当作出调整。
(2)复核比例
?对每一位参与项目的访问员都要进行复核,即对100%的访问员进行复核;
?对每一位参与项目的访问员的问卷,都要抽取至少30%的问卷进行复核;
?如复核结果与问卷答案完全不相符的,须对其完成的问卷进行全面复核;
?如复核结果与卷面不完全相符的,看趋势,及时加大复核比例。
4.复核实施(以入户为例)
(1)复核的一般步骤
a.访问督导将问卷移交到复核督导;
b.复核督导抽核问卷;
c.复核督导安排电话及入户复核;
d.复核督导进行复核校对和确认工作,出具复核结果;
e.复核督导向访问督导提交复核结果;
f.访问督导在一周内对复核结果进行处理,并通知复核督导处理结果;
g.复核督导最终决定问卷是否合格可用。
(2)复核重点坏节
复核
?复核针对复核卷及抽核题,记录原话。
?复核方法上讲究灵活、针对、旁敲侧击。
?看着问卷内容便于做针对性的复核,但为避免复核员投机或作不正确引导,原则上只有当督导在场的情况下,才允许看卷复核;留意有无倾向性提问或追问不彻底;同时需防止复核员有机会知道访问员姓名而殉私。
?复核员需将复核时知道的实际情况反应在复核员备注栏,以帮助督导了解实际情况。
?所有做过的复核都要留下原始记录,不得做任何删节、修改。
核对
对复核结果要与问卷核对,相同处则打“√”,不同的地方注明原问卷的答案,再安排确认工作。
确认
与被访者二次接触,确认实际情况。
处理
向访问督导提供复核情况,访问督导向复核督导反馈处理措施,由复核督导决定问卷是否合格可用。
(3)复核的基本原则
抽卷全面性
为保证问卷的整体质量,在规定的复核比例范围内,对每位参与项目的访问员所做的问卷都要进行复核。另外,复核督导要结合问卷内容,根据项目督导提供的相关统计数据,对其数字比例超乎寻常的访问员列为重点复核对象,如:完成问卷数量特别多、问卷内容过于相似或不合常规答案的以及完成时间不合理等。
复核的时效性
复核要有时效性,这是因为一方面被访者的记忆力是有限的,要在相近的操作条件下才可获得相同的答案;另一方面及时复核可以防微杜渐,极早发现问题并予以解决,防止在项目后期再大批量补做问卷。所以,访问员一旦有问卷上交,就应及时安排复核,保持与访问的同步。
为保证复核的时效性,对复核人员要有如下的要求:
?配备足够复核人员使复核进度与访问进度保持一致;
?及时提供复核结果,最好在收到问卷后2至3天内完成;
?随时作好复核情况统计,以便项目督导及时调整;
?及时将复核情况反馈给项目督导;
?复核督导决定问卷是否合格,所以要做到客观、公正。
复核的准确性
复核的准确性是指,不漏掉任何可能的作弊之处,也不冤枉任何一个访问员。要做到这一点,复核员必须首先要了解该项目的整个工作流程,熟悉问卷的操作要求,并通过旁敲侧击、逻辑推理等方法,在最接近的时间之内进行复核。
下面罗列一些值得注意的、可能会存在问题的地方,供大家参考:
1)如复核结果是“无此人”,则可能是:
?没有访问过、虚填抽样地址、伪造被访者姓名并编造问卷;
?没按地址入户,令地址、电话与人名不相符;
?抄错地址、电话;
?被访者答错;
?随机表:增加或删去家庭成员。
2)甄别条件不符合:年龄、品牌;
3)访问过程时各个操作环节;
4)访问时间长度;
5)地址吻合度;
6)有时需留意,访问员可能与被访者串通,复核时要留意被访者反应:往往仿如“背诵”一般对答的也是值得注意的对象,对这种情况可以灵活问其他问题。
结果处理的合理性
对于复核的结果与问卷有出入的,不能简单地作出作弊的判定,必须分析其原因究竟是由于访问员的自身主观原因,还是客观原因。
1)质量要求
访问员应该严格遵循访问操作规范进行访问,包括:样本地址、随机表、配额表、问卷的逻辑顺序、提问要求和相应的追问、以及示卡或照片的出示等。
2)错误问卷
通常有两种处理形式:
?“出错”,在复核之前主动向督导承认者,处理适当从轻。
?“作弊”,不按访问的操作规范所做的访问、在复核之前没有主动承认;或以弄虚作假的方式去完成问卷的行为,严肃处理。
3)处理原则
?对于致使访问员出现错误结果的真正原因,在作出结论之前,需要对复核结果经过慎重的研究,包括约请访问员面谈。
?对于作弊的访问员的处理总原则是:该访问员对待问题的态度和作弊情节的严重程度
――态度良好且主动承认错误的,可在作适当的处罚后,提供一次改正的机会;
――凡当事人态度恶劣以及情节重犯者或再次出现以上任一种错误,就应受到严厉的处理,甚至开除并扣除该项目所有劳务费以及项目保证金;
――如果访问员对问题的处理有异议,经复核督导进行二次复核后再次证实为作弊行为,应加重处罚,甚至开除,扣除该项目所有劳务费以及项目保证金。
4)处理步骤:
①访问督导与访问员作一次面谈,了解问题所在;
②根据问题的严重性及对待问题的态度,制定处理方案;
③对于作开除处理的访问员,公布其名单、作弊行为以及处理意见,做到处罚公正、合理、公开。
(4)其他质量控制方法
前面谈到的问卷发放、回收、问卷审核、问卷复核是检查项目质量、辅助控制质量的重要措施。下面简单讲讲其他常用的控制方法,供大家参考。
1)放大样本量
在现场执行中,为了防范由于作弊废卷、补问不成功等情形引起的样本量不足,通常会依据一般规律在项目开始时放大样本量,即比实际需要的数量多完成一些问卷,以填补问卷缺口。
通常样本的放大比例为5%,配额需均匀分布,不能全部集中在某个配额上。如入户项目,放大的样本量需分到各个抽样区中的各抽样块上。
2)样本平均分布
样本平均分布是指在分配问卷时,要平均分配给每位访问员,使每个访问员只能承担最大比例之内的样本量,而非想做多少就做多少。因为如果问卷过于集中在某个访问员手中时,一旦发生主观作弊或操作失误的情况,会造成大的样本缺口,从而影响数据的准确度。一般一名访问员应承担的问卷最大比例可以依据各项研究的实际情况来制定。
另外,样本平均分布并不是说访问员人数越多、人均问卷越少越好,因为问卷的掌握需要实践的磨练,并且每人的操作方法会有细微的习惯差异,如果问卷过分分散,因操作上的差异也会带来误差,影响到数据的准确度。通常每名访问员的基础样本量应是每抽样块对应的样本量。
3)相关市场信息的收集
市场研究本身是为了收集市场信息,了解相关的市场信息,对项目的设计和执行可以起到实际指导作用,避免因对该市场的不了解而设计出可行性很低或研究价值很小的方案,以减少执行的难度和提高检查执行的质量。
如,市面上某品牌产品刚刚上市,而在某访问员交回来的问卷中,该品牌的提及率高于其他问卷的平均水平时,应检查该访问员的访问方法,了解其抽样区域有无特殊原因。又如,由于政策法规的制定和宣传,令一些产品的推广受到限制(如非环保汽车等),返回来的问卷发现人们对该产品的接受程度突然下降,这可以提醒继续留意有关方面信息和动态。
通常市场信息的收集主要在以下几个方面:
?在每个项目开展前,都应对相关产品市场作初步的了解(如品牌/种类/型号/特点/价格等),帮助项目培训补充素材,令审卷有依据;
?在项目执行过程中,一方面可以继续留意市场动态对项目可能带来的影响,一方面留意问卷中显示的市场信息,二者可以互相补充和说明;
?对于一些长期项目,应当定期、定点地收集相关的市场信息,以观察市场状态在时间上(连续性)和空间上(普遍性)的变化,用于辅助分析数据、调整研究方案。
六、实施总结
1.撰写执行报告
一个项目结束后,负责该项的项目督导通常要写一份总结,一方面作为该项目的存档,一方面可以附在报告的后面作为执行报告。
通常一个执行报告主要包括以下几个方面:
?项目名称
?执行的背景
?项目要求
?人员安排
?执行地区及样本量
?时间安排
?试访/陪访情况
?审卷情况
?复核情况
?抽样情况
?进度控制
?突发事件及跟进
2.整理档案
为规范化管理,在每一个项目结束后,要建立相应的项目档案。档案内容可以包括:
?执行报告
?往来传真
?问卷
?培训指示
?示卡/辅助照片
?所有表格
?复核情况记录