在学术研究中,通过问卷收集数据,进行分析的情况越来越多。但在问卷收集数据时,难免会出现填写者乱填,或者不知道如何填写等,最终导致收集数据不准确,研究结论不可靠等问题。
如果问卷收集数据不准确,通常会带来数据信度和效度的影响,单独从肉眼看数据都挺正常,但使用研究方法进行测量就会立刻现出原形。
学术研究上使用量表居多,也只有量表才能进行信度和效度测量,数据的信度即可靠性是最为基础,同时数据的有效性也是数据质量的基本要求。
既然数据问题会带来信度和效度问题,那应该如何防范呢,出现问题时又如何解决呢?我们从两个部分进行阐述,如何保证数据质量。
一、防范无效样本
首先从防范的角度来看,从问卷设计和问卷收集两个角度提供以下六点建议:
1、题目不能过多
题目过多会导致填写者不耐烦,越到后面的问题越不准确,如果是学术研究,通常有一个标准是测量变量的5倍左右。
因此如果研究越复杂,研究变量越多,那么问卷设计的题目也会越多,对于收集数据的质量控制也应该越高;问卷设计时不是题越多越好,而应该以刚好匹配研究目的为准。
2、设置测谎题
问卷设计时可加入个别测谎题,此种做法的好处是可以在后续处理时很好的进行识别出无效样本,快速地检查出样本是否真实回答问卷。
3、问卷整体规范
比如问卷设计时措词表达简洁易懂,问卷结构的清晰简单,问卷是给用户填写使用的,一定需要站在填写问卷人的角度进行换角度考虑,设计出结构清晰简单易懂的问卷,别人也更加愿意为你填写。
4、互填问卷需谨慎
问卷研究时样本数量一般要求是量表题的5倍,严格是10倍。
问卷设计好后,通常是让朋友同学进行填写,但是数量有限,还是不够,所以现在出现较多的问卷互填QQ群,陌生人帮助填写等,陌生人为你填写,也没有利益问题,所以此类样本的准确度没办法保证,因此在问卷设计时有个测谎题就可以用于后面的识别。
5、收费样本需谨慎
当前有比较多的问卷网站提供样本收集服务,如果使用此类服务,建议自己设置一些测谎题用于判断是否真实有效的样本。
6、问卷预测试
上述已经说明,问卷是否真实可靠,是否有效,肉眼根本无法识别,但是使用分析方法一下子就能看出。
因此一般可以先收集小部分数据后,进行预测试分析,一般是做信度分析,大概看下效度分析情况。先做到心中有数,如果预测试出现大的问题,提前发现问题,修改一些问卷规范,重新找有效的样本等。
二、无效样本处理
上述六种办法,已经做好各种防范,相信问卷中无效样本已经非常少,余下的都是有效样本了。
但实际上并非如此,比如说会出现这样的样本,很多个量表题都选择同一个答案(比如‘同意’)。也或者填空年龄,结果出现一个数字110。类似这样的都属于无效,应该进行处理。
如果对无效样本不进行处理,肯定会导致分析出现问题。因此在做好各种防范后,还需要在数据收集完成后对数据无效性进行处理。