文章来源 | 科研方法与论文写作
一、影响问卷效果的因素
01 被试的主观倾向
在问卷调查的过程中可能出现系统变异和随机变异。系统变异指的是比较稳定的变异，随机变异则是偶然出现的，而这两方面的变异会影响问卷的效果。
系统变异往往和被试的主观倾向有关。下列现象就属于系统变异方面的影响，例如，被试倾向于以符合社会要求的方式答卷和倾向于以默认或接受的方式答题。另外，有的被试希望表现出合作，显示出深思熟虑，从而造成某种反应偏向。如果被试在不同测量情境中都有比较相似的反应偏向，则表现出某种个性倾向，需要在问卷设计中控制和克服。
随机变异主要是由一些偶然因素造成的。比如，填写者填问卷时身心状态不佳，或者由于其他因素的影响导致没有如实填写。
02 工具方面的因素
这是由测量工具本身造成的误差，有时也可看成被试与测量工具之间的交互作用。例如，过多的问卷项目会使答卷者身心疲劳、焦虑、注意力下降，使问卷结果（特别是后半部分问卷）的质量大受影响。研究表明，问卷项目的数量一般不要超过60~70项。有的国家规定，在学校与企业中从事任何问卷调查或研究时，问卷项目不能超过80项。
03 情境方面的因素
这实际上也是随机变异方面的影响，主要包括问卷实施现场的条件与特点、主持问卷研究的人的行动与态度、实际学习或工作任务的干扰等。
一个比较容易造成问卷“污染”的问题是其他人或同事（同学）的干扰。因为许多问卷以团体方式进行，受试人有机会相互讨论或启发，结果使问卷受到严重“污染”，导致信度偏低。这是经常出现的现象，因为填写问卷与参加测验不同，测验时看别人的试卷那是舞弊行为，而问卷的填写不存在能力的高低问题，看别人的最多属于不认真负责的行为，有人以没有时间或者不愿填写为由，照抄别人的也不认为犯了什么大错。因此，问卷填写情境的控制是保证问卷质量的非常重要的一环。
二、问卷设计必须考虑的问题
01 关于问卷的效度问题
问卷的效度是指问卷题目的有效性和准确性，即问卷题目是否准确地代表或反映了调查者的调查目的和目标。也就是，如何确保问卷能够获得设计者真正需要的资料。
要提高问卷的效度，有两种方法：
1.搜集已有的信度、效度较高的问卷，特别是已有质量指标的问卷
前人已经编制了众多的问卷，这些问卷是后人研究的非常重要的参考资料。关于很多问题的研究已经有了全世界公认的、著名的问卷，也有很多研究已经采用了问卷研究的方法，如果我们进行相关研究，完全可以参考别人的问卷。这实际上也是搜集资料的一个很重要的方面。搜集已有问卷可以采用多种方法，比如，查找别人的毕业论文，论文后面是必须附所使用的问卷的；再比如，看了别人采用问卷研究法所写的文章，可以向作者索要其使用的问卷，一般作者都会给；另外，还可以在网上查阅；等等。
2.自己编制问卷
并非每个研究都能找到现成的合适的问卷，找不到适合自己的已编好的问卷就只有自己动手编制问卷了。一般可以采用以下步骤：
（1）明确调查目的，并对之进行逐级分解。
也就是将目的一步一步具体化，建构有层次的目标结构。这是采用分析法的思路，即把总的目的分解成一级一级的具体明确的目标。实际上是对目标进行分层，总目标是什么，它包含多少二级指标，每个二级指标又包含多少三级指标，每个三级指标又包含多少四级指标，依此类推。比如，你研究的问题是“影响教师积极性的因素”，现在要采用问卷研究法。假如你把影响教师积极性的因素分解成：学校领导、教师待遇、学校环境与设备、教师提升、学生、家长六项二级指标，你还需要再对每个二级指标进行分解，依此类推。
究竟怎样逐级分解？这是问题的关键所在。这些程序、过程大家一看都明白，可每次遇到具体的问题就束手无策了，原因何在？就是专业素养的问题，通俗点说，就是你对所研究的问题是否熟悉，有多大的把握。比如，要设计一份学生压力的问卷，是不能一下子就设计出来的，需要经历一个相对较长的过程。那么逐级分解有哪些环节呢？下面以设计学生压力的问卷为例进行解答。
首先，查阅资料。弄清楚什么是压力，什么是学生的压力，它包括哪些成分，已有的研究结果是什么，提出了什么理论，存在什么问题，有没有相关的问卷，等等。其次，认定自己的理论。关于这个问题可能有很多研究，结论不一定一致，也就是通常说的有很多流派（这在人文社科的研究中是常见的），我们就要从中做出自己的选择。比如，你选择什么压力的定义，或者你自己怎么定义压力，你认同什么压力理论，包括什么成分等，慢慢地，你的分解的思路就出来了。这个环节我们称为“请进来”。最后，在实际中去了解。采用座谈、个别访谈等方式去了解学生的压力，每个人的感觉不一定全面，但搜集的资料多了，覆盖面就宽了。这个环节我们叫作“走出去”。在这个基础上我们就可以得出学生压力的目标体系了。
这里还有一个不能回避的问题：分到多少级为好？关于这个问题也没有定论，我们认为，一般不要超过三级指标。因为指标层次越多，分解的难度就越大。分解到基本清楚就可以了。
（2）精心设计问卷的题目。
有了问卷的目标分解之后，接下来就要设计问卷的题目了。设计题目的依据是根据问卷目标体系的末级指标进行设计，每个末级指标包括若干个具体的问题。这里需要注意三个问题：
第一，题目的完备性。这是指设计的问题最好不要遗漏某一个重要的方面，即问卷的题目要全面，从而保证测量的内容效度。如果遗漏了某些重要的方面，结论也就不全面了。学过平面几何的人知道，欧几里得公理体系少一个公设都不行，这就是完备性的问题。当然，教育科学研究是很难达到自然科学研究那种严密程度的。
第二，题目之间的独立性。这是指题目之间不能相互包含、互相重叠，否则就会累加某些方面的因素。独立性的问题比完备性容易判断，但也是非常重要的问题。比如，当前的高考把语、数、英作为三门核心学科，这里实际上是累加的考生的语言能力，稍加思考就能得出这个结论，因为语文能力与英文能力有很高的相关，即并不独立。这种情况下语言能力强的学生必然有一定的优势。
第三，适当设计一些反向题。反向题是指把肯定句改为否定句，设计反向题的目的主要是避免被试选择答案的时候往一个极端靠。比如，有的被试以为等级高就好，所以整份问卷都选择高的等级。但最终处理数据时要把反向题变换成正向题，即还原回来，只要把相应的等级颠倒过来就行了。反向题不用在问卷中注明，研究者自己清楚就行了。
问卷题目设计的好坏最主要的还是看设计者的专业素养，这就是我们反复强调选题的重要性的原因所在。
（3）编制初稿，征求有关专家或熟悉人士的意见。
有了问卷的问题，加上指导语，就形成了一份问卷的初稿。初稿形成之后，还要再征求有关人士的意见，做进一步的修改。即使找不到专家，找你的同行、同事帮你看看，提提意见，也许都会对你有所启发。
（4）进行预试。
对于修改后的初稿，在一定的范围内进行预试，样本不要太大。主要是为了更进一步地了解可能存在的问题，包括你的题目被试是否能够读懂，即语言方面的问题；表达方面是否准确；还有意义方面的问题，即被试能否了解你的真实意图；等等。这些都是属于表面效度的问题。对预试问卷还有一项重要工作就是进行问卷的质量分析，包括量的分析和质的分析。
先谈质的分析。要对被试召开座谈会，了解被试对这份问卷的看法。也许，被试能提出你预想不到的问题，使你发现新的可能被忽略的问题。座谈会一定要做好记录。当然，也可以采用个别谈话的方式，更进一步地了解问卷存在的问题。
关于量的分析。主要是采用统计的方式进行分析，如果你对统计研究法不是很熟的话，可能要请教有关专业人士。比如，可以进行描述统计分析、相关分析、信度分析、因素分析，甚至结构效度的分析等。
（5）修改初稿，形成正式问卷。
通过对预试问卷的进一步修改，形成正式问卷。但一份问卷的最终形成，还得经过实测的过程，这一过程还需要对问卷进行最后的修改，特别是进行质量分析。有些质量指标是必须提供的，比如，信度、常模等。有人可能会问：能不能不进行目标分解呢？我们说如果是简单的目的，也不一定要进行目标的分解。比如，只是了解被试的基本情况，或者只是了解被试某一方面的行为表现，如每日的行为情况等。所以，要具体问题具体分析。
从上面简要的说明中可以看出，要进行一项研究，不管是什么研究，都要经历一个漫长的过程，都有一定的难度。但只要我们按照预定的程序，一步步往前走，就会越来越接近我们的目标。
02 关于问卷的信度问题
问卷的信度是指问卷资料的可靠性和真实性，即问卷资料能否客观地反映问卷对象的情况。这是保证问卷质量的必要条件，这一问题相对效度而言要容易控制一些。
在问卷的设计中要注意以下几个问题：
（1）认真撰写问卷的指导语。要按照前面说的指导语的要求撰写指导语，说明研究目的，不要使填答者产生情绪困扰，以至发生应付性填写的情况。
（2）问卷题目不能过长。因为一般填写问卷都是义务性的、免费的，所以如果题目太多的话，被试就不一定愿意填写了，即使填写也可能是应付性的。
（3）问卷不能出现过于敏感的问题。当然，如果本身就是研究敏感的问题除外。
（4）问卷设计不能过于复杂。至少被试能够很容易地选择答案。
（5）匿名填写。这主要是减少被试的心理负担，让其如实填写。当然，也有一些中性的研究问题需要被试填写姓名的，只要交代清楚也是允许的。比如，你要研究学生学习兴趣、态度与学习成绩的关系，你的问卷只是测量学生的兴趣和态度，学习成绩要去查阅学生的学籍档案，这就必须填写姓名了。
（6）排列顺序。一般而言，排列顺序是从易到难，先封闭式到开放式，先了解基本情况，再测量行为或态度方面的特性。
03 要考虑问卷资料的统计与处理问题
问卷搜集数据的类型决定了统计处理的方法，所以在设计问卷的同时，就要考虑将来准备用什么统计方法进行数据的处理，因为不同类型的数据采用的统计分析方法往往是不同的，而有些统计分析又必须要求达到相应的条件才能进行。否则，花了很大的功夫搜集了好多问卷，但最后可做的统计分析却很少，这就太可惜了。数据的类型很多，我们一般可采用以下两种主要的类型：
1.类别型数据
类别型数据只能进行非参数检验，如卡方检验，所以除非万不得已，一般不要只设计类别型的变量。比如，你想了解学生的性别，就不能采用等式，因为男女性别是平等的。像这类属于了解被试的基本情况的问题，有时也是需要的。比如，你要研究性别差异、年级差异、班别差异，或者你要研究不同变量之间的相关，可能这些情况都需要了解一些背景变量。
但到底设置多少背景变量呢？要看你自己确定的研究目的。如果你不研究性别差异，就不要去了解被试的性别，其他同理。否则，就会搜集很多无关的资料，更重要的是耽误被试的宝贵时间，还有可能因增加了问卷题目的数量使被试胡乱填写而降低问卷信度。
2.等级型数据
等级型数据做的统计分析就比较多了，比如，可以进行聚类分析、信度分析、相关分析等。等级的数量（也称为点数）是设计中的一个重要问题。研究表明，多点数一般优于少点数。当量表等级的数量从2级增加到7级，信度显著提高；7级以后，信度提高幅度趋向平稳；当量表点数达到11级以上时，信度提高得很少；20级以上时，信度下降。
因此，量表点数在5级到11级这个范围，是比较理想的。但我们建议，一般4到7级就可以了，等级太多被试也很难判断。对于具有较强的“趋中”定势的项目，应选用偶数等级。“趋中效应”是人类社会、自然界之中一种非常普遍的趋势，指的是两个极端往中间靠的现象。在东方文化背景下成长的被试更容易产生趋中的选择。因此，有时问题的等级数是偶数时信度会高一些。
胡中锋，华南师范大学教育经济与管理专业博士生导师。
本文内容节选自《教育科学研究方法》（中国人民大学出版社）。
转自：“学术拓荒者”微信公众号
如有侵权，请联系本站删除！
