问卷调查法是绩效评价中广泛采用的一种调查方法,根据调查目的设计的调查问卷是问卷调查法获取信息的工具,其质量高低对调查结果的真实性、有效性等具有决定性的作用。为了保证问卷具有较高的可靠性和有效性,信度和效度分析是问卷分析的第一步,如果问卷的信度和效度比较好,证明问卷的数据可靠性比较高,问卷数据内部一致性比较高,可以用来做后续的建模分析,相反,信度和效度如果不高,就需要重新设计问卷并发放问卷。
调查问卷分析意味着调查问卷可不可靠、有没有效调查问卷通常分为量表题和非量表题。调查问卷分析要看有没有量表题,如果有量表题,首先需要进行信度分析和效度分析。非量表题不能进行信度分析和效度分析。
何谓信度检验简单地说,信度检验就是可靠性检验,是采用同样的方法对同一对象重复测量时所得到结果的一致性程度的检验。效度检验又是什么意思呢就是一种测量工具或手段能准确测量事物的程度。也就是问卷回答的问题与实际想要测量的值相差较大。这里可能是问卷的设计有问题,也可能填写问卷的人理解有错误。
那么,调查问卷的信效度分析通常有以下哪几种情况呢
第一,信度低,效度不可能高。
因为信度低意味着问卷填写存在着不一致,就不可能反映真实情况,也不可能做到准确测量。
第二,信度高,效度也未必高。
因为信度仅仅测量的是一致性问题,那么如果问卷填写人都对问卷中问题理解有偏差,那么可能一致性是满足的,也就是信度较高,但问卷也不能反映实际情况。
第三,效度低,信度可能高。
与上面第二种情况分析相似,这里从略。
第四,效度高,信度一定高。
也就是说,量表本身能反映实际情况,与实际都偏差不大,也就不存在不一致的情况了。
信度分析
信度分析——计算Cronbach’salpha或α(克朗巴哈系数)
第一步,变量类型是数字。
第二步,在SPSS工具栏中分析——标度——可靠性分析。这里要对EU这个变量做信度分析,只要把它的四个题项EU1、EU2、EU3、EU4放进项就可以,点击确定,结果出来。
要做问卷整体的信度分析,点击分析——标度——可靠性分析,把所有项选中,确定就可以。
信度分析相对而言非常简单,大部分都能通过。
只要你的样本数量够大,题项数最少不少于三个,基本可以在0.7以上。
效度分析
效度检验即检验问卷有效性,通俗来说,就是要确定设计的题项是否合理,能否有效反应研究人员的研究目标。
需要注意的是,问卷中会有多种类型的问题,比如单选题、多选题、填空题等。而效度分析仅仅针对量表数据,非量表题目比如多选,单选性别之类的题目不能进行效度分析。
效度分析的目的在于判断研究题是否可以有效地测量研究人员需要测量的变量,通俗来讲就是测量问卷题是否准确有效。
当信度分析不达标时,效度分析必然也不能达标。效度分析常见的有内容效度分析、结构效度分析,研究人员通过内容效度分析和结构效度分析这两方面对问卷进行效度分析,如下图所示。
(1)内容效度分析
第一,专家判断
第二,问卷预测试
对预测试数据进行分析,并结合分析结论对问题或选项进行修正,此处理过程可用于论证问卷设计的有效性。
内容效度分析不必使用SPSS等软件,直接进行文字描述就可以。在问卷研究过程中,一般需要对内容效度分析表示说明。
(2)结构效度分析
结构效度分析指测量题与测量变量之间的对应关系。
其测量方法有两种,一种是探索性因子分析,另一种是验证性因子分析。
探索性因子分析是当前使用最广泛一种结构效度分析测量方法,此方法可以通过SPSS软件实现。其实现方法与探索性因子分析的探索因子操作步骤相似,只是在进行具体文字分析时会侧重于对效度的说明。探索性因子分析进行结构效度分析测量时,应该以量表为准,对变量和量表分别进行分析(如自变量a、因变量b进行),而不能将所有变量和量表放在一起进行探索性因子分析。
使用探索性因子分析进行结构效度分析测量时,首先需要对KMO值进行说明(是直接对每个变量进行探索性因子分析,通过KMO值进行判断,不需要判断题与因子对应关系等等情况,此种判断方法使用较少),KMO值指标的常见标准是大于0.6;需要详细说明探索的因子数量、每个因子的方差解释率、总共方差解释率值,详细描述各个题与因子的对应关系,如果对应关系与预期相符(符合专业知识预期),那么说明问卷有着良好的结构效度分析。
在使用探索性因子分析进行效度分析时,删除对应关系与预期不一致的题或因子载荷系数值较低的题。
验证性因子分析需要借助SPSS、AMOS或LISREL等软件进行测量,其对问卷量表质量、样本量和样本质量均有着较高的要求。如果问卷量表质量并非很高或样本量较少(低于200个),那么验证性因子分析进行的结构效度分析测量就很难达标。