什么是信度?

•信度你可以把它理解为可靠度、一致性、稳定性。

•比如说,在对同一对象进行测量,多次测量结果都很接近,大家会认为这个结果是可信的,真实的,也就是信度高。如果每次测量的结果都有很大的差异(例如,用同一份考卷对同一批学生进行测验,每次测试平均分数差别都很大),则说明信度较低。

•同样在问卷研究中,也是通过信度分析来测量样本回答结果是否真实可靠,检验信度越高,就是表示结果越可信。

信度可分为内在信度和外在信度两类。

•内在信度:是指衡量研究问卷中的多个题目是否测量了同一概念或者内容,即题目之间是否具有内在一致性。

•外在信度:通常指不同时间测量时,是否测量结果具有一致性。比如说刚才举例中提到的考试成绩例子。

•举例说明

信度与效度如何区分(信度与效度)(1)

内在信度与外在信度举例

•衡量信度的方法有很多种,其中,常用的内在信度系数包括:克隆巴赫α系数和折半系数;常用的外在信度是重测信度。

α信度系数,即内部一致性系数,是最为常见的信度测量方法。通常数据分析软件里指的可靠性分析/信度分析,指就是用克隆巴赫α系数方法测量信度。

(一般来讲:α系数最好在0.8以上,0.7~0.8之间属于可以接受范围,而分量表的α信度系数希望在0.7以上, 0.6~0.7之间可以接受。如果α信度系数低于0.6则考虑修改量表。)

折半信度:折半信度就是将所有量表题项分为两半,计算两部分各自的信度以及相关系数,进而估计整个量表的信度。通常心理学、教育学类经典量表常使用此类方法进行信度质量衡量。判断标准可参考α信度系数的衡量标准。

重测信度:指同样的样本,在不同的时间点回答同样一份问卷。继而计算两份数据的相关系数,并且通过相关系数去衡量信度质量。重测信度可以评估时间差异带来的误差,但实际操作中有很多不便之处,因而这种方法使用较少。

复本信度:此外还有复本信度,是同样一组样本,一次性回答两份问卷,比如同样一组学生连续做两份同样难度水平的试卷。然后通过计算两份样本相关系数,从而进行信度质量衡量。

什么是效度?

•效度分析,简单来说就是问卷设计的有效性、准确程度。

•当我们在为研究主题设计问卷时,都会希望问题实际测量到的是我们希望测量的,这样研究的数据才能准确的说明问题。

•例如,我们想了解一个班级里学生的综合成绩情况,正式研究中如果仅测试数学一科,然后得出结论,这样的研究有效性可能很低,原因在于实际测量的方向与研究方向之间有很大偏差。

效度分类

•效度又可分为内容效度、结构效度和效标效度。

内容效度,指问卷题项对相关概念测量的合理性情况,通常是以文字来说明问卷的有效性。如通过参考文献,或者权威来源说明问卷的权威性和有效性。还有就是通过对问卷前测并结合结果进行题项的修正等工作来充分说明问卷的有效性。

(内容效度并非统计软件进行的统计方法,对于问卷研究来讲,基本上均需要进行内容效度说明。)

结构效度,指测量题项与测量维度之间的对应关系。测量方法有两种,一种是探索性因子分析,另外一种是验证性因子分析。其中,探索性因子分析是当前使用最为广泛的结构效度测量方法。使用探索性因子分析进行效度验证时,应该以量表为准,对变量或者量表分别进行分析。

效标效度,如果以前有一份权威且标准的量表数据,现在依旧使用该量表进行研究,并且收集回来一份数据。以前权威标准数据作为标准,当前数据与前一份数据之间进行相关分析,如果说相关系数值较高,则说明效标效度良好。但在实际分析中,效标效度很少使用。

信度与效度如何区分(信度与效度)(2)

效度的分类及说明

信度与效度间的关系?

•分析的过程中有人会有这样的疑惑,「我的数据明明信度系数这么高,为什么效度却很低呢?

•从计算公式角度看,信度和效度之前确实存在一定的关系。两者的关系可以理解为:

效度高,信度一定高;信度高,效度不一定高。

•有效的测试也是可靠的。高考是有效的(且可靠),因为它衡量的是学生在高中学到的东西。但是,可靠的测试并不总是有效的。例如,假设你的体重秤只会显示60。那么它是可靠的(每次都是相同的结果)但却无效(因为体重秤没有记录正确的体重)。

•当然,一份好的问卷应该同时具有足够的信度和效度,并且从实践角度要兼顾实用性和科学性。

一份调查问卷检测信度与效度的基本流程

一、信度分析

1.数据录入

2.依次点击分析-标度(度量)-可靠性分析

3. 每个量表维度分别进行信度分析,选中题目,并点击箭头

4. 在模型下拉选项中选中Alpha或者α,一般默认,这个是科隆巴赫系数

5.点击右上角的统计选项,然后勾选选项项、删除项后的标度及霍特林T平方

二、效度分析

1.数据 录入

2.在主界面点击分析——降维——因子

3.选中左边所有的量表题目,点击箭头

4.点击描述,勾选选项KMO和巴特利球形检验

,