用户满意度调查数据经过处理和计算以后,还要进一步检验数据的项目(Item),或者说题项,尤其是涉及多个相关变量的数据,验证该项目在分析中是否起到明显的作用,同时还要作信度和效度检验,检验结构模型的可靠性。
一、项目分析
在问卷调查的时候,常常用多个项目来反应被调查者的真实想法。比如说,SIM手机中国用户满意指数调查中,消费者对SIM手机的评价要用18个问题来测量(见示例7-4)。项目分析是用来检验问卷的题项是否能够鉴别不同被调查者的反应程度,如果不能鉴别,说明该题项在调查中没有意义,应予以删除。项目分析的关键在于求出每一个题项的“临界比率”(Critical ratio,简称CR值)。将所有被调查者的问卷得分总和按高低顺序排列,得分前25%至33%者为高分组,得分后25%至33%者为低分组,算出高低两组被调查者每个题项得分的平均值,计算两者差异的显著性水平,即可得到该题项的CR值。如果CR值达到了显著水平,就表示该题项能够鉴别不同被调查者的反应程度,在调查中有意义。
我们以SIM手机中国用户满意指数调查项目分析为例,来说明中国用户满意指数调查中的项目分析。
示例 SIM手机中国用户满意指数项目分析
SIM手机中国用户满意指数调查共收集有效问卷200份,我们只分析其中涉及到用户评价的18个题项。
(1)计算每个样本对18个题项的所有得分,按高低顺序排列,取得分最高的54份(200×27%)和得分最低的54份问卷分析。
(2)用T检验来测试高分和低分两组被调查者在每个题项得分上是否有显著性差异,检验结果如下:
题项
|
MOBQ2
|
MOBQ3
|
MOBQ4
|
MOBQ5
|
MOBQ6
|
MOBQ7
|
MOBQ8
|
MOBQ9
|
MOBQ10
|
高分组
|
8.72
|
8.89
|
9.11
|
9.09
|
9.13
|
8.98
|
9.15
|
9.35
|
9.72
|
低分组
|
5.22
|
5.74
|
7.13
|
6.69
|
7.09
|
6.91
|
4.17
|
4.43
|
4.39
|
T值
|
9.48
|
8.30
|
5.82
|
6.13
|
5.45
|
5.92
|
16.33
|
16.36
|
13.00
|
Sig.
|
0.000
|
0.000
|
0.000
|
0.000
|
0.000
|
0.000
|
0.000
|
0.000
|
0.000
|
题项
|
MOBQ11
|
MOBQ12
|
MOBQ13
|
MOBQ14
|
MOBQ15
|
MOBQ16
|
MOBQ17
|
MOBQ18
|
MOBQ19
|
高分组
|
9.31
|
8.76
|
9.20
|
9.50
|
8.63
|
8.89
|
8.93
|
9.20
|
7.71
|
低分组
|
5.46
|
5.63
|
4.46
|
4.67
|
4.26
|
4.96
|
4.93
|
2.98
|
2.47
|
T值
|
10.88
|
8.15
|
16.94
|
17.53
|
15.73
|
13.81
|
15.08
|
16.10
|
14.12
|
Sig.
|
0.000
|
0.000
|
0.000
|
0.000
|
0.000
|
0.000
|
0.000
|
0.000
|
0.000
|
表中各题项的显著性水平均小于0.01,说明各题项的高分组和低分组之间存在显著性差异,因此能够鉴别不同被调查者的反应程度,在调查中均有意义。
二、信度检验
进行项目分析以后,我们还要对问卷总体作信度检验。所谓信度,就是指问卷的可靠性或稳定性。信度有“外在信度”与“内在信度”两大类。外在信度是指对于不同时间进行的调查,结果一致性的程度,一般常用重复调查来验证问卷的外在信度。而内在信度是验证问卷的几个选项是否说明同一概念。比如说,在中国用户满意指数调查中,消费者对产品或服务的满意情况要用四个问题来反应,“用户对产品的总体满意情况”,“该产品与行业其它品牌比较的满意情况”,“该产品与行业理想产品比较的满意情况”,以及“该产品与消费者预期比较的满意情况”,这四个问题说明的是不是同一概念,即消费者对产品的满意情况,则要用内在信度来衡量。依据不同情况,内在信度有很多计算方法,在中国用户满意指数调查中,采用的是L.J.Cronbach所创的α系数方法。α系数可以利用SPSS软件的可靠性检验直接计算,其计算公式比较复杂,在这里不再详细介绍。α系数多大才能说明信度检验结果较好,不同学者有不同的说法,但一般来说,如果α大于0.9以上,就能说明问卷的信度很好。
比如说,对SIM手机中国用户满意指数调查中上面提到的四个题项作信度检验,利用SPSS的可靠性检验,可以直接计算α=0.93,说明这四个题项可以共同反应消费者对SIM手机的满意情况,内在信度很好。
三、效度分析
效度分析分为结构效度和内容效度。一般结构效度要采用因子分析方法来验证,其方法比较复杂,我们在这里不再介绍。而内容效度是指问卷的各个题项代表它所测验的主题的程度,即问卷的题项是否有效地测量了我们所想要测量的内容。问卷的内容效度往往通过专家来确定。