当前,很多企业已开始将用户满意度作为产品类别、渠道和事业部等的绩效评价指标,部分消费者也开始将用户满意度作为品牌选择的重要参考依据,一些行业协会、政府机构在进行名牌产品的评选中,也将用户满意度作为一项重要的指标,在这种情况下,科学、公正地测评用户满意度就显得非常重要。
用户满意度测评的公正性主要体现在测评机构要保持公正的立场,对各企业不偏不倚,从忠实于客观数据出发,计算出科学的用户满意度。所有有关的数据收集及数据处理过程都不应该受到个人主观因素的影响,不应该受到各种外界因素(例如相关企业)的干扰。用户满意度的测评机构应该具有一定的权威和信誉,其数据收集和处理等测评过程应该与测评对象(企业)相独立,测评机构不能与测评对象有任何经济利益关系。用户满意度测评机构应配备相应数量的设备和系统,该系统应具备随机生成测评样本的能力,并能够实现测评过程的监控和测评结果的可追溯,以保证数据的客观性。此外,用户满意度测评机构还应配备足够数量的经培训合格的专职访谈员队伍,具备在大范围内(例如全国)收集数据的能力,具备数据处理分析的能力。
用户满意度测评的科学性主要体现在用户满意度测评整个过程中,包括用户满意度模型的选择、问卷设计、数据收集、数据处理等过程应该符合统计学原理,符合已经被验证的研究成果,做到每一个过程都有理可依,有据可循。下面从用户满意度模型、问卷设计、样本选择、访谈和问卷填写、数据计算和分析等几个方面谈谈如何保证用户满意度测评的科学性。
用户满意度模型是从事用户满意度测评的理论基础和重要科学依据,也是测评过程科学性的最重要保证。目前很多国家例如瑞典、美国和欧洲各国都有各自的用户满意度模型。我国的用户满意度测评源于2001年开始的中国标准化研究院与清华大学对我国消费者用户满意度的合作研究,在国家质检总局的支持下,我们进行了多次全国性大范围的数据调查工作,在大量数据的基础上,我们研究出了中国用户满意度理论及测评模型,该成果经过了国家科技部“软科学研究成果评审”(国科软评字2002 010号)。该模型分为非耐用消费品模型、耐用消费品模型、服务业模型、政府公用事业模型四大类。与国际通用做法相同,我国用户满意度模型也是从品牌形象、感知质量、感知价值、满意和忠诚等大类指标上进行测评,但是在多处小指标选择上有所差异。这些差异是在大量数据的基础上,经过严格的测试和分析得出的,反映了我国市场的成熟程度以及消费者收入、消费结构及消费心理与其他国家的差异,所以也是最适合我国经济发展阶段、市场发展程度以及我国广大消费者特点的用户满意度模型。
问卷设计是用户满意度测评过程的重要部分之一。 依据用户满意度模型可以确定调查问卷内容和测评条目,即确定使用哪些具体的细化指标来测评品牌形象、感知质量、感知价值、满意度和忠诚度等大类指标。为了尽量避免和减小测评偏差,按照国际惯例,一般采取3个或3个以上的问题来测评一个大类指标,初步选定问卷条目之后,还应当根据测评目标进行多次定性的和定量的预研究,再综合预研究的成果、专家的意见和已有问卷设计相关理论及经验形成初步的问卷。最后,还需要通过小规模的测试确定最终问卷,确保问卷内容与用户满意度模型相吻合,问卷条目能够很好地被用户理解和回答。
调查哪些样本、有效问卷数量也会直接影响到测评结果的精确性和有效性。一般而言,对全体用户进行测评是非常困难的,成本也无法承受,随机抽样符合统计学原理,也是最普遍的调查方法。在用户满意度测评中采用随机选择样本的概率抽样方式,能够避免非概率抽样造成的样本偏差,能够提高测评结果的有效性。除了抽样方法外,样本量也是非常重要的。一般而言,最小的样本量应该在测评条目数量的10倍以上,但较为科学的方法是首先确定所需达到的统计检验指标,据此估计所需的样本量。
经过问卷设计和调查方案计划之后,就是数据收集的实施阶段,即电话访谈、问卷填写。用户满意度的测评最好由独立的信誉好的非盈利机构来完成,这不仅由于非独立机构的测评结果常常受到质疑,而且被调查的用户在接受访谈时往往也不愿意对市场盈利机构吐露真实的想法。此外,问卷的填写和录入也是非常重要的。在电话调查时,对电话访谈员的培训和对电话访谈过程的录音、独立监听都非常重要,它能够方便地鉴别每一份问卷的有效性,并能够进行事后检查。
数据的处理和分析涉及到方法、检验和分析三个方面的内容。首先需要确定有效问卷,剔除无效问卷,然后进行数据处理,总之,有一个能够经实践验证的、科学的用户满意度测评模型,有符合统计学原理的问卷设计、样本选择、数据收集、分析和处理过程,有独立的、权威的、具备开展用户满意度测评的设备、软硬件系统、专业访谈员队伍的第三方机构是用户满意度测评过程和结果的科学性和公正性的重要保证,也是保持用户满意度测评生命力的重要保障。