量化用户研究:可用性测试样本量易用性置信度

用户研究听起来是个非常大的学科和话题,没有具象的描述和切实的研究方法就显得虚无缥缈,让人有种雾里看花的感觉。

用户研究和用户体验一样,在国外市场得到验证、认可并被不同行业的企业所接受,而国内市场处于萌芽阶段,只有部分行业的头部企业对其有较为清晰的认知和应用。

那么怎么定义用户研究?

首先,用户研究的目的是了解用户,对用户有更清晰、具象的画像,是一系列研究方法的概括型的名称。

作为体验设计师或交互设计师,可以通过研究方法对用户目标、需求和能力的系统研究,用于指导设计、产品结构或者工具的优化,提升用户工作和生活体验。

二、HOW怎么做用户研究

研究中包含的用研方法有很多,可以根据实际场景和资源选择适合的方法,目前常用的实用性、可操作性比较强的四大方法:可用性测试、网站访客(埋点数据)、用户调查、A/BTest。

在设计过程中的每个阶段,用户研究是都需要做的工作,但很多时候由于工期较短,deadline在前,设计师在产品设计初期没有办法做到较为完善的用户研究,那么这部分工作就会被延后,在验证阶段研究任务就会变得比较重,后期的优化对此依赖性也比较强。

可用性测试是设计师在验证阶段相对比较能贴近用户的用研方式,在测试过程中通过观察用户行为,从即时的反馈中更容易获得贴近真实的定性数据,用对话沟通的方式深度挖掘用户遇到的问题,从而锁定优化重点。

1.了解可用性测试

(1)可用性测试的优势

(2)可用性测试的类型

可用性测试可以分为两种测试类型:形成性测试(FormativeTest)和总结性测试(SummativeTest)。

①形成性测试

主要作用于查找与修复可用性问题,提供及时反馈便于改进,是设计师重点参与的测试类型。

②总结性测试

用指标度量可用性,用来评估效果,其中又分为基准测试和比较测试。

(3)可采集的数据

样本量:通常大于30,当数据量小于10可通过统计学方法计算得到有效统计分析结论。

代表性:样本能够代表预期要描述的用户群,若存在不同用户群组中有重要差异因素的使用分层抽样(StratifiedSampling)的方式。

随机性:考虑所有重要变量,设计理想样本,合理合并用户群组。

测试数据:现场/远程测试,观察记录用户用户行为,与用户互动深入挖掘问题。

完成率:即成功率,完成=1、失败=0,完成率=完成任务用户数/用户总数。

可用性问题:根据问题出现的频率和影响程度评估严重性、优先级。

出错数:尝试任务产生的无意识的出错数量,诊断失败原因,预判可能出现的场景。

满意度评分:使用标准化可用性问卷,回收数据计算得出。

复合分数:复合型总结可为用户体验提供更好的总体描述。

2.可用性测试问卷

经过长期的研究和市场验证,目前已沉淀出很多标准化的可用性问卷,不同的问卷的评估针对性不一样,可以满足大部分用研需求。

使用标准化的问卷是因为这些问卷是经过大量的使用后验证校准后产生的,是被认可具有通识性的衡量标准,这些问卷都具备客观性、重复性、量化、经济、沟通、科学的普适性的优质属性。

(1)标准化的可用性测试问卷

问卷类型主要可以分为以下两大类:

列表中的问卷大部分是需要缴纳一定的费用后才能使用,但其中系统可用性整体评估问卷、软件可用性问卷、场景后问卷是标准可用性问卷中可以免费使用的。

应用广泛且被专家推荐的测试问卷是:软件可用性问卷主要针对系统或功能进行整体评估,问题设计精炼清晰,使用快捷方便;单项难易度问题追求的是心理测试的简单和适用性,有5分和7分制,7分制的可靠性更高;主观脑力负荷问题是在线测试,灵敏性更好。

综合评估下,软件可用性问卷(SoftwareUsabilityScale,SUS)是设计日常中最合适最经济实用的测试问卷。

(2)软件可用性问卷(SUS)

软件可用性问卷是可用性测试结束时的主观性评估问卷,应用广泛,测试后该问卷使用占比约43%。

整个问卷共10题,每题为5分制,奇数项为正面描述,偶数项为反面描述,可以通过修改问题文案聚焦测试范围;如有需要可以将偶数项的问题调整为正面描述,但数据验证调整为正面描述的问卷结果与包含负面描述的问卷差异不大,不影响问卷的测试结论。

在完成测试任务后,用户需快速完成各个题目,不进行过多思考,若用户因某些原因无法完成其中某个题目,则视为选择中间值。

(3)可用性、易用性抽取

(4)分值计算

得分计算:范围在0-4,每题进行转化分值;奇数题(正面):原始分减去1,(x-1);偶数题(负面):5减去原始分,(5-x)

3.统计学描述方法

样本量小的情况下这个样本量所能概括的整体是范围比较大的,会存在较大误差,那么在较为严谨的报告中,可能需要对所得分数和除测试样本外的分值预期进行描述,这时候会涉及到统计学中常用的描述方式,即通过置信度及置信区间来描述,根据置信区间的下边界看软件是否低于行业标准。

置信区间是指在一定概率下包含样本位置总体参数的这部分数值区间,通过计算置信区间来描述测试结果的概率。置信区间宽度和样本量之间是一个逆平方根的关系,样本量越小,误差越大,未知样本数据可能所在的区间更大。

置信度就是说,你测得的均值,和总体真实情况的差距小于这个给定的值的概率,应该是1-α;换句话描述,即我们有1-α的信心认为,你测得的这个均值和总体的实际期望很接近了(测得的均值就是总体期望是很草率的,但是说,我有95%的把握认为我测得的均值,非常接近总体的期望了)。研究员可以选择0%-100%之间的任意数值的置信度,通常设为90%或95%(最常用)。

临界值是在原假设下,检验统计量在分布图上的点,这些点定义一组要求否定原假设的值。

(2)置信区间计算

置信区间=(样本平均值-误差幅度)~(样本平均值+误差幅度)=(x-(x-μ))~(x+(x-μ))

tips:临界值可以通过所设置信度和样本量在t分布表中查找相应的值。

(3)可用性测试策划应用

Step2:确定测试任务(任务内容、测试方案、SUS问卷地址),任务内容可以通过抽取用户体验地图(UserJourneyMap)流程中的触点设计,保证流程的完整性和任务的关联性。

Step4:用户填写SUS问卷,回收问卷分数进行计算,得出SUS分数、可用性分数、易用性分数的均值作为本次测试的结论。

Step5:作为补充,可以计算SUS样本分数的置信区间,预期未被测到的目标用户对产品的评分可能落在的区间,区间下限可横向对比,看是否低于行业标准。可以描述为“样本分数标准误差约=5.34,置信区间为63.78~69.12;有95%的把握认为测得的均值接近总体期望,未测样本分值将落在63.78~69.12之间,符合行业标准预期”。

Step6:通过测试过程中观察用户行为,探讨用户提出或下意识忽略的问题,并进行问题的记录和分类。

Step7:用户访谈记录问题进行解析,对问题的严重程度进行评级,选出问题较多的部分并提供可能的解决办法进行优化。

Step8:根据以上结论对测试进行总结性分析。

Reference:

图片:

作者:藜漫;公众号:酷家乐用户体验设计

本文由@酷家乐用户体验设计原创发布于人人都是产品经理,未经许可,禁止转载

THE END
1.系统稳定性确保软件和硬件的可靠运行系统稳定性确保软件和硬件的可靠运行 什么是系统稳定性? 在当今快速发展的信息技术时代,系统稳定性成为了许多企业和组织不可或缺的要素。它指的是软件、硬件或者网络等信息系统在正常工作条件下能够持续、可预测地运行而不出现严重故障的能力。这一概念对于确保业务连续性、提高用户满意度以及维持市场竞争力至关重要。https://www.t60iylsx.com/jie-mei-fen-zu/428429.html
2.十四软件可靠性基础知识(考点篇)1软件可靠性基本概念 软件可靠性是软件产品在规定的条件下和规定的时间区间完成规定功能的能力。 软件可靠性和硬件可靠性区别 (1)复杂性:软件复杂性比硬件高,大部分失效来自于软件失效。 (2)物理退化:硬件失效主要是物理退化所致,软件不存在物理退化。 https://blog.csdn.net/lxy1290439047/article/details/140163002
3.软考可靠性和可用性的区别mb622c4f5ee6e47的技术博客软考可靠性和可用性的区别,在信息技术领域,软件工程的两个关键概念——可靠性与可用性——经常被提及,尤其是在软件质量评估和软件测试的过程中。对于参加软考(计算机软件资格考试)的考生来说,明确这两者之间的区别至关重要。本文将详细探讨可靠性与可用性的定义、关联https://blog.51cto.com/u_15546065/9904204
4.系统架构设计师:软件可靠性基础知识软件可靠性定义软件可靠性(Software Reliability)是软件产品在规定的条件下和规定的时间区间完成规定功能的能力。规定的条件是指直接与软件运行相关的使用该软件的计算机系统的状态和软件的输入条件,或统称为软件运行时的外部输入条件;规定的时间区间是指软件的实际运行时间区间;规定功能是指为提供给定的服务,软件产品所必须具备的功能。https://cloud.tencent.com/developer/news/1309306
5.什么是软件测试中的可用性可维护性可靠性?我们生活在一个用户依赖于对服务的一致访问的可靠性时代。在相互竞争的服务之间进行选择时,对用户来说,没有比可靠性更重要的特性了。但是可靠性是什么意思呢? 为了回答这个问题,我们将根据可靠性工程中的其他度量来分解可靠性:可用性和可维护性。区分这些术语并不是语义问题。了解这些差异可以帮助您更好地将开发工作http://27546317.b2b.11467.com/news/2657730.asp
6.软件系统可靠性与可用性分析.pptx数智创新变革未来软件系统可靠性与可用性分析软件系统可靠性和可用性概述软件系统可靠性度量指标软件系统可用性度量指标软件系统可靠性分析方法软件系统可用性分析方法软件系统可靠性和可用性测试软件系统可靠性和可用性评估软件系统可靠性和可用性优化ContentsPage目录页软件系统可靠性和可用性概述软件系统可靠性与可用性分析#https://m.renrendoc.com/paper/314824412.html
7.软件可靠性可维护性可用性~码铃薯~可用性:MTBF/(1+MTBF) 可维护性:1/(1+MTTR) 软件的可靠性是指一个系统在给定时间间隔内和给定条件下无失效运行的概率。 软件的可用性是指软件在特定使用环境下为特定用户用于特定用途时所具有的有效性。 软件的可维护性是指与软件维护的难易程度相关的一组软件属性。 https://www.cnblogs.com/dongyaotou/p/17365574.html
8.软件测试面经可靠性和可用性的区别软件测试面经 | 可靠性和可用性的区别 可靠性和可用性是两个相关但不同的概念。它们涉及到系统或服务的稳定性和可操作性的不同方面。 可靠性是指系统或服务在给定条件下执行其预期功能的能力。一个可靠的系统能够在正常运行的情况下持续提供所需的功能,并保持数据的一致性和完整性。可靠性通常涉及到对系统的稳定https://www.nowcoder.com/discuss/526431274370613248
9.软件质量属性有哪些- 完整性:保证数据未被未经授权的修改或删除。 - 可用性:保证用户和数据在需要时处于可操作状态。 - 身份验证和授权:确保只有经过身份验证和授权的用户才能访问软件的特定功能。 总之,软件质量属性是定义软件行为和性能的关键特征。了解这些属性以及如何从多个角度衡量它们对于软件开发人员来说至关重要。http://kaoshi.educity.cn/rk/ac8k2qclrg.html
10.软件可用性\可靠性\稳定性可用性(availability):软件系统在投入使用时可操作和可访问的程度,或能实现其指定系统功能的概率。 稳定性:指软件在一个运行周期内、在一定的压力条件下,在持续操作时间内出错的概率,性能劣化趋势等等。 可靠性:关注系统可以无故障地持续运行的概率,关注的是故障率。 https://blog.nowcoder.net/n/78c903d3e9224ceaa754ad2474144776
11.软件集成中的安全性和可靠性随着信息技术的快速发展,软件系统在各行各业的应用越来越广泛,软件系统的安全性和可靠性已经成为人们关注的焦点。在软件集成过程中,安全性与可靠性是极其重要的因素,因为它们直接关系到整个系统的可用性和稳定性。本文将探讨软件集成中的安全性和可靠性,以期为相关领域的研究和实践提供参考和启示。 https://www.solinkup.com/blog/3898
12.软件可靠性指标有哪些理想股票技术论坛软件可靠性指标是衡量软件系统稳定性、质量和可用性的重要参考。常见的软件可靠性评估指标包括故障率、平均故障间隔时间、平均修复时间等。软件质量指标用于评估软件开发过程中的品质,如代码复杂度、缺陷密度等。软件稳定性评估指标关注系统运行的稳定性和可靠性,如可恢复https://www.55188.com/tag-05838727.html
13.软件的六大质量特性包括:A软件的六大质量特性包括:__A__①功能性、可靠性 ②可用性、效率 ③稳定性、可移植 ④兼容性、可扩展性A.①②③B.②③④C.①③④D.①②④的答案是什么.用刷刷题APP,拍照搜索答疑.刷刷题(shuashuati.com)是专业的大学职业搜题找答案,刷题练习的工具.一键将文档转化为在线题库https://www.shuashuati.com/ti/565bec4badde40109115dd2cdd843921.html?fm=bd2aabdd4580c8c870cec6f2823e9de860
14.软件开发中质量衡量与质量提升方法2.可靠性: 软件可靠性是指软件在使用过程中不会出现错误和故障,而且能够在预定时间内稳定运行。 3.可维护性: 软件可维护性是指软件在使用过程中能够支持维护以及修正功能和错误。 4.可用性: 软件可用性是指软件的易用性、有效性和效率。 5.可移植性: 软件可移植性是指软件能够很容易地迁移到其他平台和环境中https://www.ixiera.com/web/kehu/rjkfgl/472.html
15.软件研发项目都有什么内容软件发布是指将开发完成的软件进行打包和发布,确保软件的可用性和可靠性。软件发布的内容包括版本管理、发布计划和发布验证等。 版本管理:根据需求和设计,管理和跟踪软件的版本,确保软件的可用性和可靠性。常用的版本管理工具包括Git、SVN和Mercurial等。 发布计划:根据需求和设计,制定详细的发布计划,确定发布的范围、目https://www.informat.cn/qa/145912
16.软件测试服务概述5)可靠性检测:检查软件是否有差错处置相关的功能;在限制使用范围内使用时,软件是否不丢失数据;软件是否识别违反句法条件的输入,并且不应作为许可的输入加以处理;检测时是否运行稳定。主要包括成熟性、可用性、容错性、易恢复性、依从性。 6)信息安全性检测:对信息系统的资产价值、潜在威胁、薄弱环节、已采取的防护措施https://www.gdaz.com.cn/news/168846190429160.html
17.软件著作权基于模型的可用性评估软件 2021-10-11 杨德真 杨德真,任羿,王自力,冯强,孙博 24 电子产品可靠性仿真分析与设计优化软件 2021-10-11 孙博 孙博,任羿,王自力,钱诚,冯强,杨德真 25 基于模型的维修性指标分析软件 2021-10-11 冯强 冯强,任羿,王自力,杨德真,孙博 26 机械产品可靠性综合仿真分析与设计优化软件 20https://rse.buaa.edu.cn/kxyj1/kycg/rjzzq.htm
18.网络安全知识(一)22.以下哪一项是伪装成有用程序的恶意软件?( ) A.计算机病毒 B.特洛伊木马 C.逻辑炸弹 D.蠕虫程序 23.计算机病毒会对下列计算机服务造成威胁,除了:( ) A.完整性 B.有效性 C.保密性 D.可用性 24.以下哪一种局域网传输媒介是最可靠的?( ) A.同轴电缆 http://www.jyrbszb.cn/Article/index/aid/3575789.html
19.威布尔分析软件寿命分析数据分析软件Weibull软件威布尔分析软件PosWEI是寿命数据分析的工具,可用于产品可靠性设计、试验、运行与使用阶段,可以进行所有数据类型和常用分布类型的数据处理、分析,也支持包括返修率计算、退化数据处理、加速寿命试验数据处理、试验设计与优化、寿命评估、MTBF评估、删失数据分析等。http://www.baoshunkj.cn/product-data-analysis.html
20.什么是系统可用性问答系统可用性是指系统在规定时间内能够正常运行的能力。系统可用性是衡量系统的稳定性和可靠性的重要指标。一个可用性高的系统意味着系统能够以较高的概率在需要时处于可用状态,无论是在硬件故障、软件错误、人为操作错误或其他不可预测的情况下。高可用性的系统能够提供连续的服务,减少停机时间,提高用户满意度,并提升https://www.yisu.com/ask/19648463.html