在用户调研中如何确定样本量?

我们在做用户研究时,样本量的设计是必不可少的工作。为了让调研的样本更接近真实,是不是意味着样本量越大越好?

在设计样本量的时候,研究设计者们似乎会有一些约定俗成的规则。例如,定量调研中每类人群的样本量要大于30,定性调研中每类人群样本至少3人。这些规定的数字是如何得来的?

接下来,我们就追本溯源,分别介绍一下,定量和定性研究中样本设计的原理。

1.样本设计的统计学基础

无论是定量还是定性研究,我们都是在用样本的数据来估计总体的情况,这被称为统计推断。而为了让收集的样本数据能够更加准确地推断总体情况,统计学中会对样本量有严格的要求。如果我们翻开统计学书中参数估计和假设检验这两章的内容,会发现每种不同的统计方法都会涉及到严格的使用条件,比如要知道总体是否服从正态分布,总体的平均数和方差是否已知等等。可是自然条件下的总体和样本,不可能全都服从某种统计学上有规律的分布,而且要在实际研究中直接获得总体的特征数据几乎是不可能的。

统计学和概率论中有一个十分重要的定理叫做中心极限定理,它指出了大量随机变量序列近似服从正态分布的条件。

中心极限理论样本量n足够大的情况下,总体的抽样分布会趋向于一个围绕总体参数平均值的正态分布,最终都可以依据正态分布的检验公式对它进行下一步分析。

在定量研究中,我们大部分情况下都会假定我们研究的总体参数是近似服从于正态分布的。因此,从理论上来看,样本量越大,我们获得的数据就越准确似乎是成立的。

2.定量研究的样本设计

对于定量研究中的样本量的计算,我们可以找到五花八门的计算方法,例如各类统计学书籍和统计软件中的计算公式和计算工具。在这些公式中,我们仍旧需要一些其总体参数来计算样本量。

以下举几个例子:

我们在问卷研究中常用到的随机抽样的样本计算公式:

涉及到的参数有显著性水平α,临界值k,事件概率p。(《问卷统计分析实务》吴明隆)

来自于CreativeResearchSystem网站中的一个样本量计算工具:

这个工具中所需要的参数有:置信水平(ConfidenceLevel)、置信区间(ConfidenceInterval)和总体规模(Population)。

还有对数据要求更为严格的实验研究常用的软件PASS中计算样本量的工具:

这个工具根据所使用的不同实验方法来确定不同的计算方法,其中涉及到的常规参数有显著性水平(SignificanceLevel,α),统计效力power(1-β)等。

在市场调研中,并不需要样本量达到我们做科研那样精确,计算样本量所需的参数值也很难直接从研究群体中获得精确的数值,所以,通常会根据统计学中的一些经验值规定,例如我们常用的显著性水平α=0.05。总结以上几类计算方法,我们不难发现,确定样本量中需要的最常见参数有:显著性水平、置信区间和置信水平。

置信区间是指由样本统计量所构造的总体参数估计的区间,展现的是这个参数的真实值落在测量值的周围的可信程度。例如,我们测量得出用户在进行某一操作的时长是1.05±0.05秒,就表示该操作时长的置信区间为1.00秒~1.10秒,那么真实的操作时长有多大的可能性是在1.00秒~1.10秒之间,则是由置信水平反映的。而显著性水平α是指的我们在假设检验中犯I型错误的概率,和置信水平之和为1。

统计分析中,通常会设置显著性水平α=0.05,置信水平为95%,若还以刚才的操作时长为例,意味着用户真实的操作时长位于1.00秒~1.10秒之间的可能性为95%。通俗点讲,0.05的显著性水平就表示我们抽样数据出错的概率为0.05,也就是我们通常所说的小概率事件。

设定好这些参数之后,我们先估计一下研究群体的总体规模,再利用相应的公式或计算工具算出调研所需的样本量大小。我们利用CreativeResearchSystem网站的计算工具计算出不同总体规模的样本量(α=0.05,置信区间为±5个标准差时):

不难发现,当总体规模增大时,标准样本量并不是线性增加的,总体达到500000人以上时,标准样本量会在400左右的数值上稳定下来。所以,即使是一个用户规模上亿的产品,也没必要在一次研究中招募几千个样本。

3.定性研究的样本设计

与有着大量的统计分析技术支撑的定量研究不同,定性研究由于本身的调研目的是为了挖掘研究问题的深度,而非广度,对样本量要求的限制没有定量研究那么严格。定性研究的一个误区就是为了获得更多的样本数据和信息,而过多的追求样本量的大小。所以,我们在设计定性研究之前一定要有一个共识:定性研究获得的数据不具有统计学意义,它能帮我们发现一些具体现象背后的原因,或解决问题的启发性思路,而非广泛性的结论。

那么定性研究如何确定样本量呢?这个问题其实没有答案。定性研究选取样本的逻辑是达到数据饱和(信息饱和)为止,所以理论上,定性研究的样本量是做完研究后才知道的。而且根据定性研究的研究员挖掘数据的水平的不同,他们在一次研究中能获得的信息量也不同,达到数据饱和所需要的样本量自然也不同。所以在定性研究中,研究员更加依赖于自己的研究经验来设计样本数量。

如下图(Qualitativemarketresearch:Whenenoughisenough)展示了定性研究中样本量和获得数据量的关系:大部分数据来自第一个样本,之后的样本获得的数据会越来越少,达到一定的样本量后,就不会再获得新的数据,这便是数据饱和。

接下来,介绍一下市场调研公司ResearchbyDesign提出的定性调研的样本量的一个设计公式(Qualitativemarketresearch:Whenenoughisenough)

样本量[N]=(范围[S]×特征[C])/专业程度[E]–资源[R]调查的范围

这是由你的研究目的决定的,你是为了对一个不熟悉的领域进行初期的探索性研究?还是对一个已上市的产品进行优化设计?如果是在进行一个初期的探索性研究,那就需要扩大你的调查范围;如果是要寻找目前产品中的优劣,那么你需要聚焦你的问题范围。调查范围可以是大于0的任何数字。

研究群体的特征

你需要对你的研究群体进行分类,确定本次研究的人群类别共有几类。在不考虑其他因素的影响下,行业经验通常认为每类人群达到信息饱和需要的样本量至少为3。因此,特征[C]=人群类别数×3。

研究员的专业程度

有经验的研究员比经验不足的研究员能从更小的样本量中挖掘更多的信息。对于专业程度的取值范围通常为1~2。

资源

最后,我们来回答本文开头的几个问题:

调研中是不是样本量越大越好?

在上文中我们也可以看到,无论是定量研究还是定性研究,样本量的增加和我们获取到数据质量提升并不是线性关系,盲目追求更大的样本量无疑是低效率的。“样本量越大越好”的观点在实际研究中是站不住脚的。

定量调研中每类人群的样本量要大于30,定性调研中每类人群样本至少3人。这些约定俗成的数字是如何得来的?

定量调研样本量的设计是基于统计学理论,我们在统计学中有一个大样本和小样本的概念,并认为样本量n≥30时,可称为大样本,(这个数字也是基于中心极限定理得来的,样本量大于30,抽样分布就基本接近于正态分布,但前提是总体分布正态,若总体分布不确定,临界值需要更加精确的分析),所以我们通常认为样本量大于30,是可以进行统计分析的前提。

定性研究中,依据数据饱和来确定每类人群的样本量,不同研究员的标准会不同,3人也是经过行业经验总结出的数字。

我们虽然说不需要更大的样本量,但也不表示能无条件地缩减样本量。因此,定量大样本中的30,和定性数据饱和的3都是一个底线临界值。

参考资料:

1.吴明隆,《问卷统计分析实务》,重庆大学出版社

2.CreativeResearchSystem网站

3.李志辉,刘日辉,刘汉江,《PASS检验功效和样本含量估计》,中国工信出版集团

4.DonnaBonde,Qualitativemarketresearch:Whenenoughisenough,ResearchbyDesign

5.门卫阿伯,《如何确定你的用研样本量和数据》,人人都是产品经理

THE END
1.第七章定性调研法定量调研是利用程序化和标准化的技术和方法对所收集的资料进行量化分析和处理的过程,它是基于问题的数量的研究。 而定性调研的数据收集、分析、说明,都是通过对人们的言谈举止的观察和陈述来进行的,它是一种非程序化的、非常灵活的基于问题的性质的研究方法。 (二)定性调研、定量调研与混合调研的区别 定量调研法可https://wenku.baidu.com/view/249562b28462caaedd3383c4bb4cf7ec4afeb603.html
2.定性调研33. 家庭拥车类型及数量(包含调研车型) 有传统燃油 有PHEV 有REEV 有BEV 微型车 轿车 SUV MPV 皮卡 其他车型 34. 家庭拥车具体品牌、车型及用途分工 微型车 轿车 SUV MPV 皮卡 其他车型 35. 车型名称 36. 请输入您的购车日期: 37. 裸车价格(万) 38. 燃料形式 柴油汽油BEVPHEVREEV 39. 驱动 两驱https://www.wjx.cn/xz/255533752.aspx
3.定性调研的意义和目的是什么?定性调研可以帮助研究者深入了解研究对象,探索其复杂性,发现新的问题和假设,丰富定量研究结果,从而更全面地理解研究对象和问题。https://www.mbalib.com/ask/question-c2dbecf527c3d07f4fedaa46ad913d99.html
4.用户调研如何做好定性分析用户调研做好定性分析包括以下步骤:1. 了解目标受众;2. 确定研究对象;3. 设计有效的研究方法;4. 收集有效的定性数据;5. 分析定性数据;6. 归纳推理。 一、用户调研做好定性分析的步骤 1. 了解目标受众 首先了解定性分析的目标受众,以便设计有效的研究方法。 https://www.linkflowtech.com/news/2046
5.用户体验之了解用户:调研的定量与定性二、定性调研 优点:1.调查人员可以在近距离或自然的环境下对用户进行观察和深度沟通,更好的理解他们的行为、动机和感觉;2.情感性和潜意识是用户做购买和使用产品决策、进行评判的重要因素,能够通过直接或间接的沟通中充分表现出来;3.调查人员通过观察用户表现、表情等获取更多的信息,洞悉用户的真实想法 。 https://www.jianshu.com/p/224d8ca26927
6.浅谈市场调研中的定性调研与定量调研市场调研由于应用场景的不尽相同,大致可以分为“定量调研”和“定性调研”两种类型。定量调研是为了达到设想的目的,制定某一计划全面或比较全面地收集研究对象的某一方面情况的各种材料,并作出分析、综合,得到某一结论的研究方法。 一般在企业调研和用户分析中常用定量调研的方式,是通过电话调研、实地调研、信息收集等方式https://zhuanlan.zhihu.com/p/90467897
7.市场调研中常见的定性的调研有哪些主要调研方式?遇无法按时上门服务的,需在预约时间段前主动使用装维经理热线联系客户变更预约时间,沟通一致后下发预约短信。已到达现场发现无法安装或客户主动来电要求变更上门服务时间的,和客户沟通后,修改预约时间并下发预约短信 https://www.shuashuati.com/ti/6b7e9c7fa1e84bee94acf4d5ba2fe822.html?fm=bd3533447571940925f5bdc07e5f4f5032
8.NPDP需求调研方法NPDPNPDP(New Product Development Professional,新产品开发专业人员)认证中的需求调研方法多样,旨在全面、深入地了解市场和用户需求,为新产品开发提供有力支持。以下是一些主要的NPDP需求调研方法: 一、定性调研方法 1、深度访谈 定义:深度访谈是一种定性的调研方法,通过一对一地与受访者进行长时间深入探讨,收集有关问题、https://www.educity.cn/npdp/5325497.html
9.定性调查制定讨论大纲 -讨论大纲是一份关于小组座谈会所要涉及的话题概要,它是主持人(或者组织者)根据调研客体和所需的商务信息设计的。通常,大纲分为三个部分。首先是建立友好关系,解释小组规则,并提出讨论的客体;第二部分是主持人重要讨论的内容;第三部分是总结重要的结论。 https://www.askci.com/research/diaoyan/dingxing.shtml
10.设计师如何洞察用户需求?来看这篇超全总结!优设网如何做用户调研? 想想看你都接触过哪些调研方式?常见的调研方式包括问卷法、后台数据法、访谈法、观察法等等。这些调研方式前两者属于“定量型”,后两者属于“定性型”,它们有不同的侧重点与优缺点。 1. 定量型 定量型调研侧重于“广度”,是通过大数据,量化用户的行为偏好。包括: https://www.uisdc.com/insight-into-user-needs
11.调研报告格式模板所谓调研报告材料分析,就是用科学的方法审查、剖析调查材料中包含的被研究对象的状况、特点、社会背景、基本结构、本质属性与成因、组成因素与相互关系,以及运动机制和结论的过程。对调研报告的调查材料进行分析研究,最基本的类型是定性分析和定量分析,应该用辩证的观点对待事物,对质和量两个方面进行综合考察。https://www.wenshubang.com/diaoyanbaogao/18145.html
12.UXRen问答用户调研中,样本量多少才是靠谱的?–UXRen问题1:定性调研中,我到底应该访谈几个用户? 聚焦的某类细分用户群体,每一类细分群体,定性访谈的样本量是:5-8人。最少5个人。 这是一个经验数据。 当然,做定性研究时,找到最有代表性的用户是最重要的,数量是其次的。我们在研究前,需要对目标用户的核心属性进行界定。 https://www.360doc.cn/article/20720847_757557555.html
13.产品经理认证知识体系指南第二版学习笔记二级市场调研(间接): 来源于政府/展会/辛迪加数据(syndicated Data)等.优点是快/数据来源广, 缺点是不具体和聚焦/过时/不见得准确 市场调研方法 定性调研: 用于了解购买原因; 定量调研: 用于了解购买人数 进行概率抽样. 方法: 随机抽样, 系统抽样, 分层抽样, 整群抽样 https://idarc.cn/index.php/archives/3707/
14.调查方法有哪些物流管理本文分别从定量调研法、定性调研法、模拟实验法、统计分析法、案例研究法五个不同的维度,对调查物流管理的方法进行了简要的介绍和分析。我们可以利用这些方法,通过采集信息、分析数据等方式,深入了解和研究物流管理,为企业提供更加科学、有效的物流管理方案。https://h.chanjet.com/ask/844c6ffe68513.html