市场研究是一门应用社会学的学科,一个基本的分类就是定性研究和定量研究。简单地说,定量研究一定有数字分析,定性研究没有数字分析。大多数研究人员也各自站队为定量研究人员和定性研究人员。我们先来讨论一下这样划分的本质是什么。
在几乎所有社会科学的学科中,最一开始的数据都是非数字的。比如,我们去做问卷调查询问被访者,你家有汽车吗?如果有,我们打一个勾。在把这些答案转化为数据之后,我们可以计算有多少比例的被访者有汽车等等。这个把非数字的信息数字化的过程,我们称之为数据化。这个过程在本质上同把声音数字化和图像数字化的过程并没有区别。
因此,数据的本质都是定性的。研究人员可以选择直接处理定性数据,也可以选择多走一步数据化后处理定量数据。没有哪一种方法在本质上更好。事实上,两种方式都产生了伟大的研究。(由于篇幅限制,这里不举例说明了。)
但在现实中不容否认的是,定量研究似乎享受更高的社会地位。在西方各个社会学科定量研究发展的初期,定量研究常常和具备高级数量分析技巧的和相应工作语言的年轻博士挂钩,定量研究被认为是未来,校园里许多年老的教授和研究者困惑不已并感受到压力。许多大学都大力投资来支持定量研究,DepartmentsofGovernment被改名为DepartmentsofPoliticalSciences,DepartmentsofSpeech被改名为DepartmentsofCommunication,即便名字没改,研究的内容已经发生变化了,社会学科转向定量研究的风潮可见一斑。那个时候年轻学者对数据的兴趣和痴迷不低于今日。归其原因,一方面由于测量理论的发展,许多研究主体数据化,定量研究从科学发展的浪潮中受益了;另一方面电脑的发展也促成了这个变化。
当电脑开始在美国大学变得不那么神秘的60年代初期,它们是不适合社会科学研究的,电脑的应用是围绕着物理科学来进行的。物理科学通常要求在很小的数据量上进行非常复杂的运算,而社会科学通常的数据量很“大”。那个时候物理科学可以拿到很多的资助,所以大部分软件和程序都是围绕物理科学开发的。直到60年代末期才出现比较强大的为社会科学研究而设计的分析软件。
70年代末的个人计算机的出现让社会科学定量研究看到了普及的希望。微型化的、能支付的起的电脑已经足够强大,可以做很多常规分析,但是它们不能处理“大”数据。碰到大的数据样本,只能手动的去计算,直到八十年代的微型电脑内存技术有了革命性的变化。新型电脑不仅能进行大样本的简单处理和分析,而且能进行复杂的运算,比如因子分析,最小空间分析等等。一个定量研究者和一台微型电脑所做的分析,就能轻易超过以前一个团队和一个机房才能做的分析。
于是,微型电脑给定量研究带来了我们所能看见的明显优势。然而,微型电脑给定性研究也带来了同样的优势,只是我们不太注意罢了。比如,以前我们做定性研究访问的时候,一般就是记笔记。现在我可以带着我的个人电脑现场记录,也可以轻松地剪辑录像仔细解读。当我们写定性报告的时候,现在可以很轻松的检索信息,旁引博证,插入图片等,还可以轻松的把文字和其它信息挪动。互联网也使得远程图书馆发展起来,对定性研究的帮助也是一日千里。
你或许觉得电脑在定性研究上的应用比起定量研究来太苍白了,但是我们仔细想一想,电脑对定量研究的贡献不也是让研究者轻松地去做过去能做但很费时费力的分析工作吗?
如果我们把六、七十年代数据化带给社会学科研究方法的变化定量研究和定性研究的分野和发展,看作是第一次数据化浪潮冲击的话,那么大数据将会给社会科学研究方式带来第二次冲击。
过去定量研究的一个关键支柱是抽样理论。过去由于获得数据的昂贵,我们倾向于用最少的数据量获得最多的信息,抽样省时省力省钱;而且由于技术分析手段的局限性,我们也只能处理分析“小数据”。那如何保证抽样的结果能比较客观的代表总体呢?依据所研究的问题,满足随机抽样(经典抽样)或最优抽样的标准,就能最大限度的保证精确性。抽样理论实际上获得了巨大成功,成为现代社会、现代测量领域的支柱。
样本数据一旦收集完成,它的应用就相应的缺乏延展性。比如,我们难以或者不可以重新分析这些数据以验证计划之外的想法;当我们的分析单位越来越小的时候,样本数据的错误率变得越来越高,因为落到一个分析单位上的样本量越来越小;样本数据常常不能帮助我们完成对异常或小概率事件的分析,而发现和预测这些小概率事件常常是数据分析的一个重要目的。
那么,大数据研究的目的是什么呢?通常在社会科学领域中,我们的研究目的是发现和验证事物之间的因果关系,然而发现和分析因果关系是非常困难的一项任务。例如一个14岁的初中学生跳楼了,是什么原因导致他这种行为呢?媒体对其他青少年相似行为的报导?社会大环境所致?学校功课的压力?家庭不和睦?个人心理状态?和同学吵架之后的过激念头导致?……我们可以列出上百种可能的因素,因为社会现象之复杂,各种事物之间确实有存在着千丝万缕的联系。我们当然很容易说这些因素都有可能是原因,也可以简而化之说学校压力是主因,但这些表述对我们没有任何价值。
在小样本时代,数据稀缺,所以我们首先追求数据精确,其次追求结果精确。但大数据时代,数据之杂,不可能精确,追求数据的精确就会导致我们寸步难行,数据不精确会成为一个常态,也是世界的本质。数据不精确,结果也很难“精确”。但机器学习理论和实践都证明,允许数据的混杂和不精确,我们分析所得出的结论才更有延展性和外部适用性。
因为大数据中很大比例是文本数据,分析的很大障碍是机器的语义分析能力。只有具备了一定的语义分析能力,机器分析才有价值,文本形式的大数据才能得到有效分析。目前的大多数语义分析能力都是采用有监督的机器学习。机器学习包括训练集的质量,训练集规模和机器学习算法,训练集的质量是可以采用人工标注的方式来提高。此外,对市场研究而言,品类知识也是需要机器事先储备的。
可以想象,未来云计算和云储存的普及,大数据分析方法的发展以及针对大数据的智能软件的开发,将会为个人处理分析大数据提供必要的物质条件,就如同七、八十年代微型计算机、内存和相应软件的开发会为定量研究带来的变化一样。
大数据带来的数据化浪潮已经触动市场研究的每一个人。JoanLewis,宝洁全球客户和市场知识官,2011年ARF的演讲中呼吁要让社会化媒体的大数据应用于市场研究。她讲到了以下几点:
市场研究的使命是揭示消费者视角,为企业提供有价值的洞察和支持企业做出有意义的决策。从这个意义上来说,每一个市场研究人员都应该为社会化媒体平台和数据欢呼,因为它弥补了问卷数据一些方面的不足。(你是不是经常会发现,当我们从事另一个领域的工作时,才会意识到原来工作方法的不足和优点。)另一方面,针对社会化媒体数据分析的新兴公司确实对传统的市场研究公司形成竞争和挑战。
回顾历史,我们意识到第一次数据化(“大”数据)浪潮带给社会科学研究方式的影响和变化;思考现在,我们充分理解大数据(第二次数据化)浪潮带给我们社会科学研究者的困惑、迷茫和不解,伴随着震撼、惊喜和欢呼;展望未来,我们深信市场研究正处在量变通往质变的道路上。