什么是关联分析?如何利用关联规则做好数据挖掘志恒说数据

想必大家都听说过美国沃尔玛连锁超市“啤酒与尿不湿”的故事。为什么沃尔玛超市里会把婴儿的尿不湿和啤酒摆放在一起售卖呢?

因为超市发现尿不湿和啤酒的购买峰值曲线有极大的相似性,观察得知,美国家庭中母亲在家照顾孩子,就会让父亲下班后买尿不湿回家,而男士来到超市后习惯于给自己买上一罐啤酒。那么如果将啤酒放在尿不湿附近,将有很大概率提高啤酒的销售量。实践证明的确如此。

其实,这种通过研究已经产生的数据,将不同标的关联起来并挖掘二者之间联系的分析方法,就叫做关联分析法,也就是商场和电商领域的“购物篮分析”。

今天小亿就来说说什么是关联分析,关联分析可以应用在哪些地方,以及如何做好商品的关联分析。

一、什么关联分析?

关联就是反映某个事物与其他事物之间相互依存关系,而关联分析是指在交易数据中,找出存在于项目集合之间的关联模式,即如果两个或多个事物之间存在一定的关联性,则其中一个事物就能通过其他事物进行预测。通常的做法是挖掘隐藏在数据中的相互关系,当两个或多个数据项的取值相互间高概率的重复出现时,那么就会认为它们之间存在一定的关联。

换句话说,两项或多项属性之间存在关联,那么其中一项的属性值就可以依据其他属性值进行预测。简单地来说,关联规则可以用这样的方式来表示:A→B,其中A被称为前提或者左部(LHS),而B被称为结果或者右部(RHS)。如果我们要描述关于尿布和啤酒的关联规则(买尿布的人也会买啤酒),那么我们可以这样表示:买尿布→买啤酒。

二、关联分析可以应用在哪些地方?

一些行业的关联规则十分清晰,例如人口普查、医疗诊断、甚至人类基因组中的蛋白质序列。在关联销售宝贝的价格规律,卖家改进关联营销策略方面,关联分析法的适用性尤为突出。

关联销售在具体营销操作中,往往会使用一种商品作为引入商品,另一种商品作为利润商品,营销人员往往会认为引入商品应当是低价的一种,那么是否女装类目中存在此类规律呢?

如果将关联比例大于10%的关联商品和结果商品的类目均价互相比较,就会发现既有用半身裙、小背心、雪纺衫之类的相对低价商品,关联至衬衫、裤子、连衣裙等相对高价商品的记录,也有用衬衫、短外套、连衣裙、西装等相对高单价商品,关联至裤子、连衣裙、T恤等相对低单价商品的记录,而且两种情况的数量基本一致。该分析结果告诉我们,至少在女装类目中,关联销售更多是基于买家的内在需求以及商品的性质、特征等而出现,并没有什么特定的低价导入、高价关联之类的规律存在。

在今天主要探讨的商品销售这个目标上,“超市购物篮”数据的研究可以作为研究关联规则挖掘的一个典型的例子。不仅在线下超市,电商卖家的“满就送”、“多加一件包邮”等形式促销,也是商品关联销售思维演化来的。

但他们忽略了关联销售最重要的一个环节,就是消费者心理最想要什么东西,以及可以接受的心理价位是什么?这就需要对大量商品记录数据做分析,提取出能够反映顾客偏好的有用的规则。

如今疫情尚没有宣告终结,超市门店生意仍处困境,线上流量红利竞争持续,竞争的层面也在不断深化,已经从最基本的增加PV、提升PR、制造爆款……扩展到提升客单价、重购率,培养核心客户群、打造私域流量等方面。在这样的情况下,做好关联分析就会让你的企业在竞争中多一个抓手。具体而言,他可以帮助店铺实现以下营销目的:

1.提升页面浏览率:由于同一页面中会涉及到多个商品,当这些商品的关联性较强时,就会有效提升该页面以及其关联商品页面的PV。

3.提升利润商品的展现机会:现在电商卖家对做爆款是又爱又恨,爱的是他能带来流量,恨的是他带走了利润,其实,只要做好关联销售,将爆款商品和利润商品有效组合起来,就能获得流量和利润的双丰收!

除此以外,关联技术不但在商业领域被广泛应用,在医疗、保险、电信和证券等领域也得到了有效的应用。

三、如何依据数据做好关联分析?

1.关联规则的常用指标

(1)支持度

在关联算法中很重要的一个概念是支持度(Support),也就是数据集中包含某几个特定项的概率。比如在1000次的商品交易中同时出现了啤酒和尿布的次数是50次,那么此关联的支持度为5%。

支持度是指A商品和B商品同时被购买的概率,或者说某个商品组合的购买次数占总商品购买次数的比例,用图表示就是两者之间的交集。

其算法公式是:S=F[(A&B)/N]

其中S代表支持度,F代表概率函数,A&B代表购买了A且购买了B的次数,N代表购买总次数。

比如今天共有10笔订单,其中同时购买牛奶和面包的次数是6次,那么牛奶+面包组合的置信度就是6/10=60%

(2)置信度

置信度是指购买A之后又购买B的条件概率,简单说就是因为购买了A所以购买了B的概率,用图表示就是交集在A中的比例。

其算法公式是:C=F(A&B)/F(A)

其中C代表置信度,F表示条件概率,A&B代表购买了A且购买了B的次数,A代表购买A的次数。

比如今天共有10笔订单,其中购买A的次数是8,同时购买A和B的次数是6,则其置信度是6/8=75%

(3)提升度

提升度是先购买A对购买B的提升作用,用来判断商品组合方式是否具有实际价值,换句话说,就是看组合商品被购买的次数是否高于单独商品的购买次数,大于1说明该组合方式有效,小于1则说明无效。

其算法公式是:L=S(A&B)/[S(A)*S(B)]

其中L代表提升度,S(A&B)代表A商品和B商品同时被购买的支持度,S(A)*S(B)代表商品A被购买的概率与B被购买概率的乘积

比如今天共有10笔订单,购买A的次数是8,购买B的次数是4,购买A+B的次数是6,那么提升度是0.6/(0.8*0.4)>1,因此A+B的组合方式是有效的。

2.关联规则的分类

(1)根据规则中所处理的变量的类型,关联规则可以分为布尔型和数值型

布尔型关联规则处理的值都是离散的、种类化的,它显示了这些变量之间的关系。数值型关联规则可以对数值型字段,原始数据进行处理,包含多种类型的变量。例如:性别=“女”=>职业=“会计”,是布尔型关联规则;性别=“女”=>avg(收入)=3000,涉及的收入是数值类型,所以是一个数值型关联规则。

(2)基于规则中数据的抽象层次,可以分为单层关联规则和多层关联规则

在单层的关联规则中,所有的变量都没有考虑到现实的数据是具有多个不同的层次的;而在多层的关联规则中,对数据的多层性已经进行了充分的考虑。例如:IBM台式机=>Sony打印机,是一个细节数据上的单层关联规则;台式机=>Sony打印机,是一个较高层次和细节层次之间的多层关联规则。

(3)基于规则中涉及到的数据的维数,关联规则可以分为单维和多维的

在单维的关联规则中,我们只涉及到数据的一个维,处理单个属性中的一些关系,如用户购买的物品。多维的关联规则中要处理的数据将会涉及多个维,处理各个属性之间的某些关系。例如:啤酒=>尿布,这条规则只涉及到用户的购买的物品是单维的关联规则;性别=“女”=>职业=“秘书”,这条规则就涉及到两个字段的信息,是多维的一条关联规则。

我们都知道,做数据分析的目的就是找到数据之间的关联和联系,而对于产品或商品来说,我们的目的是找出顾客购买行为的模式,比如说用户买了A商品,是否会对B商品产生什么影响;比如用户今天的购买行为,会不会对明天的销售量带来影响;比如不同的用户是否具有不同的购买模式等等。而这种挖掘方式要基于一定的规则,这个规则就是进行关联分析的算法

(1)Apriori算法

Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。

算法的基本思想:首先找出所有的频集,这些项集出现的频繁性至少和预定义的最小支持度一样;然后由频集产生强关联规则,这些规则必须满足最小支持度和最小可信度。

(2)AprioriTid算法

AprioriTid算法对Apriori算法做了调整,它的特点是在第一次遍历数据库D之后,就不再使用数据库来计算支持度,而是用集合Ck来完成。

基本思想:跟Apriori算法的步骤基本相同,只是在第一次通过之后,数据库不用于计算候选项集;生成另一个集合C',其中每个成员具有每个事务的TID以及该事务中存在的大项集,这个集用于计算每个候选项集。

(3)SETM算法

基本思想:候选项目集在扫描数据库时即时生成,但在通过结束时计算,新的候选项集生成事务的TID与候选项集一起保存在顺序结构中;结束时,通过聚合该顺序结构来确定候选项集的支持计数。

(4)FP-tree算法

FP-tree算法又称FP-Growth算法,是在不使用候选代的情况下查找频繁项集的另一种方法,从而提高了性能。其核心是使用名为频繁模式树(FP-tree)的特殊数据结构,保留了项集关联信息。

四、关联分析的步骤拆解

1.从原始资料集合中找出所有高频项目组(LargeItemsets)

高频的意思是指某一项目组出现的频率相对于所有记录而言,必须达到某一水平。以一个包含A与B两个项目的2-itemset为例,我们可以求得包含{A,B}项目组的支持度,若支持度大于等于所设定的最小支持度(MinimumSupport)门槛值时,则{A,B}称为高频项目组。

一个满足最小支持度的k-itemset,则称为高频k-项目组(Frequentk-itemset),一般表示为Largek或Frequentk。算法并从Largek的项目组中再试图产生长度超过k的项目集Largek+1,直到无法再找到更长的高频项目组为止。

2.产生关联规则

从高频项目组产生关联规则,是利用前一步骤的高频k-项目组来产生规则,在最小可信度(MinimumConfidence)的条件门槛下,若一规则所求得的可信度满足最小可信度,则称此规则为关联规则。

例如:经由高频k-项目组{A,B}所产生的规则,若其可信度大于等于最小可信度,则称{A,B}为关联规则。

就“啤酒+尿布”这个案例而言,使用关联规则挖掘技术,对交易资料库中的记录进行资料挖掘,首先必须要设定最小支持度与最小可信度两个门槛值,在此假设最小支持度min-support=5%且最小可信度min-confidence=65%。因此符合需求的关联规则将必须同时满足以上两个条件。若经过挖掘所找到的关联规则{尿布,啤酒}满足下列条件,将可接受{尿布,啤酒}的关联规则。用公式可以描述为:

Support(尿布,啤酒)≥5%andConfidence(尿布,啤酒)≥65%

其中,Support(尿布,啤酒)≥5%于此应用范例中的意义为:在所有的交易记录资料中,至少有5%的交易呈现尿布与啤酒这两项商品被同时购买的交易行为。Confidence(尿布,啤酒)≥65%于此应用范例中的意义为:在所有包含尿布的交易记录资料中,至少有65%的交易会同时购买啤酒。

因此,今后若有某消费者出现购买尿布的行为,我们将可推荐该消费者同时购买啤酒。这个商品推荐的行为则是根据{尿布,啤酒}关联规则而定,因为就过去的交易记录而言,支持了“大部分购买尿布的交易,会同时购买啤酒”的消费行为。

从上面的介绍还可以看出,关联规则挖掘通常比较适用于记录中的指标取离散值的情况。

如果原始数据库中的指标值是取连续的数据,则在关联规则挖掘之前应该进行适当的数据离散化(实际上就是将某个区间的值对应于某个值),数据的离散化是数据挖掘前的重要环节,离散化的过程是否合理将直接影响关联规则的挖掘结果。

如今关联规则挖掘的应用领域非常多,但凡需要分析事物和事物间的频繁模式的场景,都可以用到关联规则挖掘。

1.准备数据

我们准备了某超市的一些购物篮数据。该数据集有7个字段。根据关联规则的挖掘特性,需要选择一个事务字段和一个事项字段。不然发现,CARD_NO(卡号)字段同一卡号购买过多种不同商品,可作为事务字段,而GOODS(购买商品)字段可作为事项字段。另外,界面信息显示,该数据集有2800条购买数据,由939个客户(卡号)购买了11种不同商品,符合“经常同时购买”的特征。接下来我们开始用数据集训练一个合适的关联规则模型。

2.训练模型

先创建一个挖掘过程,选择关联规则FP-Growth进入挖掘过程界面。系统内置了两种关联规则算法,他们的参数设置都一样。我们选择性能较好的FP-Growth算法。再选择“购物篮”数据集,选择CARD_NO字段为事务字段,GOODS字段为项字段,设置所有数据参与挖掘(100%抽样)。最低支持度设置为5项,最小可信度设置为40%。注意,这两个参数设置过大,可能挖掘不出关联规则,可根据实现情况调整。点击”训练模型”菜单查看训练出来的关联规则。

如上图所示,该模型挖掘到了100条关联规则。每条关联规则左边代表。系统虽然内置了FP-Growth和Apriori两种挖掘算法,而且操作方法一样,但它们还是存在以下特点:

所以在选择算法时,绝大部分情况下,可以优先选择FP-Growth算法。

3.模型应用

关联规则模型的应用同其它类型的挖掘模型,也是要先发布选择好的关联规则模型,再制作相应的模型应用用于关联规则的显示和查询。这里就不重复讲解了。

THE END
1.网站能分为哪些类型?网站分类备案流程一般空间商会告知,有些也可以选择让空间商代理进行网站备案。 基本上,完成以上四步,就可以搭建成功一个网站了。有很多cms的建站程序,cmseasy就是其中的一员,可以帮助您的网站从零做起,有客服人员帮助您解决搭建网站过程中的疑问,成功搭建自己的网站。 参考文章:网站能分为哪些类型?https://blog.csdn.net/zhang_bo_qian/article/details/126178739
2.怎样免费做网站?网站分为哪些类型?技术不断进步,免费网站更是我们每天都接触到的东西。但是,到底怎样免费做网站?网站分为哪些类型?这些问题恐怕还有不少人弄不明白,今天就来讲讲关于免费网站的那些事吧! 怎样免费做网站 1、首先申请免费空间,域名和程序,然后将域名指向空间的位置。 https://www.xinnet.com/knowledge/2142329030.html
3.网站常见类型有哪些如何选择网站类型才更符合定位→MAIGOO知识摘要:网站是指在因特网上根据一定的规则,使用特定语言制作的用于展示特定内容相关网页的集合。网站建成后,人们就可以通过网站获取自己需要的资讯。通常情况下,网站可以分为门户网站、企业网站、个人网站这三种类型,不同网站的定位不同,消费者可根据需求选择。接下来就和小编一起来看看吧。 https://www.maigoo.com/goomai/219277.html
4.2023网络安全知识竞赛题库及答案免费答案:漏洞是在硬件、软件、协议的具体实现或系统安全策略上存在的缺陷,从而可以使攻击者能够在未授权的情况下访问或破坏系统。 27、网络面临的安全威胁主要有哪些方面? 网络面临的安全威胁可分为两种:一是对网络数据的威胁;二是对网络设备的威胁。概括起来主要威胁包括以下几个方面:1)由自然力造成的非人为的数据丢失https://www.xuexila.com/it/wangluoanquan/c1986382.html
5.常见网站的类型有哪些?腾讯云开发者社区常见网站的类型有哪些? 1、营销型网站 很多企业的网站都是属于营销型网站,这类网站主要就是宣传企业和企业的产品。营销型网站可以分为展示网站和营销网站,很多企业都分不清这两个网站作用,经常混为一谈。展示型网站主要就是宣传企业,建立品牌效应,从而让更多人关注到企业。营销性网站主要是宣传品牌,并且着重宣传企业https://cloud.tencent.com/developer/article/1474550
6.2024越南签证申请攻略(最新政策+签证类型+办理流程+材料/费用+从2023年2月已经恢复给中国公民待办越南落地签证,不管身在何处,当你申请签证许可函后都可以入境越南(只可用于坐飞机的乘客)。 越南签证种类有哪些? 【按访问目的分类】 根据2020 年7 月1 日生效的新移民法规(Law No. 51/2019/QH14),越南签证按访问目的分为大约21 种主要类型,即DL、DN1、DN2、NG、DT1 ,https://www.extrabux.cn/chs/guide/7729719
7.失业类型有哪些失业类型有哪些 篇1 失业分为三类,我国存在以下三类失业: 1、摩擦性失业 出现摩擦性失业时,存在就业岗位和适合此种岗位的失业人员。而造成这种失业的原因是信息的不畅通。 特征:是暂时性的;是无法避免的 解决方法:尽量使信息畅通。我国可建立一些有关就业讯息的网站以及一些就业中心,促使信息的畅通。 https://www.yjbys.com/shebao/shiye/795485.html
8.肩关节肱二头肌长头腱近端可分为哪几个部分?分别常见哪些类型上图:2020年3月13日星期五,膝肩髋关节关节镜与人工关节置换手术及康复专家高绪仁在徐州医科大学附属医院(徐医附院)暨徐州二院骨科膝肩髋关节专家门诊为肩关节疼痛肩袖损伤患者进行规范化体格检查。 今天有人问我一个问题:“高主任您好!肱二头肌长头腱近端可分为哪几个部分?分别常见哪些类型的损伤?” https://blog.sciencenet.cn/home.php?mod=space&uid=394169&do=blog&id=1223666
9.跨境电商模式有哪些?跨境电商的主要模式分类跨境电商按照不同的类型可以分为不同的模式 1. 按照交易类型可以将跨境电商模式分为:B2B、B2C、C2C B2B是Business-to-Business的缩写,是企业对企业的商业模式。是指企业与企业之间通过专用网络或Internet,进行数据信息的交换、传递,开展交易活动的商业模式。它将企业内部网和企业的产品及服务,通过B2B网站或移动客户端https://www.cifnews.com/article/61399/
10.域名的类型有哪些?网站建设域名的类型主要分为顶级域名、类别顶级域名、地理顶级域名、n级域名等。http://www.shangzhiwang.com/Faq/Website-Build/domain.html
11.桂林生活网教育频道58.我区特殊类型招生批分为哪些类型?适合哪些考生填报? 答:我区特殊类型招生批安排高校专项计划、高水平运动队、高水平艺术团3类计划,供取得高校专项计划、高水平运动队、高水平艺术团资格的考生填报,考生填报的志愿必须是本人所取得资格的学校之一。以上三类考生资格公示名单,均可在教育部阳光高考平台及广西招生考试院http://edu.guilinlife.com/index.php?s=/news/content/id/318
12.最高20分!甘肃省高考加分及录取优惠政策→有哪些类型的考生可以在 一定条件下优先录取”等 考生和家长关注的具体问题进行解答 ↓↓↓ 关注 省教育考试院专家解读 2024年我省高考加分及录取优惠政策 我省在普通高考招生录取时,有下列情形之一的高级中等教育学校毕业考生,可在考生文化统考成绩总分的基础上增加一定分数投档,达到高校投档条件的,由高校审查决定是否https://www.ntv.cn/zxhArticle.shtml?id=247971