推荐策略产品经理必读系列—第四讲推荐系统的召回(二)

前言:上一篇为大家介绍了推荐系统召回策略里面基于规则的召回,本篇将为大家介绍推荐系统召回策略中基于协同过滤算法的召回。

何为协同:

协同字面意思就是大家在一起互相配合来做成某一件事情。在协同过滤算法里指的就是利用群体的数据去寻找规律,去寻找物料与物料,用户与用户之间的相似性。

何为过滤:

过滤字面意思就是把不符合条件的东西给过滤掉。在协同过滤算法里指的就是当我们基于物料相似度或者用户相似度进行推荐时,需要把那些相似性很低的物料和用户过滤掉。

那“协同+过滤”:其实就是利用群体的数据去寻找规律,去寻找物料与物料,用户与用户之间的相似性,然后再把相似性很低物料和用户过滤掉,挑选出相似度最高的物料和用户。

协同过滤算法的产生是推荐算法1.0时代“基于内容的标签召回”算法后,人们开始利用数据本身探讨用户与用户,物料与物料之间的关联性,从而演化出来了协同过滤(CollaborativeFiltering)算法。

标志性的算法就是基于用户的协同过滤算法,该算法在1992年被提出。协同过滤算法可以说是推荐领域最经典的算法了。甚至可以说协同过滤算法的出现,代表了推荐系统的出现。协同过滤算法一共分为两个大的方式:基于邻域的方法和基于模型的方式。

下面我们将详细展开介绍:

AB用户拥有相同的背景和兴趣,基于用户之间的相似性,为A推荐用户B感兴趣且用户A没有接触过的内容。比如大学时候,我们都会问同专业的学长学姐应该选什么课。这个就是学长学姐和我们有一样的专业背景,基于他们过去经验上过的课,一定可以推荐出哪些考试简单给分又高的课,如果这个课很难给分又低,学长学姐们一定不会去上这个课。整个算法分为两个大的步骤:

第一步:挖掘和目标用户相似的用户集合;

如何计算用户之间的相似性,一般我们使用Jaccard系数或者余弦相似度。具体公式如下:

上图左侧为历史用户浏览商品数据,右侧为计算用户相似度的公式。用户数很庞大,所以一般我们会设置一个K值,找出与用户A最相似的TopK个用户。例子中我们设置K为2,根据公式我们可以计算出与用户A相似度最高的两个用户是用户B和用户E。

第二步:挖掘该集合中受欢迎的Item,同时目标用户没有接触过的,将其推荐给目标用户;

用户B和E历史浏览过的商品中,商品d和e用户A没有浏览过,需要计算用户A对于商品d和e的兴趣度。计算公式如上图所示,我们以用户A对商品d的兴趣度举例:(用户A与用户B的相似度*用户B对于商品d的兴趣度)+(用户A与用户E的相似度*用户E对于商品d的兴趣度),这里用户之间的相似度第一步里面已经计算过了,用户B&E对于商品d的兴趣度,我们统一设定:如果浏览过兴趣度就为1,没有浏览过兴趣度就为0。

User-CF算法1992年就已经在某电子邮件的个性化推荐系统上得到了应用,关于User-CF算法的优缺点我们在介绍完Item-CF算法以后进行统一对比介绍。

基于物料之间的相似性,通过用户历史喜欢的物料,为其推荐相似的物料。这里面的物料相似性并不是基于物料之间标签重合度来计算相似度,ItemCF是基于用户对于物料的历史行为数据来计算物料之间的相似度。Item-CF最早是由亚马逊公司提出的,目前在各大互联网公司应用都十分频繁。

整个算法同样分为两个步骤:

第一步:计算商品之间的相似度;

首先我们基于用户历史浏览的行为,统计两个商品被同一用户浏览过的次数,比如pair(e,d)同时被3个用户都浏览过,那么相似度矩阵里面就填入3。最后我们使用余弦相似度公式来计算商品之间的相似度。

第二步:基于目标用户历史浏览行为和商品之间的相似度,为其推荐感兴趣且未浏览过的商品;

相似度计算完以后,我们需要计算用户对这些没有浏览过商品的兴趣度。比如我们计算用户A对于商品d的兴趣度,案例中因为一共只出现了5个商品,只有d和e用户A没有浏览过,这里的K值我们就设置为3,我们只基于商品d和a,b,c之间的相似度以及用户A对于商品a,b,c的兴趣度进行计算。

实际案例中用户A浏览过的商品很多,和d有交集的商品也会很多,我们需要设置一个合理的K值,无法计算商品d和所有商品的相似度,再去乘以用户A对于这些商品的兴趣度。最终根据上述公式计算得出用户A对e的兴趣度为1.74,对d的兴趣度为1.17。所以优先为用户A推荐商品e。

最后我们用下面这张图将UserCF和ItemCF之间的区别进行归纳:

(1)应用领域

User-CF在新闻社交网站等UGC社区使用的较多,而Item-CF在电商、电影&音乐等网站使用的较多。一方面因为新闻等网站内容更新快,使用Item-CF无法满足时效更新的要求,另一方面新闻等网站上用户的兴趣相对粗粒度,很多用户群体喜欢阅读同一内容。而在电商、电影等网站上用户兴趣相对比较个性化,使用Item-CF更能够反映用户兴趣的传承。

(2)可解释性

User-CF的解释性弱于Item-CF,因为User-CF是侧重于人与人之间的相似,给用户A推荐用户B感兴趣的东西。而Item-CF是侧重于基于用户A历史买过的商品,为其推荐相似的商品。从直观上用户也更愿意相信Item-CF这种推荐方式。

协同过滤是一种思想,很多时候大家在讲协同过滤时就讲User-CF和Item-CF,其实协同过滤中有很大一部分甚至说当前先进的协同过滤算法都是基于模型的协同过滤。下面为大家介绍几种常见基于模型的协同过滤。

第一步:将数据由表格转化为二分图;

我们将表格用户历史浏览过的数据转化为Graph,左边为用户Node,右边为物料Node。用户浏览过的物料两个顶点之间就连一条线,顶点与顶点之间的连线我们叫做边Edge。

同时我们再去比较同样是两条长度为3的路径“A—b—C—e”,哪条路径产生的链接更强了?我们分别去统计两个路径经过Node的出度,何为出度?

出度就是该Node对外连接几个其他Node,比如Node-A的出度就是3。

以上就是基于图模型的协同过滤算法。

下一篇将重点为大家介绍基于向量的召回,大家经常听到的FM模型以及双塔模型,大家敬请期待~

THE END
1.推荐系统常用算法介绍基于内容推荐算法腾讯云开发者社区Item CF 和 User CF 是基于协同过滤推荐的两个最基本的算法,User CF 是很早以前就提出来了,Item CF 是从 Amazon 的论文和专利发表之后(2001 年左右)开始流行,大家都觉得 Item CF 从性能和复杂度上比 User CF 更优,其中的一个主要原因就是对于一个在线网站,用户的数量往往大大超过物品的数量,同时物品的数据https://cloud.tencent.com/developer/article/2112815
2.推荐系统算法概览系列学习——推荐算法综述 作者:章华燕 编辑:祝鑫泉 前言 1 随着移动互联网技术和社交网络的发展,每天都有大量包括博客,图片,视频,微博等等的信息发布到网上。我们正处于大数据的时代,传统的信息检索技术已经不能满足用户对信息发现的需求,推荐引擎的出现,可以帮用户获取更丰富,更符合个人口味和更加有意义的信息。https://blog.csdn.net/u013709270/article/details/78948772
3.史上最全推荐系统传统算法合集我花了半个多月将推荐系统传统算法分别进行了总结归纳,应该时目前全网最全的版本了。希望对大家了解推荐系统传统算法有所帮助。 推荐系统的传统算法主要包括: 基于邻域的算法 隐语义模型 决策树模型 逻辑回归 01 基于邻域的算法 主要介绍了 user-based CF(协同过滤),item-https://mp.weixin.qq.com/s?__biz=MzI4MDYzNzg4Mw==&mid=2247547989&idx=1&sn=b6e7ab2ab800efad01b29cc9641b6aca&chksm=ebb70481dcc08d97da7a54a71fcdf873fdf91e307941d9f85d1d1d0b404445e27395c0e72b39&scene=27
4.推荐算法综述.ppt推荐算法综述.ppt 24页内容提供方:___ 大小:4 MB 字数:约7.72千字 发布时间:2020-12-13发布于浙江 浏览人气:97 下载次数:仅上传者可见 收藏次数:0 需要金币:*** 金币 (10金币=人民币1元)推荐算法综述.ppt 关闭预览 想预览更多内容,点击免费在线预览全文 免费在线预览全文 判断第n+1个是否进https://max.book118.com/html/2020/1212/8012043115003025.shtm
5.推荐算法综述(二)推荐系统软件开发【编者按】推荐系统在各种系统中广泛使用,推荐算法则是其中最核心的技术点,InfoQ接下来将会策划系列文章来为读者深入介绍。推荐算法综述分文五个部分,本文作为第一篇,将会简要介绍推荐系统算法的主要种类。其中包括算法的简要描述、典型的输入、不同的细分类型以及其优点和缺点。在第二和第三篇中,我们将会详细介绍这些算https://www.open-open.com/lib/view/open1451440691683.html
6.对话推荐算法研究综述人技术的广泛使用,另一方面受益于强化学习、知识图谱等技术在推荐策略中的成熟应用.将对话推荐系统的整体框架进行梳理,将对话推荐算法研究所使用的数据集进行分类,同时对评价对话推荐效果的相关指标进行讨论,重点关注于对话推荐系统中的后台对话策略与推荐逻辑,对近年来的对话推荐算法进行综述,最后对对话推荐领域的未来发展https://www.jos.org.cn/jos/article/abstract/6521
7.推荐系统综述推荐系统通过分析用户的行为和兴趣,为用户提供个性化的推荐,从而提高用户体验和满意度。本文将综述推荐系统的背景、发展历程、应用领域、算法原理等方面,为读者全面介绍推荐系统的相关知识。 一、背景: 随着信息爆炸和信息过载的时代到来,人们面临了获取信息的困境。传统的信息检索方式往往无法满足用户的个性化需求。而推荐https://wenku.baidu.com/view/4fe1ff5ccfbff121dd36a32d7375a417866fc1ee.html
8.推荐算法综述推荐算法综述 1 推荐系统基本流程 推荐系统的目的是通过推荐计算帮助用户从海量的数据对象中选择出用户最有可能感兴趣的对象。涉及三个基本内容:目标用户、待推荐项目以及推荐算法,基本流程为:描述为用户模型构建、项目模型建立以及推荐算法处理三个基本流程;https://www.jianshu.com/p/dcbdad094de7
9.个性化推荐算法的研究及发展综述7黄乐乐;马慧芳;李宁;余丽;基于二分图划分联合聚类的协同过滤推荐算法[J];计算机工程与科学;2019年11期 8孟祥福;张霄雁;唐延欢;贾迪;齐雪月;毛月;基于地理-社会关系的多样性与个性化兴趣点推荐[J];计算机学报;2019年11期 9傅汉霖;顾小宇;图书推荐算法综述[J];计算机时代;2016年12期 https://www.cnki.com.cn/Article/CJFDTotal-DGLG202103010.htm
10.协同过滤推荐研究综述AET协同过滤推荐研究综述 来源:微型机与应用2013年第6期张瑶, 陈维斌, 傅顺开(华侨大学 计算机科学与技术学院, 福建 厦门 361000)摘要: 推荐技术是目前在很多领域中广泛使用的技术之一。而协同过滤推荐算法是应用在推荐技术中很成功的算法。主要介绍了协同过滤推荐技术,总结了当前推荐算法的传统方法、改进算法以及性能评测http://www.chinaaet.com/article/212308
11.论文推荐多源融合定位算法综述南京信息工程大学【论文推荐】多源融合定位算法综述编辑:曹慧霞 作者: 审核: 来源: 2023年02月23日 【论文推荐】多源融合定位算法综述 上一条:【论文推荐】基于卫星载噪比定权的手机RTK/PDR融合定位研究下一条:中国工程院《全球工程前沿2022》重磅发布!【关闭】南京信息工程大学期刊中心 版权所有 copyright ? 2019 NUIST备80072 https://qks.nuist.edu.cn/info/1027/2985.htm
12.推荐解决方案综述人工智能平台PAI(PAI)推荐系统和搜索引擎是现代App解决信息过载的标配系统,如果从零开发推荐系统,不仅需要耗费大量金钱和时间,而且很难满足快速上线推荐系统及不断迭代各种算法的业务要求。本文为您介绍如何使用阿里云产品创建推荐系统的数据和模型,从而快速搭建自己的推荐系统。https://help.aliyun.com/document_detail/161927.html
13.067推荐的Exploit和Explore算法之一:EE算法综述推荐系统中的EE算法旨在平衡利用和探索策略,以持续挖掘用户喜好。在雅虎今日新闻上的应用为其成功提供了重要条件,但产品部署难点包括上线测试和用户体验下降。关键挑战在于实现“用户友好型”的EE。https://time.geekbang.org/column/article/4881
14.基于关联规则算法的推荐方法研究综述目前传统推荐算法已经被广泛应用于各类推荐系统,然而在推荐过程中仍然存在着无法处理非结构化数据、数据潜在关系发现困难、数据稀疏和冷启动等问题。关联规则技术的出现有效缓解了这些问题,推荐效率也因此得到提高。将关联规则技术的特殊属性与推荐算法进行高质量的结合成为推荐领域的研究热点。通过综述关联规则技术与数据的不http://cea.ceaj.org/CN/abstract/abstract39163.shtml
15.行为分析算法综述.docx行为分析算法综述一、概述行为分析算法是近年来计算机科学、人工智能及心理学等多个领域的研究热点,其应用广泛,涉及智能监控、人机交互、自动驾驶、医疗诊断等多个方面。随着大数据和机器学习技术的快速发展,行为分析算法已经成为理解和预测人类行为的关键工具。行为分析算法主要基于对人类行为的观察和测量,通过提取特征、https://m.renrendoc.com/paper/330405669.html
16.推荐系统论文文献综述12篇(全文)2)基于社会网络分析的推荐算法:如利用用户的购买行为建立他对产品的偏好相似性,依此向用户推荐产品并预测产品的销售情况,从而加强用户黏性。 推荐系统论文文献综述 第2篇 专业:英语 班级:09英语3班 作者:章晓丽 指导老师:付林艳 摘要:本文客观地归纳了学者对于各种英语教学法的研究、系统的总结了互动式教学法在大学英https://www.99xueshu.com/w/filesxh7iolw.html
17.好友推荐算法Hadoophadoop好友推荐系统好友推荐算法Hadoop hadoop好友推荐系统 项目总目录:基于Hadoop的好友推荐系统项目综述 一、数据表的初始化 1、前端展示层 jsp页面 用户登录表 集群配置表 初始化 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. jshttps://blog.51cto.com/u_16213594/9078474
18.FCS期刊动态《计算机科学前沿》2021年第一期精彩文章—论文—科学网基于密度的聚类算法综述 Xingxing HAO, Jing LIU, Yutong ZHANG, Gustaph SANGA Mathematical model and simulated annealing algorithm for Chinese high school timetabling problems under the new curriculum innovation 面向“新高考”的高中“走班”排课问题建模及模拟退火算法 https://news.sciencenet.cn/htmlpaper/2021/4/202142112434356462946.shtm
19.计算机与现代化杂志江西省计算机学会主办2020年第01期关键词:改进余弦相似度 协同过滤 推荐算法 深度因子分解机 传统的协同过滤推荐算法存在数据稀疏情况下分类准确性低的问题,针对于此提出一种基于改进余弦相似度的协同过滤推荐算法,将数据经嵌入层转换为特征矩阵,将对其计算后得到的改进余弦相似度矩阵和单位矩阵之间的均方误差作为损失函数,从而提高推荐算法在数据稀疏情况https://www.youfabiao.com/jsjyxdh/202001/