推荐系统欣欣向荣666

个性化推荐系统通过建立用户与信息产品之间的二元关系,利用已有的选择过程或相似性关系挖掘每个用户潜在感兴趣的对象,进而进行个性化推荐,其本质就是信息过滤。推荐算法主要有:协同过滤算法、基于内容的推荐系统、混合推荐系统、基于用户——产品二部图网络结构的推荐系统。一个完整的推荐系统由3个部分组成:收集用户信息的行为记录模块、分析用户喜好的分析模块、推荐算法模块。关键技术为:用户建模、推荐对象建模和推荐算法。

二、背景:

个性化推荐的成功应用需要两个条件。第一是存在信息过载,因为如果用户可以很容易地从所有物品中找到喜欢的物品,就不需要个性化推荐了。第二是用户大部分时候没有特别明确的需求,因为用户如果有明确的需求,可以直接通过搜索引擎找到感兴趣的物品。

三、推荐系统实验方法

在推荐系统中,主要有3种评测推荐效果的实验方法,即离线实验、用户调查和在线实验。

1.离线实验的步骤

(1)通过日志系统获得用户行为数据,并按照一定格式生成一个标准的数据集;(2)将数据集按照一定的规则分成训练集和测试集;(3)在训练集上训练用户兴趣模型,在测试集上进行预测;(4)通过事先定义的离线指标评测算法在测试集上的预测结果。

2.用户调查

用户调查是推荐系统评测的一个重要工具,很多离线时没有办法评测的与用户主观感受有关的指标都可以通过用户调查获得。

它的优点是可以获得很多体现用户主观感受的指标,相对在线实验风险很低,出现错误后很容易弥补。缺点是招募测试用户代价较大,很难组织大规模的测试用户,因此会使测试结果的统计意义不足。此外,在很多时候设计双盲实验非常困难,而且用户在测试环境下的行为和真实环境下的行为可能有所不同,因而在测试环境下收集的测试指标可能在真实环境下无法重现。

3.在线实验

AB测试是一种很常用的在线评测算法的实验方法。它通过一定的规则将用户随机分成几组,并对不同组的用户采用不同的算法,然后通过统计不同组用户的各种不同的评测指标比较不同算法。

一般来说,一个新的推荐算法最终上线,需要完成上面所说的3个实验。

(1)需要通过离线实验证明它在很多离线指标上优于现有的算法。

(2)需要通过用户调查确定它的用户满意度不低于现有的算法。

(3)通过在线的AB测试确定它在我们关心的指标上优于现有的算法。

四、推荐系统实验评测指标

1.用户满意度

用户调查获得用户满意度主要是通过调查问卷的形式。在在线系统中,用户满意度主要通过一些对用户行为的统计得到。

2.预测准确度

预测准确度度量一个推荐系统或者推荐算法预测用户行为的能力。这个指标是最重要的推荐系统离线评测指标,方便了很多学术界的研究人员研究推荐算法。

预测准确度指标:

(1)评分预测:预测用户对物品评分的行为称为评分预测。

(2)TopN推荐:网站在提供推荐服务时,一般是给用户一个个性化的推荐列表,这种推荐叫做TopN推荐。TopN推荐的预测准确率一般通过准确率(precision)/召回率(recall)度量。

3.覆盖率

覆盖率(coverage)描述一个推荐系统对物品长尾的发掘能力。覆盖率有不同的定义方法,最简单的定义为推荐系统能够推荐出来的物品占总物品集合的比例。

4.多样性

多样性描述了推荐列表中物品两两之间的不相似性。

5.新颖性

新颖的推荐是指给用户推荐那些他们以前没有听说过的物品。

6.惊喜度

如果推荐结果和用户的历史兴趣不相似,但却让用户觉得满意,那么就可以说推荐结果的惊喜度很高,而推荐的新颖性仅仅取决于用户是否听说过这个推荐结果。

7.信任度

提高推荐系统的信任度主要有两种方法。首先需要增加推荐系统的透明度,而增加推荐系统透明度的主要办法是提供推荐解释。只有让用户了解推荐系统的运行机制,让用户认同推荐系统的运行机制,才会提高用户对推荐系统的信任度。其次是考虑用户的社交网络信息,利用用户的好友信息给用户做推荐,并且用好友进行推荐解释。这是因为用户对他们的好友一般都比较信任,因此如果推荐的商品是好友购买过的,那么他们对推荐结果就会相对比较信任。

8.实时性

推荐系统的实时性包括两个方面。首先,推荐系统需要实时地更新推荐列表来满足用户新的行为变化。实时性的第二个方面是推荐系统需要能够将新加入系统的物品推荐给用户。

9.健壮性

健壮性指标衡量了一个推荐系统抗击作弊的能力。

10.商业目标

三、用户建模模块:

该模型能获取、表示、存储和修改用户兴趣偏好,能进行推理,对用户进行分类和识别,帮助系统更好地理解用户特征和类别,理解用户的需求和任务,从而更好地实现用户所需要的功能,推荐系统根据用户的模型进行推荐。

用户模型需要考虑:

1.模型的输入数据,如何获取模型的输入数据

2.如何考虑用户的兴趣及需求的变化

3.建模的对象

4.如何建模

5.模型的输出

1.模型的输入:

(1)用户属性:这是用户最基本的信息,包括社会属性和自然属性,比如用户的姓名、年龄、职业和学历等

(2)用户手工输入的信息:这部分是用户主动提供给系统的信息,包括用户在搜索引擎中输入的关键词,用户输入的感兴趣的主题、频道。还有用户标注的是否感兴趣以及是否喜欢。

(3)用户的浏览行为和浏览内容:收藏、保存和复制

(4)推荐对象的属性特征

获取模型的输入方式有显示获取、隐式获取和启发式获取三种方式。

2.用户的兴趣和需求

建模的对象有单用户建模和群组用户建模

用户模型的建模方法主要有遗传算法、基于机器学习的算法,例如TF-IDF、自动聚类、贝叶斯分类器、决策树归纳和神经网络方法。

四、推荐对象的建模:

推荐对象需要考虑的问题:

1.提取推荐对象的什么特征,如何提取,提取的特征用于什么目的

2.对象的特征描述和用户文件描述之间有关联

3.提取到的每个对象特征对推荐结果会有什么影响

4.对象的特征描述文件是否自动更新

五、推荐算法主要有:

1.协同过滤系统

核心思想分为两部分:首先,利用用户的历史信息计算用户之间的相似性;然后,利用与目标用户相似性较高的邻居对其他产品的评价来预测目标用户对特定产品的喜好程度,系统根据这一喜好程度来对目标用户进行推荐。协同过滤推荐系统最大的优点是对推荐对象没有特殊的要求,能处理音乐、电影等难以进行文本结构化表示的对象。在产品的数量相对稳定的系统中,这种方法是很有效的,但是对于产品数量不断增加的系统,这种方法是不适用的。协同过滤推荐系统面临新用户、新产品、打分稀疏性和算法可扩展性的问题。解决稀疏性是使用配置文件。

协同过滤推荐系统的算法可以分为两类:基于记忆的和基于模型的算法。

(1)基于记忆的算法根据系统中所有被打过分的产品信息进行预测。

(2)基于模型的算法收集打分数据进行学习并推断用户行为模型,进而对某个产品进行预测打分。基于模型的协同过滤算法和基于记忆的算法的不同在于,基于模型的方法不是基于一些启发规则进行预测计算,而是基于对已有数据应用统计和机器学习得到的模型进行预测。

2.基于内容的推荐系统

它不需要依据用户对项目的评价意见,而是依据用户已经选择的产品内容信息计算用户之间的相似性,进而进行相应的推荐。随着机器学习等技术的完善,当前的基于内容的推荐系统可以分别对用户和产品建立配置文件,通过分析已经购买过的内容,建立或更新用户的配置文件,系统可以比较用户与产品配置文件的相似度,并直接向用户推荐与其配置文件最相似的产品。基于内容的推荐算法的根本在于信息获取和信息过滤。基于内容的推荐系统不可避免的受到信息获取技术的约束,例如自动提取多媒体数据(图形、视频流、声音流)的内容特征具有技术上的困难。

优点:

(1)可以处理新用户和新产品问题(冷启动)。由于新用户没有选择信息,新产品没有被选信息,因此协同过滤推荐系统无法处理这类问题,但是基于内容的推荐系统可以根据用户和产品的配置文件进行相应的推荐。

(2)实际系统中用户对产品的打分信息非常少,协同过滤推荐系统由于打分稀疏性的问题,受到很大的限制。基于内容的推荐系统可以不受打分稀疏性问题的约束。

(3)能推荐新出现的产品和非流行的产品,能够发现隐藏的“暗信息”。

(4)通过列表推荐项目的内容特征,可以解释为什么推荐这种产品,是用户在使用系统的时候具有很好的用户体验。

3.基于网络结构的推荐算法

基于网络结构的推荐算法不考虑用户和产品的内容特征,而仅仅把它们看成抽象的节点,所有算法利用的信息都藏在用户和产品的选择关系之中。缺点:受到新用户和新产品等问题的制约。

4.混合推荐算法

(1)在协同过滤系统中加入基于内容的算法

利用用户的配置文件进行传统的协同过滤计算。用户的相似度通过基于内容的配置文件计算而得到,而非共同打过分的产品的信息。这样可以克服协同过滤系统中的稀疏性问题。

THE END
1.国网智能电网研究院有限公司取得一种云边协同任务调度方法及装置专国网智能电网研究院有限公司取得一种云边协同任务调度方法及装置专利 金融界2024年12月18日消息,国家知识产权局信息显示,国网智能电网研究院有限公司取得一项名为“一种云边协同任务调度方法及装置”的专利,授权公告号 CN 114595049 B,申请日期为2022年3月。 本文源自:金融界 作者:情报员https://www.163.com/dy/article/JJM76AKT0519QIKK.html
2.武汉大学学报(理学版)2.4 基于深度学习的推荐算法的特点 深度学习技术赋予了推荐算法强大的非线性表示能力,使得基于深度学习的推荐算法取得了更好的推荐效果。基于表征的推荐算法,以用户与物品的嵌入向量作为媒介来实现推荐。基于深度协同过滤的推荐算法,本质上也是想获得更好的用户与物品表示,可以通过融入辅助信息来进一步提升推荐效果。基于特征http://xblx.whu.edu.cn/zh/article/20898290/
3.交通流诱导与控制协同的双目标优化模型及准最优求解算法【摘要】:提出了一种基于消散拥堵和系统总出行时间最小的双目标诱导控制协同优化模型,算法引入饱和度的概念,采用小步距微量调整信号配时、试算优化的方法,适当加载或卸载交通量,优化交叉口信号配时,使交通流在不断反馈与不断调整过程中达到最优。采用VISSIM建立模拟路网进行了协同算法试验,并对协同实施效果进行了评价https://www.cnki.com.cn/Article/CJFDTotal-JLGY200702013.htm
4.推荐系统算法实战:从协同过滤到深度学习的架构演进推荐系统是一种信息过滤系统,它可以帮助用户发现和推荐他们可能感兴趣的内容,如商品、音乐、视频等。推荐系统可以分为多个类型,其中基于内容的推荐和协同过滤是比较常见的方法。 协同过滤推荐算法 协同过滤是一种常用的推荐系统算法,它基于用户对项目的评价来发现用户之间的相似性,并利用这种相似性来推荐项目。协同过滤又https://www.jianshu.com/p/8d3164c44113
5.第13届全国计算机支持的协同工作与社会计算学术会议近年来,基于矩阵分解方法的协同过滤算法成为当前推荐系统中最流行的推荐算法之一。在真实的推荐系统中,由于训练数据异构、稀疏并且噪声大,矩阵分解方法难以训练出具有较强泛化能力的模型,导致模型在测试数据上的准确性较差。 针对上述问题,本报告重点介绍下述三个工作:1)一种稳定的矩阵分解算法来降低矩阵分解算法的uniformhttps://www.scholat.com/confweb/ChineseCSCW/qingnianluntan.jsp
6.TCCT通讯Newsletter2017No.01求解PFSP的双种群协同学习算法 控制与决策, 2017 Vol. 32 (01): 12-20 Abstract | PDF 李滔 王士同 适合大规模数据集且基于LLM的0阶TSK模糊分类器 控制与决策, 2017 Vol. 32 (01): 21-30 Abstract | PDF 孙晓燕 张鹏飞 陈杨 时良振 混合比较区间多目标进化优化及在矿井RFID布局的应用 控制与决策, https://tcct.amss.ac.cn/newsletter/2017/201701/journal.html
7.推荐系统之协同过滤推荐算法:DeepCollaborativeFiltering:基于想预览更多内容,点击免费在线预览全文 免费在线预览全文 PAGE1 PAGE1 推荐系统之协同过滤推荐算法:DeepCollaborativeFiltering:基于模型的协同过滤:矩阵分解 1推荐系统概述 1.1推荐系统的基本概念 推荐系统是一种信息过滤系统,其主要目标是预测用户对未接触过的项目可能的兴趣,从而向用户推荐他们可能喜欢的项目。这种系统广泛https://max.book118.com/html/2024/0905/7101021005006150.shtm
8.协同过滤推荐算法(一)原理与实现腾讯云开发者社区协同过滤推荐算法是诞生最早,并且较为著名的推荐算法。主要的功能是预测和推荐。算法通过对用户历史行为数据的挖掘发现用户的偏好,基于不同的偏好对用户进行群组划分并推荐品味相似的商品。协同过滤推荐算法分为两类,分别是基于用户的协同过滤算法(user-based collaboratIve filtering),和基于物品的协同过滤算法(item-basedhttps://cloud.tencent.com/developer/article/2098165
9.十个优秀开源推荐系统/算法/资源基于内容的推荐或者协同过滤算法各有优缺点。为了更准确地推荐产品,还可以使用混合推荐算法,即同时使用基于内容和协同过滤推荐产品。混合推荐算法具有更高的效率和更好的实用性。 三、10个最佳开源推荐系统相关资源 为了进一步理解推荐系统,以下收集了一些用于学习或者开发的最佳开源项目,包括:学习资源、开发包、完整的推荐https://www.easemob.com/news/10998
10.202210313)在线实验 在完成离线实验和用户调查之后,可以将系统上线做AB测试,将它和旧算法进行比较。 在线实验最常用的评测算法是【A/B测试】,它通过一定的规则将用户随机分成几组,对不同组的用户采用不同的算法,然后通过统计不同组的评测指标,比较不同算法的好坏。 https://blog.csdn.net/nalidour/article/details/127624390
11.如何从0到1构建个性化推荐?文化&方法DataFunTalk另外针对业务特殊性,我们改进了职位相似度的计算,加入了职位相似度控制,避免求职目标发散的用户影响职位关系的组织。算法上线后,在点击率、投递率方面都取得了正向收益,其中详情页的相关职位推荐提升超过 25%。 3.3 Embedding 深度召回探索 协同过滤虽然取得了不错的业务收益,但其依赖于用户与物品的行为矩阵,对于行为https://www.infoq.cn/article/achZrHOlReKP441kXJOQ
12.协同研发Heywhale和鲸(官网)和鲸协同研发服务,旨在以平台化的方式,高效解决企业与机构在发展数据智能竞争力、进行数据化转型时,所面临的人才稀缺、任务繁重、课题挑战大、尝试成本高等问题。平台聚合优秀数据人才的力量,通过相互交流、内外协作,进行高水平的研发探索,为企业与机构一系列重要、创新的数据科学难题找到优质解决方案。和鲸定制化的咨询服https://kesci.com/about/collaboration
13.融合用户属性信息的冷启动推荐算法AET最常见的协同过滤算法是KNN[13]。协同过滤最大的困难在于需要大量的用户历史数据,对于新用户而言,缺乏历史数据使得系统难以计算他和其余用户的相似性,难以定位用户的兴趣与需求,从而降低了为新用户推荐的准确性——这个问题被称作冷启动(cold start)问题。http://www.chinaaet.com/article/3000073409