基于人工智能算法的推荐系统原理及优势人工智能

虽然有许多推荐算法和技术,但大多数都属于以下广泛类别:协作过滤、内容过滤和上下文过滤。

混合推荐系统结合了上述类型系统的优势,以便创建更全面的推荐系统。

2

用例和应用

电子商务与零售:个性化营销

媒体与娱乐:个性化内容

个性化银行

作为一款由数百万人数字化消费的大众市场产品,银行是推荐产品的主要选择。了解客户的详细金融情况及其过去偏好,加上数千名类似用户的数据,这一点非常强大。

3

推荐系统的优势

推荐系统是推动个性化用户体验、与客户更深入互动以及零售、娱乐、医疗健康、金融等行业中功能强大的决策支持工具的关键组件。在某些大型商业平台上,推荐系统所产生的收入占比高达30%。推荐质量每提高1%可以转化为数十亿美元的收入。

4

推荐模型如何进行推荐将取决于您拥有的数据类型。如果您只拥有过去发生的交互数据,您可能有兴趣使用协作过滤。如果您有描述用户及其与之交互过的物品的数据(例如,用户的年龄、餐厅的菜系、电影的平均评价),您可以通过添加内容和上下文过滤,对当前给定这些属性下新交互的可能性进行建模。

推荐矩阵分解

使用交替最小二乘法(ALS)算法的矩阵分解将稀疏用户物品评价矩阵u-by-i近似为用户和物品因素矩阵的两个密集矩阵的乘积,其大小分别为u×f和f×i(其中u表示用户数,i表示物品数,f表示潜在特征数)。因素矩阵表示算法尝试发现的潜在特征或隐藏特征。一个矩阵试图描述每个用户的潜在特征或隐藏特征,另一个矩阵则试图描述每部电影的潜在特性。对于每个用户和每个物品,ALS算法会迭代学习(f)数字,“factors”表示用户或物品。在每一次迭代中,算法可以交替地修复一个因子矩阵并针对另一个矩阵进行优化,并且此过程会一直持续到其收敛。

5

人工神经网络(ANN)存在不同变体,如下所示:

DL技术还利用庞大且快速发展的新颖网络架构和优化算法,对大量数据进行训练,利用深度学习的强大功能进行特征提取,并构建更具表现力的模型。

神经协作过滤

神经协作过滤(NCF)模型是一个神经网络,可基于用户和物品交互提供协作过滤。该模型从非线性角度处理矩阵分解。NCFTensorFlow以一系列(用户ID、物品ID)对作为输入,然后分别将其输入到矩阵分解步骤(其中嵌入成倍增加)并输入到多层感知器(MLP)网络中。

然后,将矩阵分解和MLP网络的输出将组合到一个密集层中,以预测输入用户是否可能与输入物品交互。

用于协作过滤的变分自动编码器

自动编码器神经网络使用隐藏层中获取的表征,来重建输出层的输入层。用于协作过滤的自动编码器可以学习用户物品矩阵的非线性表征,并可通过确定缺失值重建该矩阵。

用于协作过滤(VAE-CF)的NVIDIAGPU加速变分自动编码器是一种优化的架构实现,首先在用于协作过滤的变分自动编码器中介绍。VAE-CF是一个神经网络,可基于用户和物品交互提供协作过滤。此模型的训练数据由用户和物品之间的每次交互的用户项ID对组成。

上下文序列学习

在NLP应用中,会使用词嵌入等技术将输入文本转换为词向量。借助词嵌入,可将句子中的每个词翻译成一组数字,然后再输入到RNN变体、Transformer或BERT中,以理解上下文。神经网络在训练自身时,这些数字会随时发生变化,编码每个单词的语义和上下文信息等独特属性,这意味着,相似词在此数字空间中彼此接近,不同词则相距遥远。这些DL模型为特定语言任务(例如下一词语预测和文本摘要)提供适当的输出,这些任务用于生成输出序列。

Wide&Deep

Wide&Deep是指使用并行处理两个部分(Wide模型和Deep模型)的输出,并对其输出进行求和以创建交互概率的网络类别。Wide模型是特征及其转换的一个广义线性模型。Deep模型是一个密集神经网络(DNN),由5个隐藏MLP层(包含1024个神经元)组成,每个层都从密集特征嵌入开始。分类变量会嵌入到连续向量空间中,然后通过学习的嵌入或用户确定的嵌入输入到DNN中。

综合来说,这两种表征信道通常比单种表征信道提供更多的建模能力。NVIDIA与许多使用离线和在线指标报告改进的行业合作伙伴合作,他们使用Wide&Deep替代传统机器学习模型。

DLRM

DLRM是一种基于DL的模型,适用于推荐,由Facebook研究院提出。它旨在同时使用推荐系统训练数据中通常呈现的分类输入和数值输入。要处理分类数据,嵌入层将每个类别映射到密集表征,然后再将其输入到多层感知器(MLP)。数值特征可直接输入到MLP。

在下一级别中,通过在所有嵌入向量对和已处理的密集特征之间取点积,显式计算不同特征的二次交互。并将这些成对交互输入到顶层MLP中,以计算用户和物品对之间的交互概率。

DLRM是NVIDIAMerlin的一部分,后者是一个基于DL所构建的高性能推荐系统框架,我们下面将介绍这一框架。

6

为何推荐系统在GPU上表现更出色?

许多机器学习算法的基础数学运算通常是矩阵乘法。这些类型的运算具有高度并行性,并且可以使用GPU大幅加速。

7

NVIDIAMerlin推荐系统应用程序框架

大型推荐系统解决方案的性能存在多种挑战,包括大型数据集、复杂的数据预处理和特征工程流程,以及大量重复实验。为满足大规模DL推荐系统训练和推理的计算需求,推荐您使用GPU解决方案,可为您提供快速的特征工程和高训练吞吐量(以实现快速实验和生产再训练)。它们还可为您提供低延迟、高吞吐量的推理。

NVIDIAMerlin是一个开源应用程序框架和生态系统,旨在促进从实验到生产的推荐系统开发的所有阶段,并由NVIDIAGPU加速。

该框架可为推荐数据集中常见的运算符提供快速的特征工程和预处理,以及为其提供多个基于深度学习的典型推荐模型的高训练吞吐量。其中包括Wide&Deep、DeepCrossNetworks、DeepFM和DLRM,这些模型可实现快速实验和生产再训练。对于生产部署,Merlin还提供低延迟、高吞吐量和生产推理。这些组件相结合,为在GPU上的训练和部署深度学习推荐系统模型提供端到端框架,该框架既易于使用,又具有高性能。

NVIDIATriton推理服务器和NVIDIATensorRT加速GPU上的生产推理,以便实现特征转换和神经网络执行。

8

NVIDIAGPU加速的端到端数据科学和DL

NVIDIAMerlin基于NVIDIARAPIDS构建。通过基于CUDA构建的RAPIDS开源软件库套件,您能够完全在GPU上执行端到端数据科学和分析流程,同时仍然使用Pandas和Scikit-LearnAPI等熟悉的界面。

THE END
1.算法网站:6个非常适合学习编程/算法的网站,选一个你喜欢的吧本文推荐了6个适合学习和练习编程算法的网站,包括HackerRank、TopCoder、Geekforgeeks、LeetCode、Daily Coding Problem和Exercism.io,涵盖了从基础到高级的算法题,适合不同水平的开发者提升技能,部分网站还提供在线编程环境和代码性能评估。 摘要由CSDN通过智能技术生成 https://blog.csdn.net/qq_42366672/article/details/123920105
2.资源帖丨字节跳动技术Leader们推荐的学习资源“春季招聘和金三银四要开始了,我想提升技术,更上一层楼,除了投简历刷题,还有什么可以努力的方向啊?”如果你是技术领域的新人,或者已经毕业多年、正在考虑转向新的技术方向,上面这个问题可能正在困扰着你。为了回答这个问题,技术范儿找到了多媒体、推荐算法、计算机https://maimai.cn/article/detail?fid=1589935106&efid=ROE93ZNmM8sYE6S4rjpy5w
3.打造工业级推荐系统(一):推荐算法工程师的成长之道jackjt本文是作者计划的一系列文章中的一篇。后面的文章将涉及到推荐系统的基本介绍、冷启动、商业价值、工程实现、评估等方方面面。这系列文章是作者多年推荐系统学习、实践经验的总结,希望能够帮助到即将入行推荐系统开发的读者或者推荐系统开发人员,让大家少走弯路。 https://www.cnblogs.com/jack-jt-z/p/10773106.html
4.什么是智能推荐?智能推荐的原理是什么?随着技术的发展,深度学习应用的场景越来越广泛,业界也出现很多将深度学习应用于推荐系统的尝试。基于用户行为的深度学习模型最先应用于中小规模计算广告系统中,大规模的计算广告系统因巨大的吞吐量和低延迟的需要,基于成本考虑,多采用简单的回归算法来实现。 https://www.niaogebiji.com/article-106383-1.html
5.综述170篇“自监督学习”推荐算法,港大发布SSL4Rec:代码资料库全面对比学习作为一种突出的自监督学习方法,其主要目标是最大化从数据中增强的不同视图之间的一致性。在推荐系统的对比学习中,目标是最小化以下损失函数: E?°ω?表示对比视图创建操作,不同的基于对比学习的推荐算法有不用的创建过程。每个视图的构造由数据增强过程ω?(可能涉及在增强图中的节点/边)以及嵌入https://www.thepaper.cn/newsDetail_forward_27310146
6.推荐系统推荐系统中的排序学习51CTO博客【推荐系统】推荐系统中的排序学习 “本文首先介绍排序学习的三种主要类别,然后详细介绍推荐领域最常用的两种高层排序学习算法框架:BPR和LambdaMART。因为排序学习的算法和实践大都来源于信息检索,一些理论也必须从信息检索的领域说起,所以本文也会涉及一些的信息检索、搜索方面的理论知识,但重点依然会放在推荐领域排序学习https://blog.51cto.com/u_15671528/5604965
7.机器学习算法在推荐系统中的应用:从数据预处理到模型部署实战指南在当今信息爆炸的时代,推荐系统扮演了越来越重要的角色,它可以帮助用户发现和获取个性化的信息、产品或服务。而推荐系统中的机器学习算法则是其核心引擎,能够通过对用户和物品的行为数据进行分析和学习,从而实现精准的个性化推荐。本文将介绍机器学习算法在推荐系统中的应用,从数据预处理到模型部署的实战指南,帮助读者了解https://www.jianshu.com/p/322e9cf4751d
8.新闻学概论(0818)的大纲算法推荐指依托互联网技术与大数据技术,对用户的阅读偏好进行跟踪,经过计算分析后得出用户画像,并据此进行新闻生产与分发。算法推荐造就了算法新闻的流量王国。时至今日,算法已经成为国内资讯类APP 的“标配”,今日头条、一点资讯、天天快报等,无不以算法作为其核心配置。 https://canvas.shufe.edu.cn/courses/14345/assignments/syllabus
9.百度算法岗武功秘籍(中)4 数据结构与算法分析相关知识点 5 编程高频问题:Python&C/C++方面 6 操作系统高频问题:数据库&线程等 7 技术&产品&开放性问题 3 百度面经涉及项目知识点 3.1 深度学习-CNN卷积神经网络方面 3.1.1 目标检测方面 3.1.1.1 讲解原理 ● 说一下Faster R-CNN,要详细画出图,说一下ROI polling与RPN? https://www.flyai.com/article/948
10.基于深度学习的推荐算法——推荐系统模型搭建基础及DeepCrossing基于深度学习的推荐算法——推荐系统模型搭建基础及DeepCrossing原理 本章节从推荐系统模型搭建基础和DeepCr ssing原理讲解及实操两展开。 ?、推荐系统模型搭建基础 1. Keras搭建模型 keras搭建模型主要有两种模式,?种是Sequential API,另外?种是Functi nal API。前者主要是通过层的有序堆叠形成?个模型https://max.book118.com/html/2022/0413/6010025010004134.shtm
11.联邦推荐系统——个性化推荐与隐私安全的兼顾者3、迁移联邦推荐算法 迁移联邦推荐主要解决参与方在相同用户和商品都不多的情况,如何协作分享经验构建推荐系统的问题。 迁移联邦系统的代表应用场景: 如上图,A 地区的书籍推荐系统希望帮助 B 地区的影视推荐系统优化影视推荐效果。在这种情况下,两个参与方所提供的服务有所不同。但是,在迁移联邦推荐系统之下,可以将相https://xie.infoq.cn/article/6bebbf1a280406b9f143a703e
12.零基础入门推荐系统新闻推荐学习赛天池大赛通过对本方案的完整学习,可以帮助掌握推荐系统相关竞赛的基本技能。同时平台也将提供专属的视频直播学习通道,敬请关注平台通告。 新人赛的目的主要是为了更好地带动处于初学者阶段的新同学们一起玩起来,因此,我们鼓励所有选手,基于赛题发表notebook分享,内容包含但不限于对赛题的理解、数据分析及可视化、算法模型的分析https://tianchi.aliyun.com/competition/entrance/531842/introduction
13.推荐几个算法可视化网站,从此轻松学算法!大家好,我是大彬~ 很多初学者在学习数据结构与算法的时候,都会觉得很难,很大一部分是因为数据结构与算法本身比较抽象,不好理解。对于这一点,可以通过一些可视化动画来帮助理解。 下面大彬推荐几个学习数据结构和算法的可视化工具。 Data Structure Visualizations 这是https://m.nowcoder.com/feed/main/detail/6ecdab56f00b44bfacf3cb854929059e