深度解读展会场景智能推荐搭建之路会展云技术解读京东科技开发者

我们常见的有新闻推荐和电商场景的商品推荐,展会场景推荐系统与之不同的是,它需要满足参展商、采购商和个人用户各方需求,尤其是像前不久举办的永不落幕的云上服贸会,首次采用线上+线下结合的模式,将服贸会影响辐射周期从集中的一周拉长至一整年,参展商、采购商以及正在寻找商机有需求的个人用户都可以随时随地浏览云上服贸会寻找有价值的商机。

服贸会注册展商近万家,涉及展品数量庞大,涉及200多个子行业。如何让线上用户从大量的展商信息中快速找到自己想要的商机?如何保持有效商机的持续获取?这些问题是提升观展体验和逛展效率的关键行动。在这个过程中,京东智联云机器学习团队承担了云上服贸会智能推荐功能的开发。

从上图可以看到,整个服贸会智能推荐系统包括四个模块的功能,同时服务官网2D店铺和手机APP端,可以做到用户级别的个性化推荐。针对服贸会的展商、展台、展品、项目四项重要信息,智能推荐系统有对应的展商推荐、展台推荐、展品推荐和项目发布推荐四个模块。

其中,展商、展台和展品推荐三个模块的功能引入了采购商和个人的用户画像、兴趣标签和行为等维度数据进行精准匹配。比较难实现的是项目发布的推荐,因为除了要考虑用户画像和兴趣标签等维度数据外,考虑到项目的及时性和强目的性,还需要高权重的引入内容维度的数据做推荐。

本次智能推荐功能落地过程中除了对于如何更精准的实现项目发布的推荐外,还有3大难题:

同时,我们也在不断思考:对于“永不落寞的服贸会”如何持续做好后续的推荐?不同于互联网产品新闻推荐和电商场景的商品推荐,展会场景的推荐如何做出满足各方(参展商、采购商和个人用户)需求的推荐之路?

而冷启动推荐的另一个较高的门槛是:对用户场景和行为动机的深层理解,足够的知识库沉淀。

但云上服贸会的智能推荐场景,以上两条路似乎都不怎么好走。由于是首次参与展会类场景的推荐,即使看似推荐的产品和京东的商品相似,有展台和展品的划分,但是用户的群体画像和逛展意图有天壤之别。好在京东智联云长期以来一直赋能于ToB的业务,沉淀了对B端企业采购场景的认知。

尤其在2020年年初的疫情期间,为了给企业和政府提供高效的防疫装备采买,京东智联云推出了“应急资源信息发布平台”。提供采购和发布供需信息的通道的同时,还为平台用户提供了基于供需诉求、地理位置、产品匹配度与数量、生产力和运输效率等多维度的精准推荐。这些沉淀的供需场景知识刚好可以应用于本次云上服贸会的推荐。另一方面,我们对于用户画像和分发内容画像的理解和补全也做了很多功课,最终确保本次云上服贸会智能推荐的功能到成功亮相。

面对高并发下的高性能要求,我们设计了基于Caffeine和Redis的多重缓存架构,接下来将从两个方面来介绍:

1,技术选型

为什么使用Caffeine+Redis?Redis不用多说,大家都太熟悉了。这里重点介绍下Caffeine,Caffeine是一个基于Java8开发的提供了近乎最佳命中率的高性能缓存库。

这里有人又会产生疑问,为什么不用GuavaCache呢?这种大家更熟悉基于LRU(TheLeastRecentlyUsed)算法实现的本地化缓存难道不好吗?

虽然GuavaCache在过去应用更广泛,性能也还不错,但在日新月异的今天,总是会有更优秀、性能更好的缓存框架出现——就像Caffeine。另外再补充下,从Spring5(SpringBoot2)开始也使用Caffeine来取代GuavaCache。

为什么Caffeine的性能更好?

首先从淘汰算法说起,GuavaCache使用的是LRU。LRU实现比较简单,日常使用时也有着不错的命中率,它可以有效的保护热点数据,但对于偶发或周期性的访问,会导致偶发数据被保留,而真正的热点数据被淘汰,大大降低缓存命中率。为此Caffeine使用了WindowTinyLFU算法。

而对于长期保存的数据,W-TinyLFU使用了SegmentedLRU(缩写SLRU)策略。在初始阶段,一个数据项会被存储在probationarysegment中,在后续被访问时,它会被移到protectedsegment中。当protectedsegment内存不够时,有的数据会被淘汰回probationarysegment,这也可能再次触发probationarysegment的淘汰。这套机制确保了访问间隔小的热点数据被保存,而重复访问少的冷数据则被回收。

除此以外,在caffeine中读写都是通过异步操作,将事件提交至队列实现的,而队列的数据结构使用的是RingBuffer(高性能无锁队列Disruptor用的就是RingBuffer),所有的写操作共享同一个RingBuffer;而读取时,这块的设计思想是类似于Striped64,每一个读线程对应一个RingBuffer,从而避免竞争。

下面是官方性能测试对比:

1、读(100%)

2、读(75%)/写(25%)

3、写(100%)

2,多级缓存设计

Redis作为常用的缓存,虽然性能非常优秀,但随着数据量的增长,数据结构的复杂,在叠加高并发场景时,不管是网络IO的消耗,还是Redis单节点的瓶颈,都会对整个调用链的性能造成不可忽视的影响。所以我们既需要Caffeine作为JVM级别的缓存,也需要Redis作为我们的二级缓存,这种多级的缓存设计才能最终满足我们的需要。

在数据一致性的设计上,这块主要依赖于Redis的发布订阅模式,也就是将所有的更新、删除都通过该模式通知其他节点去清理本地缓存,当然因为CAP的关系,这种设计是无法保证数据的强一致性的,所以我们也只能尽可能的去保证数据的最终一致性。

在会展云中,我们采用了用户画像、信息画像、关键词匹配等技术实现个性化推荐。其中,用户画像是通过用户的注册信息、兴趣标签、浏览偏好等数据进行构建。信息画像包括了展商画像、展台画像、展品画像和项目画像四部分,前三部分各自构建又互相利用了对方的信息,如展商的收藏、浏览等数据会添加该企业对应展台和展品的数据,展品的行业信息需要从展商画像中获取,三部分数据融合建模,从而构建了更加丰富的画像。

关键词匹配技术主要应用于行业名称和交易类型关键词的匹配,通过该技术可以将不标准的信息规范化。该系统还针对冷启动场景进行了优化,当用户和信息数据不足时,系统可以根据仅有的用户注册信息和参展商的行业信息进行匹配,并考虑信息的热度进行排序。

本次服贸会实现了对数十万用户提供个性化推荐服务,针对新注册的用户和新发布的信息也可以通过冷启动方案快速实现智能推荐。推荐系统采用了通用的召回和排序架构,召回部分将采用协同过滤、矩阵分解等模型,可以快速从海量数据中粗筛出候选集;排序部分采用更复杂且准确率较高的深度学习模型,如业界常用的Wide&Deep、DeepFM等先进模型,实现对候选集每个信息的精准排序,为服贸会的用户和参展商提供准确和稳定的服务。

在模型选择上,我们使用DIN(DeepInterestNetwork)模型。在正式介绍模型之前,先来介绍一下Attention机制。

Attention机制是模仿人类注意力而提出的一种解决问题的办法,简单地说就是从大量信息中快速筛选出高价值信息,即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。

▲图1注意力机制直观展示图▲

Attention机制的具体计算过程见图2。对目前大多数Attention方法进行抽象,可以将其归纳为两个过程、三个阶段:

第一个过程是根据query和key计算权重系数:

(2)第二个阶段对第一阶段的原始分值进行归一化处理。

第二个过程根据权重系数对value进行加权求和:

▲图2三阶段计算Attention过程▲

DIN模型大致分为以下五个部分:

DIN认为用户的兴趣不是一个点,而是一个多峰的函数。一个峰就表示一个兴趣,峰值的大小表示兴趣强度。那么针对不同的候选参展商品,用户的兴趣强度是不同的,也就是说随着候选商品的变化,用户的兴趣强度不断在变化。

总的来说,DIN通过引入attention机制,针对不同的商品构造不同的用户抽象表示,从而实现了在数据维度一定的情况下,更精准地捕捉用户当前的兴趣。

以上,是我们为本次服贸会智能推荐板块提供的技术支持和思考,本次服贸会作为首届“永不落幕”服贸会,同样,我们在技术之路的深耕和追逐的脚步一刻也不敢懈怠,不断思考持续探索,不忘初心未来可期。

THE END
1.云展厅怎么做?云展厅怎么做? 云展厅是基于云计算和网络技术的创新展览形式,通过虚拟空间和在线平台实现展览的数字化和互动化。本文将介绍云展厅的制作流程和关键要素,包括展览规划、设计与建模、平台选择和互动功能等,帮助企业了解如何制作一个成功的云展厅。 1、展览规划:云展厅制作的第一步是进行展览规划。确定展览的主题、目标和https://www.263.net/blog/4667.html
2.大鱼云展线上虚拟展览平台大鱼云展专注于提供线上虚拟展览创展服务,依托于及目科技深度自研的Web3D技术和美术设计能力,以多样化的三维艺术空间为载体,包含丰富的3D交互功能体验,突破时间、空间、线下场馆风格等限制,提供一种全新的数字化线上展览解决方案。帮助艺术机构,艺术馆,美术馆,艺术家,少儿画https://gfishow.com/news
3.什么是云展厅怎么做?线上虚拟展厅解决方案!数字化时代来了,云展厅这种新的展示方式,正在慢慢改变我们看展览的老样子。云展厅,就是在网上的虚拟展厅,用到了很先进的网络技术和很多多媒体手段,让人们看展览不用受时间地点的限制。那么云展厅是什么意思?有什么特点,要怎么做,有没有合适的方案?今天且听小编娓娓道来。 https://www.3dcat.live/share/post-id-524/
4.如何做好青少年美育工作?听听文化馆馆长们怎么说!宁夏回族自治区文化馆充分发挥省级文化馆的示范引领作用,依托各级文化馆的公共文化服务阵地,立足资源优势与人才优势,聚焦青少年美育,坚持以群众文化活动为抓手,协同美育教育进校园、志愿文化服务等机制,通过创作辅导、举办艺术展览、开展青少年文化活动等丰富多彩的教学、示范活动,不断推动宁夏青少年美育工作良性发展。https://www.nbwhg.com/news/s/12969
5.会展云怎么收费?会展云价格是多少?会展云使用问题是的,“会展云”可以为您提供详细的活动统计数据,包括参展人数、展会流量等信息,帮助您做出更科学的https://www.36dianping.com/qa/26934.html
6.梁世雄:我中学时代的梦想是当小学美术老师,结果……中国美术馆馆长吴为山为梁世雄先生题写展览名称"心随江山"。 4月12日,“心随江山——梁世雄中国画艺术展”将在中国美术馆开幕,届时将展出梁世雄先生的各个时期的代表作,中国美术馆将收藏20件梁先生的作品。 几十年来,他笔耕不辍,四处采风,曾四上黄山,两度游三峡,上过青藏高原,闯入大漠胡杨林,创作了大批优秀的山https://life.eastday.com/eastday/dfsh/node632263/u1ai12400395.html
7.www.lapierrebikes.com.cn/xxxr21679685/20241004/20977535要想提高自己成功的机会,就必须做一些与众不同的事情。对于愿意打破传统的人来说,外部观点可能会带来更多的胜利。这对于愿意进行反直觉思考的人是个机会。 精明的商业家都知道,一个人的错误就是另一个人的机会。随着时间的推移,最理智的思想家将最终获胜。 http://www.lapierrebikes.com.cn/xxxr21679685/20241004/20977535
8.如何基于开源系统构建图片/图库管理系统晓安科技云展览、AR在线展览,融入VR、3D、音视频解说,可以让观众身临其境的体验云端展览。 应用场景:作品展、历史展、成果展等。 在线电子书 通过对图片加工,自定加工、读者自行加工,生成电子书,通过触控机阅读,或者通过网站阅读。 应用场景:触控电子书、在线图库。 http://www.xiao-an.com/blog/image-management
9.云看展云逛馆流行后在线展览展示业如何再升级“转中做大”的“云博物馆” 4月13日,《上海市促进在线新经济发展行动方案(2020-2022年)》(简称《行动方案》)正式发布,创新发展在线展览展示被列入要聚焦的12大发展重点之一。 《行动方案》提出:“推动大型展览展示企业和知名云服务企业共建云展服务实体,打造云会议、云展览、云走秀、云体验等系列活动。结合5G互动https://finance.eastmoney.com/a/202004221463903789.html
10.走进云上展览,了解全方位展示与互动!当双方达成初步共识,系统还能拿够提供线上洽谈室,展商与买家可以直接在线发起直播会议或即时沟通等,避免时间和地点冲突,高效开展洽谈活动,完美解决线上洽谈的各类问题,只有你想不到,没有它做不到! 新年新气象,云上展览助你开启新篇章! 如何做好虚拟会展?https://blog.marketup.cn/marketupblog/tools/meet/3248.html
11.外贸企业借力“云展会”做大内贸市场4月份出口企业内销额增长17%商务部新闻发言人高峰称,参加展会是外贸企业争取新订单的重要方式。商务部鼓励举办线上展会,鼓励政府主办的线下展会率先在线上开展,探索线上线下同步互动、有机融合的办展新模式。通过举办“云展览”,有利于助力企业抓订单、保客户、拓市场。 盘古智库高级研究员吴琦在接受《证券日报》记者采访时表示,打造线上“云展会https://t.m.youth.cn/transfer/index/url/news.youth.cn/sh/202005/t20200519_12334076.htm
12.大班语言活动教案:老鼠嫁女儿(精选21篇)4、和家长一起搜集关于太阳、鸟云、大风、围墙、老鼠、猫各有什么厉害的本领,以及其他小动物本领的资料。 活动过程 1、导入环节,以谈话形式引出故事: 请幼儿观察班级环境,有什么变化? 幼儿A:门上贴有喜字。 幼儿B:屋顶有我们做的彩色吊环。 师:今天班里装扮得这么漂亮,你们猜猜有什么事情发生? https://mip.jy135.com/ziyuan/jiaoan/436693.html
13.“云”展览“云”招商“云”合作甘肃新媒体集团助力打造“线上线上展览平台 如“兰”之约,“洽”在兰州。一年一度的兰洽会,是兰州经济领域的大事,更是甘肃省的经贸盛事。当兰洽会遇上新技术,必将在“云”端掀起热潮,成为本届兰洽会与众不同的标志。 经与省经合局接洽,甘肃新媒体集团全力配合主办方做好兰洽会线上招商引资、筹办及宣传推广工作。 https://m.thepaper.cn/newsDetail_forward_8034281
14.图书馆志愿活动方案(通用12篇)三、说民俗,闹元宵——元宵节传统民俗云展览 年到元宵才算完,元宵节作为春节的最后一个节点,历来是人们放开束缚、欢庆喧闹的日子。那么,你知道在不同的地方都有着哪些独具特色的节庆民俗吗?石家庄图书馆云展厅将通过全景模式为大家展示敛巧饭、盘子会、九曲黄河阵等丰富多彩的元宵节民俗活动。这个春天,让我们“云”https://www.ruiwen.com/fangan/5563801.html
15.第三届中国国际进口博览会明年,武汉社区药店也能做体检 2020-11-09 20:30:43进博会汉企打货清单来了,武汉人请收下这波福利 2020-11-09 21:21:45走进进博会丨快餐行业龙头将市场重心搬到湖北 2020-11-09 12:24:13走进进博会丨记者与乒乓球机器人一决高下 2020-11-08 14:06:41通城三赴“东方之约” 2020-11-08 07:31:01https://www.cnhubei.com/z/13426307/
16.庆祝2021年中国人民警察节美术书法摄影集邮主题展览获奖作品名单各地高度重视、认真组织,共收到各类报送作品2600余件。经专家评审,共评选出获奖作品355件,优秀组织奖12个。经遴选,240件作品于1月4日起在公安部机关进行了实物展览,《中国警察》《人民公安》等杂志进行了集中刊发,公安部网站、中国警察网进行了“云展览”。https://www.meipian.cn/3eq1vw2j