深度解读展会场景智能推荐搭建之路会展云技术解读京东科技开发者

我们常见的有新闻推荐和电商场景的商品推荐,展会场景推荐系统与之不同的是,它需要满足参展商、采购商和个人用户各方需求,尤其是像前不久举办的永不落幕的云上服贸会,首次采用线上+线下结合的模式,将服贸会影响辐射周期从集中的一周拉长至一整年,参展商、采购商以及正在寻找商机有需求的个人用户都可以随时随地浏览云上服贸会寻找有价值的商机。

服贸会注册展商近万家,涉及展品数量庞大,涉及200多个子行业。如何让线上用户从大量的展商信息中快速找到自己想要的商机?如何保持有效商机的持续获取?这些问题是提升观展体验和逛展效率的关键行动。在这个过程中,京东智联云机器学习团队承担了云上服贸会智能推荐功能的开发。

从上图可以看到,整个服贸会智能推荐系统包括四个模块的功能,同时服务官网2D店铺和手机APP端,可以做到用户级别的个性化推荐。针对服贸会的展商、展台、展品、项目四项重要信息,智能推荐系统有对应的展商推荐、展台推荐、展品推荐和项目发布推荐四个模块。

其中,展商、展台和展品推荐三个模块的功能引入了采购商和个人的用户画像、兴趣标签和行为等维度数据进行精准匹配。比较难实现的是项目发布的推荐,因为除了要考虑用户画像和兴趣标签等维度数据外,考虑到项目的及时性和强目的性,还需要高权重的引入内容维度的数据做推荐。

本次智能推荐功能落地过程中除了对于如何更精准的实现项目发布的推荐外,还有3大难题:

同时,我们也在不断思考:对于“永不落寞的服贸会”如何持续做好后续的推荐?不同于互联网产品新闻推荐和电商场景的商品推荐,展会场景的推荐如何做出满足各方(参展商、采购商和个人用户)需求的推荐之路?

而冷启动推荐的另一个较高的门槛是:对用户场景和行为动机的深层理解,足够的知识库沉淀。

但云上服贸会的智能推荐场景,以上两条路似乎都不怎么好走。由于是首次参与展会类场景的推荐,即使看似推荐的产品和京东的商品相似,有展台和展品的划分,但是用户的群体画像和逛展意图有天壤之别。好在京东智联云长期以来一直赋能于ToB的业务,沉淀了对B端企业采购场景的认知。

尤其在2020年年初的疫情期间,为了给企业和政府提供高效的防疫装备采买,京东智联云推出了“应急资源信息发布平台”。提供采购和发布供需信息的通道的同时,还为平台用户提供了基于供需诉求、地理位置、产品匹配度与数量、生产力和运输效率等多维度的精准推荐。这些沉淀的供需场景知识刚好可以应用于本次云上服贸会的推荐。另一方面,我们对于用户画像和分发内容画像的理解和补全也做了很多功课,最终确保本次云上服贸会智能推荐的功能到成功亮相。

面对高并发下的高性能要求,我们设计了基于Caffeine和Redis的多重缓存架构,接下来将从两个方面来介绍:

1,技术选型

为什么使用Caffeine+Redis?Redis不用多说,大家都太熟悉了。这里重点介绍下Caffeine,Caffeine是一个基于Java8开发的提供了近乎最佳命中率的高性能缓存库。

这里有人又会产生疑问,为什么不用GuavaCache呢?这种大家更熟悉基于LRU(TheLeastRecentlyUsed)算法实现的本地化缓存难道不好吗?

虽然GuavaCache在过去应用更广泛,性能也还不错,但在日新月异的今天,总是会有更优秀、性能更好的缓存框架出现——就像Caffeine。另外再补充下,从Spring5(SpringBoot2)开始也使用Caffeine来取代GuavaCache。

为什么Caffeine的性能更好?

首先从淘汰算法说起,GuavaCache使用的是LRU。LRU实现比较简单,日常使用时也有着不错的命中率,它可以有效的保护热点数据,但对于偶发或周期性的访问,会导致偶发数据被保留,而真正的热点数据被淘汰,大大降低缓存命中率。为此Caffeine使用了WindowTinyLFU算法。

而对于长期保存的数据,W-TinyLFU使用了SegmentedLRU(缩写SLRU)策略。在初始阶段,一个数据项会被存储在probationarysegment中,在后续被访问时,它会被移到protectedsegment中。当protectedsegment内存不够时,有的数据会被淘汰回probationarysegment,这也可能再次触发probationarysegment的淘汰。这套机制确保了访问间隔小的热点数据被保存,而重复访问少的冷数据则被回收。

除此以外,在caffeine中读写都是通过异步操作,将事件提交至队列实现的,而队列的数据结构使用的是RingBuffer(高性能无锁队列Disruptor用的就是RingBuffer),所有的写操作共享同一个RingBuffer;而读取时,这块的设计思想是类似于Striped64,每一个读线程对应一个RingBuffer,从而避免竞争。

下面是官方性能测试对比:

1、读(100%)

2、读(75%)/写(25%)

3、写(100%)

2,多级缓存设计

Redis作为常用的缓存,虽然性能非常优秀,但随着数据量的增长,数据结构的复杂,在叠加高并发场景时,不管是网络IO的消耗,还是Redis单节点的瓶颈,都会对整个调用链的性能造成不可忽视的影响。所以我们既需要Caffeine作为JVM级别的缓存,也需要Redis作为我们的二级缓存,这种多级的缓存设计才能最终满足我们的需要。

在数据一致性的设计上,这块主要依赖于Redis的发布订阅模式,也就是将所有的更新、删除都通过该模式通知其他节点去清理本地缓存,当然因为CAP的关系,这种设计是无法保证数据的强一致性的,所以我们也只能尽可能的去保证数据的最终一致性。

在会展云中,我们采用了用户画像、信息画像、关键词匹配等技术实现个性化推荐。其中,用户画像是通过用户的注册信息、兴趣标签、浏览偏好等数据进行构建。信息画像包括了展商画像、展台画像、展品画像和项目画像四部分,前三部分各自构建又互相利用了对方的信息,如展商的收藏、浏览等数据会添加该企业对应展台和展品的数据,展品的行业信息需要从展商画像中获取,三部分数据融合建模,从而构建了更加丰富的画像。

关键词匹配技术主要应用于行业名称和交易类型关键词的匹配,通过该技术可以将不标准的信息规范化。该系统还针对冷启动场景进行了优化,当用户和信息数据不足时,系统可以根据仅有的用户注册信息和参展商的行业信息进行匹配,并考虑信息的热度进行排序。

本次服贸会实现了对数十万用户提供个性化推荐服务,针对新注册的用户和新发布的信息也可以通过冷启动方案快速实现智能推荐。推荐系统采用了通用的召回和排序架构,召回部分将采用协同过滤、矩阵分解等模型,可以快速从海量数据中粗筛出候选集;排序部分采用更复杂且准确率较高的深度学习模型,如业界常用的Wide&Deep、DeepFM等先进模型,实现对候选集每个信息的精准排序,为服贸会的用户和参展商提供准确和稳定的服务。

在模型选择上,我们使用DIN(DeepInterestNetwork)模型。在正式介绍模型之前,先来介绍一下Attention机制。

Attention机制是模仿人类注意力而提出的一种解决问题的办法,简单地说就是从大量信息中快速筛选出高价值信息,即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。

▲图1注意力机制直观展示图▲

Attention机制的具体计算过程见图2。对目前大多数Attention方法进行抽象,可以将其归纳为两个过程、三个阶段:

第一个过程是根据query和key计算权重系数:

(2)第二个阶段对第一阶段的原始分值进行归一化处理。

第二个过程根据权重系数对value进行加权求和:

▲图2三阶段计算Attention过程▲

DIN模型大致分为以下五个部分:

DIN认为用户的兴趣不是一个点,而是一个多峰的函数。一个峰就表示一个兴趣,峰值的大小表示兴趣强度。那么针对不同的候选参展商品,用户的兴趣强度是不同的,也就是说随着候选商品的变化,用户的兴趣强度不断在变化。

总的来说,DIN通过引入attention机制,针对不同的商品构造不同的用户抽象表示,从而实现了在数据维度一定的情况下,更精准地捕捉用户当前的兴趣。

以上,是我们为本次服贸会智能推荐板块提供的技术支持和思考,本次服贸会作为首届“永不落幕”服贸会,同样,我们在技术之路的深耕和追逐的脚步一刻也不敢懈怠,不断思考持续探索,不忘初心未来可期。

THE END
1.线上博物馆app下载线上看博物馆展览的软件推荐云看博物馆作为典藏人文自然遗产等的文化教育机构,主要是陈列各种历史过往,让人们能够了解到曾经的世界。如今随着网络科技的发展,博物馆也与时俱进的开启了全新线上展览模式,用户手机上就能浏览到世界上各个展馆。那博物馆app有哪些?这里小编就给大家整理了下博物馆展览软件大全,其中包括了国家博物馆app、首都博物馆app、英https://www.ddooo.com/zt/dndmsjyx.htm
2.线上展览今日推荐连环画《胜利势不可挡》志愿军故事【线上展览】今日推荐连环画《胜利势不可挡》 红色故事绘 《胜利势不可挡》 新中国75年之保家卫国专题 红色故事绘 1951年11月,在朝鲜战场上,志愿军第63军第189师第566团奉命在开城以东地区组织阵地防御,并积极将阵地向前推进。敌人为阻止志愿军,在阵地前沿布设了大量地雷。但我志愿军战士以勇敢和智慧创造出了https://mil.sohu.com/a/779285052_121124749
3.无忌视界国内国际优秀摄影师/摄影作品推荐新锐视觉无忌视界是国际国内优秀摄影师/摄影艺术家作品的线上展览平台,通过优质的视觉传播推荐国内外优秀摄影师/摄影作品展示,开阔广大摄影爱好者的眼界。https://vision.xitek.com/sight/
4.2021数博会线上展将于5月20日正式开展2021数博会线上展平台将通过视频、图片、文档等信息生动形象地展示数百家参展企业的品牌特色和明星展品,汇聚世界各地的与会嘉宾和专业人士在线约见。观众在观展时系统可根据其喜好推送展商或展品信息,使其更精准、有效地获取信息。同时,线上展览还将提供电子名片交换、洽谈预约、日程管理等交互场景应用,为展商和观众搭https://www.gzstv.com/a/764d35cd5c1d48c78b9cb66c8837c69a
5.上海博华“在线展览”降&包装系列展上海博华也始终贯彻线下展览与线上互联网双平台共同发展的战略,在线上展览日渐品牌化、规模化的前提下,把重心放到互联网建设上,实现企业资讯及时线上更新,在线的资讯以有效的方式传播出去,线上线下365天无缝衔接,为客户创造持续效益。https://3w.huanqiu.com/a/9b83e2/3xwKrKHCSzy
6.2024年太原市文化和旅游局中秋国庆节群众文化活动汇总9.“云”聚中秋“礼赞新中国 逐梦新时代”山西省网络摄影大赛线上展览 活动时间:即日起至9月30日 活动地点:万柏林区文化馆微信公众号 组织单位:万柏林区文化馆 活动内容:线上发布“礼赞新中国 逐梦新时代”山西省网络摄影大赛展览。 10.传统文化知识普及 https://wlj.taiyuan.gov.cn/wlzx1/20240912/30159787.html
7.宅家无聊?南通博物馆邀您“云看展”今天,全市23座备案博物馆提供了5大类105条数字资源,涵盖线上展览50个、线上文物赏析872件、电视电台节目24集、微信小程序1个、网络课程410节。现予发布,以飨观众。 南通博物馆数字资源网址链接 一、云看展 (一)南通博物苑。 1.基本陈列《中国早期现代化的先驱--张謇》 https://www.ntjoy.com/html/tuijian/2020/0206/173207.shtml
8.上海举行2020世界人工智能大会首次推出线上云展览平台9日,2020世界人工智能大会云端峰会倒计时30天会议在上海举行。今年大会以“智联世界,共同家园”为主题,首次推出线上云展览平台,实现3×24小时全天候内容输出,预计线上参展企业约150家。 点击观看视频 2020世界人工智能大会云端峰会定于7月9日至11日举行,今年大会打造全新的线上会展平台,以上海为蓝本打造的“3D虚拟AIhttps://china.qianlong.com/2020/0610/4261986.shtml
9.Dealmoon.com现有国内十大博物馆线上参观展览,免费看。Dealmoon.com 最新景点/活动折扣信息 国内十大博物馆’云旅游‘,云游故宫、平视兵马俑、近观敦煌壁画 免费看 线上全景参观展览https://www.dealmoon.com/cn/free-online-visits-famous-museums-in-china/1813362.html
10.陶瓷卫浴品牌加盟严选,陶瓷卫浴新品发布平台线上佛山陶博会-全新的营销模式,线上展会解决难题!是中国陶瓷以及卫浴产品市场风向标,也是世界陶瓷卫浴的中国主场。陶瓷卫浴等数千个品牌加盟、招商、代理,展示优质商品以及便捷、贴心的服务,为您提供愉悦的观展体验。https://www.cerambath.org/
11.线上赏析2020年度上海市美术馆优秀展览项目(第三期)2020年度上海市美术馆优秀展览项目(第三期)将分享以下展览:上海久事美术馆“呐喊与回响——爱德华·蒙克版画与油画展”、上海多伦现代美术馆“公·园”、 金桥碧云美术馆“弄·潮——吴昌硕与浦东结缘130周年金石书画特展”、陆俨少艺术院“时代经典——陆俨少、宋文治、周昌谷艺术作品展”及中华艺术宫(上海美术馆)“https://m.thepaper.cn/newsDetail_forward_11874477
12.线上博物馆app有哪些线上博物馆展览软件下载大全线上博物馆软件是让我们可以在线观看博物馆所有的藏品的软件,也可以在线预约博物馆的门票,将会带来线上便捷的操作,省去我们的时间,并且线上观看也是非常全面的,有超高清的vr观看效果,还有相应的文字介绍,完整的将博物馆的藏品展现在我们的眼前,下面就给大家分享一下线上博物馆展览软件下载大全,在家就可以观看各种博物http://www.downcc.com/k/xianshangbowuguan/
13.云享文化大餐成都这些线上精彩展览等你解锁线上展览不仅高清展现了艺术作品,其中涵盖雕塑、油画、国画、影像作品等,还对不同美术馆、参展艺术家及其作品进行了详细地介绍,在带给人视觉冲击的同时,让观众在对作品的深入解读中领略艺术之美。 第九届成都创意设计周 今日,第九届成都创意设计周在世纪城新国际会展中心开幕。本次创意周以“设计赋能 创意文旅”为https://www.cqcb.com/malatang/2022-12-16/5118962.html
14.征稿启事“光之再现:亚洲艺术展”(线上)“光之再现:亚洲艺术展”由日本福冈亚洲美术馆、九州华侨华人文学艺术家联合会、当代油画联合策展,现由歌雅艺术承办本次线上展览,在线上平台展出。推广团队拥有在国内极具影响力的专业纸媒,并与多家互联网媒体平台合作(微信公众平台、今日头条、网易艺术、搜狐新闻、一点资讯等……),将通过这些渠道进行广泛的http://www.xingxiancn.com/article/30119