10年+,阿里沉淀出怎样的搜索引擎?

丰富的线上&线下活动,深入探索云世界

做任务,得社区积分和周边

最真实的开发者用云体验

让每位学生受益于普惠算力

让创作激发创新

资深技术专家手把手带教

遇见技术追梦人

技术交流,直击现场

海量开发者使用工具、手册,免费下载

极速、全面、稳定、安全的开源镜像

开发手册、白皮书、案例集等实战精华

为开发者定制的Chrome浏览器插件

搜索引擎分为数据源聚合(俗称dump)、全量/增量/实时索引构建及在线服务等部分,以Tisplus为入口经由Bahamut(Maat进行工作流调度)->Blink->Hdfs/Swift->BuildService->Ha3->SP->SW等阶段对客户提供高可用/高性能的搜索服务。其中数据源聚合在tisplus平台和Blink平台完成,Buildservice和Ha3在suez平台完成,SP和SW通过drogo进行部署。具体架构图如下:

1688目前有spu、cspu,company,buyoffer和feed等引擎及offer离线在tisplus运维,该平台主要ha3和sp的搭建和维护,大体架构如下:

在tisplus平台,离线dump的入口如下:

DAG数据源图示例:

下面主要说下离线dump数据源处理流程,包括Bahamut、Maat和数据输出。

2.1Bahamut——数据源图处理

Bahamut是离线数据源处理的组件平台,将web端拼接的数据图通过jobManager翻译成可执行的sql语句。目前Bahamut包含的组件有四类,分别是:

对数据源的处理过程,描述如下:

而对于Bahamut->blink过程可以陈述如下:

其中,Bahamut将任务拆解后扔给JobManager进行逻辑节点到物理节点的转换,形成若干节点后再归并组合成一个完整的SQL语句,例如上图Kratos_SQL就是一个增量Join的完整SQL,配合资源文件一起通过BayesSDK提交任务。此外,平台增加了一个弱个性化配置的功能,可以通过个性化配置来实现控制某个具体任务的并发度、节点内存、cpu等等参数。

2.2Maat——分布式流程调度系统

Maat是基于开源项目Airflow再次开发的分布式流程调度系统,具有可视化编辑及通用的节点类型,Drogo化部署,分集群管理及完善的监控&报警机制等优点。

关于Airflow及其他工作流系统,对比陈列如下:

eed引擎为例,maat调度页面如下:

当任务错误时,可以通过该页面进行“将指定步骤置fail”然后重跑全量任务,也可以通过查看某个步骤的log获悉任务失败原因。

2.3Ha3doc——数据输出

经过上述步骤后,最后将数据以xml的形式(isearchformat)输出到HDFS/Pangu路径(全量)和SwiftTopic(增量),引擎全量时通过HDFS路径获取全量doc文件进行build,增量时直接从swifttopic中获取增量更新消息更新到引擎中。离线平台通过一个服务为Tisplus引擎模块提供表信息的查询等功能,以下是一个HA3表包含的信息:

然后由Buildservice完成全量/增量/实时索引的构建,然后分发到Ha3在线集群提供服务。

suez的离线表构建逻辑如下:

suez在线服务逻辑如下:

下面针对离线(buildservice)和在线(ha3)进行简述:

**3.1BuildService——索引构建**

BuildService(简称BS)是一套提供全量、增量、实时索引的构建系统build_service总共有五类角色:

其中admin、processor、builder、merger是以二进制程序的方式运行在hippo上,rtBuilder是以lib的形式提供给在线部分使用。

一个完整的全量+增量过程会产生一个generationid,该generation会经历processfull->builderfull->mergerfull->processinc->builderinc->mergerinc的过程,其中处于inc过程后,builderinc和mergerinc会交替出现。1688在ha3升级之前经常会出现buildtooslow问题就是因为分配到了坏节点或builderinc/mergerinc阶段卡住。

3.2Ha3——在线搜索服务

Ha3是一套基于suez框架的全文检索引擎,提供丰富的在线查询子句,过滤子句,排序子句,聚合子句且支持用户自定义开发排序插件。服务架构如下:

1688主搜引擎由一组Qrs、searcher和summary组成:

qrs/searcher/summary等机器通过挂载到cm2提供服务,比如qrs有对外cm2,可以对SP等调用方提供服务,searcher和summary有对内cm2,可以接收从qrs来的请求并完成召回排序取详情等服务。

一次调用方的query服务,要经由qrs->query解析->seek->filter->rank(粗排)->agg(聚合)->rerank(精排)->extraRank(最终排)->merger->summary(取详情)的过程,具体描述如下:

其中,ReRank和ExtraRank由Hobbit插件及基于Hobbit的战马插件完成,业务方可以根据自身需求开发战马特征并指定各特征权重得到商品的最终分。

drogo是基于二层调度服务Carbon的无数据服务的管控平台,1688的SP服务及QP代理服务均部署在该平台。

1688搜索链路主要服务平台部署情况简述如下:

参考文档:《搜索中台开发运维一体化实践-Sophon》、《基于DAG的分布式任务调度平台-Maat》、《tisplus用户操作手册》、《BuildService用户手册》、《BuildService源码》、《Ha3用户手册》、《Ha3搜索引擎简介》、《drogo平台介绍》、《搜索离线平台系统架构及实现介绍》、《基于BlinkBatch模式的搜索离线任务开发实践》、《搜索离线平台计算引擎简介——基于Blink2.2和Bayes的演进之路》、《解密双11实时计算每秒4.72亿背后的核心技术——Blink》、《SARO用户手册》、《工作流引擎比较》、《Airflow简介》、《Airflowgithub》

THE END
1.八大架构图全解析:打造高效系统的视觉指南描述系统功能的图在软件开发和系统设计的过程中,架构图是一种非常重要的工具。它们帮助我们理解系统的构成、功能以及各部分之间的关系。本文将详细介绍八大常见架构图类型,包括业务架构、产品架构、系统架构、数据架构、技术架构、应用架构、功能架构和信息架构,并提供实际案例来帮助您更好地理解和使用这些架构图。 https://blog.csdn.net/xuliangjun/article/details/144408059
2.js画架构图mob64ca12e5502a的技术博客在现代软件开发中,使用图形化的方式展示系统架构是非常重要的。无论是绘制类图还是饼状图,图形化的表示能够帮助团队成员更好地理解系统的结构与数据流。本文将指导您一步一步地使用 JavaScript 画架构图,特别是使用mermaid.js这个有力的工具。 流程概述 https://blog.51cto.com/u_16213385/12843854
3.组织架构图在线版怎样做组织架构图如何制作单个的、具体的、细分的小部门组织架构图做好后,结合在一起就成组成了整个部门的组织架构图,然后再把https://ask.zol.com.cn/x/20543367.html
4.推荐自己做的在线流程图UML架构图绘制网站推荐自己做的在线流程图、UML、架构图绘制网站 技术标签:流程图UML流程图网站ER图原型 查看原文 【沟通交流】:弱关系向强关系的转变 弱关系向强关系的转变visio工具有很多,找到自己的那一款就好,这里推荐微软产品visio主要用于绘制流程图和架构图,可以清晰的将文字语言转化为图形语言。所谓:文不如表,表不如图。 使用https://www.pianshen.com/article/4474182531/
5.免费在线简单高大上的组织架构图怎么做?这3款软件教你在现代商业环境中,组织架构图被广泛应用于各个领域。无论是大型企业还是小型公司,组织架构图都是展示公司内部层级结构和职位关系的重要工具。但是,许多人可能不知道如何制作一个简单又高大上的组织架构图。幸运的是,现在有许多免费在线软件可以帮助我们完成这项任务。以下是三款最受欢迎的软件,教你如何制作出精美的组https://bomyg.com/detail/209929.html
6.组织架构图组织架构图在线制作AI生成组织架构图Canva可画组织架构图制作工具简单易用,在线操作,同时有丰富的组织架构图模板可供选择,更有智能AI工具助你轻松完成组织架构图制作。https://www.canva.cn/graphs/organization-charts/
7.工艺流程图组织架构图流程图如何制作在线流程图良工绘图,良功绘图,提供在线流程图、流程图如何制作、组织架构图、工艺流程图、visio流程图、泳道图、流程图制作、流程图用什么软件做、流程图模板、消防疏散示意图等信息服务。https://www.lghuitu.com/
8.推荐自己做的在线流程图UML架构图绘制网站创新互联另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比http://chengdu.cdxwcx.cn/article/deicpe.html
9.系统部署架构图流程图模板系统架构图_JAVA 冰与火 职业:无 去主页      评论 0 条评论 下一页 为你推荐 查看更多? 系统部署架构图 部署架构图模版 部署架构图__系统部署架构 微服务系统部署架构图 系统部署架构图 项目部署架构图 部署架构图 信息系统部署架构图 部署架构图 系统部署架构图 https://www.processon.com/view/675ae13ad36a936e1e88397a
10.应用架构深度从一个故事说起,谈谈企业应用架构的演变史至此,我们已经绘制出一套一般企业的简化版应用架构图,以及一张常见的组织架构图。可以看到,应用系统的建设,是根据业务的发展变化逐步完成的,每个系统都有独立存在的意义和价值。 二、多元化业务带来的应用架构演变 1、在线商城业务带来了互联网化管理 公司的零售业务发展进入了瓶颈期,CEO需要寻找新的增长点。 https://info.ustb.edu.cn/ITxy/zjlt/667ca3e1fa364f1d802210cf31d95cff.htm
11.监控系统拓扑图系统架构图电气做法与说明图监控系统拓扑图、系统架构图属于土木在线电气做法与说明图分类,电气做法与说明图包含大量与电气做法与说明图相关图纸,提供给网友免费下载,更多电气做法与说明图相关图纸请访问土木在线。https://ziliao.co188.com/d62767289.html
12.武平县公安局第九期公共安全视频监控建设项目货物类采购项目附件监控网络摄像机前端部署架构图如下图所示:前端监控系统包括:监控摄像机、补光灯、工业交换机、光纤收发器、集成机箱、稳压器、防雷模块、监控杆件等组成。 监控摄像机和补光灯设备安装在监控杆件上。光纤收发器、稳压器、防雷模块、漏保、空开排插等设备安装在监控设备集成机箱内,集成机箱挂装在监控杆件上。http://zfcg.longyan.gov.cn/upload/document/20211027/8f239fdf66564012af5845ec4fa0aa9b.html
13.组织结构图在线制作图怪兽组织结构图在线制作专题为您精选组织结构图在线制作模板,包含组织结构图在线制作的图片素材等可根据您的需求选择,不同图片尺寸进行在线替换文字制作,即可一键生成一张正版可商用模板图片免费下载。https://m.818ps.com/shejiimg/101333.html
14.浙江微法院集群项目智慧法院建设方案智慧法院解决案例三、产品架构图 四、主要功能介绍 (一)身份识别 通过结合腾讯公司人脸识别验证、语音识别认证等前沿技术去完成公众的身份认证。 (二)网上立案功能 律师当事人可通过小程序即可进行网上申请立案。 (三)执行在线功能 当事人和法官可以根据自己的身份角色进入自己的案件中参与线上调解与被调解。并在这个过程中通过上传图https://www.faanw.com/zhihuifayuan/360.html
15.2022泉州纺织服装职业学院教育质量年度报告(7)聘请产业导师(详见图3),建立名师工作室和技能大师工作室,建立闽绣非遗传承创新平台(详见图4)。 (8)启动与合作企业建设纺织服装类产业学院。 (9)开展闽台交流活动。 图1服装设计与工艺专业群“岗课赛证”融通人才培养模式架构图 图2 人物化妆造型职业技能等级证书(中级)认证考核现场 https://www.qzfzfz.com/newsinfo/6902287.html
16.有色智慧配电室及监控云平台技术规范(团体标准)智能配电监控系统基于有色云和全城物联网平台建设的智能配电的监控与管理系统,系统架构主要分四层,包括应用层、平台层、网络层、感知层。智能配电监控系统架构图见图1所示。 感知层主要包括智能网关、环境监控单元、视规監控单元、安防监控单元、设备状态监测单元、电气保护测控单元。各单元实现功能情况如下: https://www.gdliontech.cn/support/706.html
17.超实用!帮你在线创建图表/流程图的Gliffy优设网编者按:今天@不到布给同学们安利一个超实用的在线神器,可以创建流程图、UML图、线框图、BPNM、组织架构图、网站地图等各式图表,还有很多贴心功能,来一一感受下。 之前写醍醐灌奶酪的时候,做了一张很大的图。可以说,当时写文查资料只占那篇文全部精力的一半,剩下一半则是作图 ><。 https://www.uisdc.com/online-diagram-and-flow-chart/
18.在线作图网站最近忙着做系统架构图,然后搜寻网络上的实用的在线作图网站,供大家使用 1.https://online.visual-paradigm.com/cn/login.jsp AWS系统架构图 2.https://cloudcraft.co/app APP在线3d解决,能导出到draw.io 3.www.draw.io 在线作图 4.https://www.lucidchart.com/pages/ https://www.jianshu.com/p/85e217ed7680
19.GitMind:免费在线思维导图流程图利器,多人协作,海量模板可用来轻松绘制思维导图、逻辑结构图、业务流程图、UML 图、组织架构图、拓扑图以及数据流图等等,完美适用于做读书笔记、项目规划、会议记录以及头脑风暴、产品规划等。 官网展开目录 https://gitmind.cn 微信版本: 软件特色展开目录 1、丰富的模板展开目录 https://iui.su/3385/