喜马拉雅作者：李超、陶云、许晨昱、胡文俊、张争光、张玉静、赵云鹏、张猛
喜马拉雅AI云，是面向公司人员提供的一套从数据、特征、模型到服务的全流程一站式算法工具平台。
其特点在于提供了数据、画像、特征、模型、组件、应用等多个资源管理能力，通过可视化建模界面以及算法组件化能力，支持用户通过拖拽链接方式生成完整的数据->特征->样本->模型->服务的完整工作流程。平台还支持丰富的特征、模型参数化定制能力，使得用户不用频繁修改代码仅在UI界面填写参数即完成调参、任务多场景支持等，极大的降低了用户的使用成本，提升了公司整体算法开发效率。
平台上一个常见的深度模型训练DAG如下图所示：
随着公司算法能力的迅速提升以及搜广推业务的不断增长，平台推荐技术栈快速从机器学习过渡到深度学习，并对样本量级、特征维度、模型复杂度有着不断增长的需求。平台主要的深度技术框架是通过spark实现数据处理和parquet形式保存，通过k8s实现gpu资源调度，使用tensorflow实现模型训练。在具体实现过程中，有2类主要的痛点：
hash冲突问题：一般对高维ID的简化操作就是hash。我们测试发现特定特征在hash到千万级别空间后冲突率能达到20%以上，要降低到5%以内需要扩充到五倍以上空间，失去了压缩的意义。我们自研实现了一种多重hash方案，通过将高维id映射到3个万级空间，相同场景下冲突率降低到0.2‰，参数量降低95%。但上线后发现也有缺陷，即对长序列id特征列表，会扩充到原有3倍长度，显著降低了模型的推理性能。特征入场/退场/变长：这些均是对高维ID特征的基础要求。通过合理的配置这些参数，可以实现高维稀疏大模型部署模型大小的缩减以及模型指标的稳定。使得支持十亿特征维度以上模型的训练和部署成为可能。
在DeepRec中，EmbeddingVariable使用动态的类似HashMap数据结构存储稀疏参数，保证了稀疏特征数目是可以弹性伸缩，在保证特征不冲突的情况下，也一定程度的节约了内存资源。围绕这个功能，EmbeddingVariable针对业务场景，支持了特征的准入(特征入场)，特征的淘汰(特征退场)，以及利用不同介质混合存储EmbeddingVariable提高特征规模，降低存储成本等功能。
我们在实践中选择了基于Counter的特征准入以及基于globalstep的特征淘汰功能，经过严格测试，功能符合预期。在实际的使用过程中，我们的经验是：全量特征可以默认关闭"EV"选项，只针对高维稀疏特征开启；可以先开启准入选项，设置一个比较大的值，训练模型。然后基于EV分析工具查看具体情况做灵活调整。最终模型开始长周期滚动更新时，按照需求开启退场选项。其中需要注意的是，入场和退场的次数设置，前者是这个id的更新频次、后者是总训练的step数(batchsize)，有较大区别。还有就是验证集的数据也会参与EV记录。
DeepRec对待未入场和入场后的特征，其初始值逻辑是一样的。即在训练启动时，初始化一个较小的embedding-table矩阵(类似标准的embedding初始化)，上述id进入后，不做初始化而在该矩阵中查取(随机)。未入场前，不参与梯度更新，入场后参与更新。线上serving时，统一返回默认值(0)。DeepRec支持了未入场特征与入场特征初始化值可灵活配置的功能。我们在实际使用中，对于上述的未入场的特征，均统一设置初始化默认值为0，对齐了训练和推理，也便于后续进行mask操作。对于入场后的特征沿用之前的参数初始化方式。针对上述入场、退场，以及未入场的特征的处理逻辑，我们做了以下示意图帮助用户理解：
DeepRec的特征多级存储功能，主要解决训练时模型参数量过大，pod内存无法承载的情况，这个正是我们目前碰到的主要问题。用户可以配置保存embedding参数要使用的存储(HBM，DRAM以及SSD)，之后多级存储会基于一定的cache策略自动地选择将高频被访问到的特征保存到小容量的高速存储中，其他特征则放置到大容量的低速存储。结合推荐场景中特征访问的倾斜性(20%的特征访问数占总访问数的80%以上)，可以在训练效率不受显著影响的情况下有效地减少模型的内存使用量，降低模型训练的成本。目前我们正在和阿里云合作落地该功能。
processor：DeepRec官网已经提供了对应的libserving_processor.so文件，也可以按照用户使用的版本自行编译，支持模型自动识别、增量更新、SessionGroup等功能。满足业务需要。
PAI-EAS：阿里云还提供了PAI-EAS在线推理服务。用户只需要将模型文件部署到oss上，可以直接使用其在线推理功能。该服务还提供了常见的压测、扩缩容、线上debug、性能监控以及日志等功能，可以满足一站式部署需要。我们对此进行了测试，在专线开通的前提下，rt等性能指标符合上线要求。
模型训练：整体流程改造完毕之后，我们在单worker训练中GPU平均利用率提升到40%以上(视具体模型)，训练环节整体耗时减少50%以上。
模型上线收益：我们目前在一个主流推荐场景中完成了全量上线。在对齐特征和样本情况下，在主要指标ctr、ptr等就有2%~3%+的正向收益，rt、超时率等推理指标基本持平。在引入简单的高维id及交叉特征后，其正向收益也有2%~3%+。其他主流业务场景模型也在逐步切换中。
我们对后续的一些功能也在进行探索，以便更好的支撑业务需求：
SessionGroup：DeepRec提供的线推理能力。在模型达到一定大小后，线上推理需要相应的内存。以实体物理机进行超大内存划分，往往会造成对应的CPU资源无法得到重复利用。该功能即在同一pod上，模型内存共享的情况下，提供并发推理能力。使得单节点的资源利用率，以及支撑QPS上限得到显著提升。我们已经开展对该功能的测试。
模型压缩和量化：目前模型训练过程以及模型导出的文件中，均包含相应的EV信息。在高维id场景中会占用很大一部分空间。在线上推理阶段可以舍弃该部分，加快模型传输及加载，以及降低内存使用。同时，基于DeepRec生成的模型量化裁剪，我们也在研究中。
多模型推理、GPU推理等：基于DeepRec提供的CUDAMulti-Stream和CUDAGraph的能力，可以极大的提升Inference场景下GPU的使用效率，基于GPU进行模型的推理可以进一步提升对复杂模型的推理的效率以及降低推理的成本。
第一资本就凭借着对数据资源的差异化运用成功脱颖而出。”这样的基础不仅彻底改变了该公司进军银行业的方式，还建立起良性循环，使得更好的数据支撑起更强大的分析能力，进而改善客户交互并产生出更多数据。
Fortinet有着三大重要组成部分，“安全组网”、“unifiedSASE（统一SASE）”、“AI赋能安全组网”过去三年同比平均增长了14.6%、21.7%、22.3%，远超行业同期的9%、19%、14%的增长率。
金融服务公司DiscoverFinancialServices采用容器化方法来实现其工作负载的敏捷性和灵活性，同时探索生成式AI的长期优势。