在线学习平台底层推理计算部分采用bridge模式，支持多个backend，包括DeepRec、TensorFlow、Torch、TensorRT等，同时支持基于CPU与GPU的模型训练与在线推理。
weidl在线学习平台
2.2.1实时性
实时性包括模型学习到用户行为的速度，模型参数的更新应用到线上模型服务的速度。推荐系统的更新速度越快，越能够反应用户最近的用户习惯，越能够给用户进行越有时效性的推荐；模型更容易发现最新流行的数据pattern，越能够让模型反应找到最新的流行趋势。工程上主要通过以下几个方面，实现推荐系统的实时性。
2.2.2大规模深度复杂模型
精排模型从snr模型迭代到mm模型
粗排双塔模型迭代到colddnn模型
3
3.1OneDNN库加速算子运算
3.1.1Select算子优化
3.1.2Transpose算子优化
同样，可以使用向量化的unpack和shuffle指令对transpose算子进行优化，即通过小Block的方式对矩阵进行转置，最终经线上测试表明，性能提升同样十分显著。
3.2关键路径优先的调度引擎
DeepRec通过对执行引擎以及底层线程池的重新设计，达到在不同的场景下，包括trianing和inference，能做到更佳执行性能。保证不同线程之间的均衡性，尽量减少线程之间的steal，避免加锁等问题。
Executor的设计需要考虑对内存的访问及其并行实现之间的联系，进行多层次任务调度，减少缓存缺失和远程内存访问，充分发挥多核、多节点CPU的并行特性，提升系统的运行性能。在线程池层面，设计Cost-aware线程池，结合内存感知以及算子类型等信息，进行针对性优化；在计算图层面，对张量内存的位置进行调度，有利于线程池的调度；在算子生成层面，进行有利于线程池任务调度的算子任务划分。
DeepRec提供的基于关键路径优化的执行引擎，通过动态采集SessionRun情况，统计与计算多组指标，并构建CostModel，计算出一个较优的调度策略。该功能中包含了基于关键路径的调度策略，根据CostModelpatching执行细碎算子的调度策略以及线程池Cost-aware调度策略等。
在稀疏模型图中，可能会存在大量细碎算子，会带来大量调度开销。有些可以通过算子融合来做优化，算子融合一般通过graphpattern匹配或者手动指定子图来确定需要融合的对象，难以覆盖全部算子。故而在executor层面，通过trace运行时数据来动态进行批量调度执行，这样可以减少非必要的细碎算子调度开销。
在线程调度层面，目前的线程池调度策略比较简单，如果当前执行线程是inter线程，优先将task调度到当前线程执行，若不是，则调度到一个random线程上。线程的balance完全由steal机制来保证。在我们的观察中，发现inter线程之间存在大量的steal，这会导致很多锁以及重复的线程调度等开销。CostModelexecutor通过采集运行时数据，来确定更佳的线程来执行任务，减少大量的steal行为。
在复杂模型上，使用DeepRec的CostModel调度，能够生成更佳的调度策略，减少调度开销。在测试的snr模型上平均耗时稳定优化2ms。
3.3动态感知的内存/显存分配器
在张量内存管理方面，通常存在两点问题，一个是内存碎片过多，另一个是没有考虑模型结构存在多分支的情况下算子并行带来的内存增长。其内存管理十分粗放，大体上都是运行时依据内存请求动态进行内存释放和分配，同时进行一些内存池管理。由于无法感知上层应用的分配请求特点，这种内存管理存在着内存碎片过多的特点。例如在不清楚后续内存请求的情况下，由于前期的多次内存分配和释放，会导致后来的大内存请求由于内存碎片的问题而需要一块新的内存或者OOM。
深度学习模型的内存分配由于其应用特点存在着明显的规律性，训练时都是以一个个mini-batch的形式训练，每个mini-batch的分配特征大体上保持一致，训练时前向过程一直分配内存，较少释放，而反向过程中会释放前向计算中的临时张量，释放大量内存，所以内存会周期性呈现先增长后降低的特征。基于此学习到执行过程中内存分配pattern，从而减少内存的动态分配以及对内存块做到最佳的复用。同时自适应内存分配器也是graph-aware的，这样使得不同子图之间存在较小的相互干扰，提高分配效率。自适应内存分配器基本架构如下图所示：
自适应内存分配器基本原则是使用尽量少内存，同时提高内存的复用率。整体来讲，自适应内存分配器解决了在稀疏场景中内存分配上存在的一些问题，主要包括，第一，减少了在稀疏场景中，大量内存分配问题，包括小内存和大内存。譬如小内存分配出现在特征的处理过程中，包括一些特征的拼接，或者在做一些交叉特征，这里会存在大量的小内存的分配。同样在模型训练也存在很多大的内存，包括attention、RNN、或者全连接层，会有一些大内存的分配。减少大内存的分配，进而也减少了minorpagefault数量。第二，对于tensor能做到更好的复用，减少了总体的内存占用量。
4
DeepRec在业务中取得的收益
4.1服务性能提升
对于双塔和colddnn模型，图计算部分耗时降低20%，粗排阶段整体耗时降低10%，单机吞吐量提升20%，模型训练模块性能提升20%，提升了训练速度并有效的改善了样本积压问题。
4.2性能提升所带来的其他收益
推荐引擎模块整体耗时减少与吞吐量的提升，减少了推荐在训练与在线推理上所使用的机器资源，极大的降低了公司成本。
在线推理服务性能提升，使推荐引擎各个模块可以计算更多的候选物料，粗排阶段可以计算更多的候选物料，提升物料库总量与扩大召回条数，精排也由1000条扩到2000条，每个阶段候选物料数的增加，都会对整体指标有显著的提升。