现如今，从使用数字技术的企业转型为数字企业，是全球各行各业都面临着的挑战。应用程序现代化是数字转型的核心，助力企业吸引客户，赋能员工，优化运营，改进产品。作为数字化转型的IT基础设施，云计算技术近年来发展飞速，尤其是随着虚拟化、云服务、容器等技术的快速发展，企业数字化转型的进程也因为云计算技术的发展而大大受益。云计算的不断革新，很大程度上也是因为开源技术与生态的飞速发展，以QEMU-KVM、OpenStack、Docker、Kubernetes为代表的开源云计算技术，打破了曾经封闭低效的“烟囱”式算力架构，不断的丰富IT基础设施，助力用户应用朝着更敏捷、更高效的方向进化，大步迈向数字化转型。
借助华为鲲鹏BoostKit虚拟化使能套件（简称鲲鹏BoostKit虚拟化），可加速迈向云计算之旅。本次KAE加速引擎让数据加密更安全直播将介绍鲲鹏BoostKit加速库全景，基于BoostKit加速库在WEB、大数据和分布式存储等典型应用场景的性能优化实践。
加速库可以结合计算机体系结构，通过改变软件代码的数据结构和算法，提升基础软件库的计算效率；也可以利用计算机芯片多样性，通过软件开发，充分发挥专有芯片高性能的特点，提升特定领域基础功能的计算效率。
兔子繁殖问题:设有一对新生的兔子，从第三个月开始他们每个月都生一对兔子，新生的兔子从第三个月开始又每个月生一对兔子。按此规律，并假定兔子没有死亡，1年后共有多少个兔子10年后，又如何
从上述问题可以看出，算法的效率会影响性能，影响性能软件的因素还有很多。而鲲鹏加速库去做的事就是找出这些影响软件性能的因素并进行性能的调优。从这个问题，我们就引出了加速库的意义。
1.加速库提升软件计算效率
CPU的计算速度快了，是否就不需要加速库了呢当然不是!
体育运动中，所有运动员的追求是更高，更快，更远，而IT产业追求更快，更便宜。纯粹的提升硬件计算能力并不能达到快速解决问题的目的，必须依靠软件算法改变执行效率才能真正的提升计算速度。
因而，体现在用户界面的更快，更便宜，就必须通过最佳的软件实现(加速库）将硬件的最佳性能体现出来，提供最好的服务。
尤其当前CPU发展遭遇瓶颈的情况下，更是如此。
2.加速库重构摩尔定律
摩尔定律的失效，会带来什么样的影响呢
摩尔定律是随着技术的发展，逐渐开发机器的算力。使得计算机的算力保持一定速率的快速增加。但是近些年来，在当前的技术背景下，计算机的处理能力遇到了发展瓶颈，计算机的处理能力不可能再一直保持快速增加，而对我们就意味着性价比降低了。
我们发现，即使是并发的情况下，硬件资源的利用率仍然是提升的,这就需要我们通过软件的方式，通过软件来结合硬件的一些特性来重构摩尔定律。让它仍然以线性的速度快速增长。
那么，有没有办法改进呢
◆硬件多样性给我们带来重构摩尔定律的可能;
◆硬件多样性给我们带来重构摩尔定律的可能;计算能力的充分利用也是重要途径。
3.加速库是系统工程的方法之一
IT系统中任何组件或模块都不是独立存在的，而是相互协同形成一个整体，而软件则在其中起到了巨大作用。比如:
◆多核CPU时代，多线程如何充分利用多核，也得需要软件调度，方能有效运转;
◆多路CPU时代，则需要通过软件考虑CPU与内存的协同，有效利用多个CPU，内存等资源；
◆当然多线程也并不能充分发挥CPU的能力，还需要能够确保软件实现的代码，在CPU执行时，流水线真正流动起来。
加速库实际上更偏向底层，介于硬件资源和解决方案之间。隶属于基础软件这一层，对上应用于各种解决方案，比如大数据、分布式存储、数据库等等这些解决方案。从而支撑这些解决方案于政府、运营商、金融等其他领域。对下可以适配主流的操作系统比如openEuler、CentOS等等，通过充分发挥硬件的能力，或者内嵌于操作系统，以及单独作为一个函数库去支撑解决方案，提升解决方案的性能，最终提升客户的性价比。也就是说不需要去一直增加这个硬件的配置，一直加购硬件资源提升计算机的性能。
鲲鹏应用使能套件BoostKit，释放倍级性能优势
BoostKit是部署在鲲鹏整机（服务器）环境之上，往上搭建的一个全栈优化的使能套件。具体结构如下图所示：
硬件是算力供给，软件的性能是一种算力的释放。如何充分释放硬件算力潜能，实现应用软件的极致性能，是当前业界面临的主要挑战之一。
鲲鹏应用使能套件BoostKit，释放倍级性能优势，提供八大场景化应用使能套件：大数据、分布式存储、数据库、虚拟化、ARM原生、Web/CDN、NFV和HPC。
目前鲲鹏BoostKit已应用于重点行业的核心业务场景，帮助客户应用取得显著的性能加速效果。例如我们在广东政务云的应用实践中，采用的就是鲲鹏BoostKit使能套件在鲲鹏平台上，通过华为云平台，国产数据库的全栈优化，实现应用支持库查询性能，提升15%以上；在银行的核心应用系统实践中，鲲鹏BoostKit对于鲲鹏服务器+银河麒麟服务器操作系统V10，国产数据库全面优化，提升账单查询性能30%，已经上线并服务于十万以上的用户。
未来，我们将持续与各行业客户、伙伴一起基于鲲鹏BoostKit加速各行业的业务软件，进行持续的业务方案创新。当然，华为鲲鹏BoostKit的创新也不止这八大应用场景，其他的应用场景我们也可以一起共同探讨。
鲲鹏加速库:对软件基础库做深度性能优化，构建常用软件库在鲲鹏平台上的性能竞争力，硬件加速+软加速库，现已完成18个加速库，是基于鲲鹏平台指令优化和软硬件结合的加速技术。
备注:KAE(KunpengAcceleratorEngine)鲲鹏加速引擎;HPRE(HighPerformanceRSAEngine)高性能RSA加速引擎;SEC(SecurityEngine)硬件安全加速引擎。
华为鲲鹏计算加速库是华为公司围绕鲲鹏处理器进行性能优化后的软件集合的统称，鲲鹏BoostKit加速库提供基于ARM指令深度优化和基于鲲鹏KAE（鲲鹏硬件加速引擎）开发的加速库，覆盖系统库、压缩、加解密、媒体、数学库、存储、网络等7类加速库，为大数据加解密、分布式存储压缩、视频转码等应用场景提供高性能加速。
1.压缩
使用鲲鹏硬件加速模块或鲲鹏指令对业界主流的开源压缩库进行性能优化。
2.加解密
使用鲲鹏硬件加速模块及鲲鹏指令对OpenSSL库进行性能优化，支持硬加速与指令加速的自动协同、应用逻辑无需修改即可使用加解密加速库。
3.系统库
基于鲲鹏微架构特点，使用鲲鹏指令对系统通用的基础库进行性能优化，以及x86平台的指令函数映射到鲲鹏平台的公共模块。
4.媒体
基于鲲鹏加速指令提供高性能媒体原语库及视频编解码库。
5.数学库
基于鲲鹏微架构特点以及鲲鹏加速指令，提供常用的高性能基础数学库。
6.存储
采用高速缓存盘配合高效的预取算法，提升系统存储IO性能，进而提升存储IO密集型场景的整体性能。
7.网络
基于鲲鹏架构特点，提供TCP/IP和OVS网络加速技术。
鲲鹏加速引擎是基于鲲鹏920处理器提供的硬件加速解决方案，包含了KAE加解密和KAEzip，分别用于加速SSL/TLS应用和数据压缩，可以显著降低处理器消耗，提高处理器效率。此外，加速引擎对应用层屏蔽了其内部实现细节，用户通过OpenSSL、zlib标准接口即可以实现快速迁移现有业务。
面向社区开源使能：
兼容OpenSSL和Zlib标准接口，应用层调用逻辑无需调整，使用简单
基于华为自研UACCE加速器内核框架，避免传统内核调用方式的路径损耗
驱动在鲲鹏社区开源，用户下载源码自行编译使用
支持SR-IOV直通,支持虚拟化&容器场景下硬件加速
KAE使能及调用流程：
1.BMC子系统管理KAE加速系统的License,当系统初始化时，BMC将License传递给BIOS系统。
2.BIOS子系统解析License信息，并根据解析结果对芯片加速子系统进行使能控制，并上报加速器ACPI表到内核。
3.上层应用基于OpenSSL/zlib加速库调用鲲鹏加速引擎,并通过寄存器操作调用芯片加速子系统。
KAE加解密是鲲鹏加速引擎的加解密模块，使用鲲鹏硬加速引擎RSA/SM3/SM4/DH/MD5/AES算法，结合无损用户态驱动框架，提供高性能对称加解密、非对称加解密算法能力，兼容OpenSSL1.1.1a及其之后版本，支持同步&异步机制。
目前主要支持以下算法：
摘要算法SM3/MD5，支持异步模型。
对称加密算法SM4，支持异步模型，支持CTR/XTS/CBC/ECB/OFB模式。
对称加密算法AES，支持异步模型，支持ECB/CTR/XTS/CBC模式。
非对称算法RSA，支持异步模型，支持KeySizes1024/2048/3072/4096。
密钥协商算法DH，支持异步模型，支持KeySizes768/1024/1536/2048/3072/4096。
某客户原有大数据平台架构基于开源HDP
采用BoostKitKAEzip加速库实现Gzip压缩加速:提升HDFS压缩性能80%+
基于开源HDP大数据平台,整体性能提升30%+
聚焦Web应用HTTPS连接性能和Web开源组件可用性等问题，提供开源Web组件使能调优指南，通过使能鲲鹏RSA加速引擎，帮助客户提升Web网站的安全性，并实现用户HTTPS访问的极致体验。
鲲鹏BoostKitWeb遵循开放式架构标准，支持所有开源的Web组件，并根据具体Web组件特点，提供了良好的场景适用性。鲲鹏BoostKitWeb软件堆栈如下图所示:
鲲鹏BoostKitWeb支持所有开源的Web应用，具有安装部署简单，系统配置方便的特点，结合华为鲲鹏920处理器提供的多核架构和鲲鹏加速引擎，能够提供更加卓越的高并发处理能力。主要价值如下：
1.开放生态
鲲鹏BoostKitWeb对常用的C/C++/C#、Java、Python、Perl、PHP、Go等语言开发的开源Web应用及框架有较好的支持，同时对东方通和金蝶天燕、中创中间件和宝兰德等商业Web应用也做了适配支持，当前主要完成了如下开源Web应用的移植和调优，已在鲲鹏社区开放。
2.高性能
基于华为鲲鹏920处理器提供的鲲鹏加速引擎，可以实现HTTPS协议处理中RSA2048非对称加解密算法的硬件卸载，大幅降低CPU资源占用，HTTPS处理性能相比软件计算提升1倍，可以释放更多CPU用于业务处理。
基于华为鲲鹏920处理器的多核架构和多核调度优化算法，使得具有高并发、低时延、计算密集特点的Web应用性能提升明显。
3.使用简单:
安装部署、性能优化简单，运维容易：
简化安装：所有Web组件都提供移植安装指导及一键式安装脚本，安装方便。
性能优化简单：所有Web组件均提供性能调优指导及一键式调优脚本，通过调优可以充分发挥鲲鹏处理器的性能。
4.部署灵活
鲲鹏BoostKitWeb支持业内所有安装部署方式：物理机、虚拟机和容器部署，在满足客户灵活的业务需求的同时，提供卓越的计算能力。
BoostKit可分为三种类别：
ARM支持的加速库：开源社区提供ARM支持的加速库，在鲲鹏平台完成验证
硬加速库(基于KAE)：提供领先业界的性能加速能力，包含ZIP(硬加速-压缩)，HPRE(硬加速-非对称加解密)，SEC(硬加速-对称加解密)
软加速库：基于鲲鹏指令深度优化的加速库，并向开源社区开放
基础加速软件包:
覆盖4个子系统的性能优化方法、7类加速库和3大优化方向的加速算法。
这是一款高性能的正则表达式匹配库，大量高效算法及SIMD指令的使用实现了高性能匹配。基于官网5.2.0版本优化，使用ARMNeon指令加速。使用数据预取、分支预测、结构重排及循环展开等多种优化手段实现加速。
应用场景：
[场景1:正则表达式编译预置]
正则表达式规则由集成使用Hyperscan的应用负责配置导入，考虑到性能问题，采用在初始化阶段导入并编译解析并缓存。
[场景2:块模式匹配]
适用于对一-段现成的完整数据进行匹配，匹配结束即返回结果。
[场景3:流模式匹配]
流模式是网络场景下跨报文匹配设计的特殊匹配模式。
Snappy:Google基于LZ77的思路用C++语言编写的快速数据压缩与解压程序库。
ZSTD:FaceBook开源到压缩库，同时兼顾压缩比、性能的压缩库，压缩比领先传统的deflate算法。
gzip:基础压缩软件，用于文件的无损压缩，基于deflate算法实现。
使用鲲鹏920的CRC以及预取指令，可实现压缩和解压的性能提升。
保持snappy/ZSTD/gzip已有接口、功能规格不变的情况，提升压缩和解压速度，不会影响各个level的压缩及解压结果。
KML是基于华为鲲鹏处理器的高性能数学计算加速库，提供了基于鲲鹏平台优化的数学函数，由基础线性代数库（KML_BLAS）、稀疏线性代数库（KML_SPBLAS）、向量运算库（KML_VML）、基础数学库（KML_MATH）、快速傅里叶变换库（KML_FFT）等五个子库组成，可根据业务需求集成使用。
在保证数学运算精度的同时，KML_FFT基于鲲鹏架构，通过向量化、算法改进，对快速离散傅里叶变换进行了深度优化，使得快速傅里叶变换接口函数的性能有大幅度提升。KML_FFT与开源FFTW相比，性能提升约有1倍。
广义上的数学库是指提供高性能标量、矢量计算的数学函数接口库，常见的数学库有英特尔数学内核库（IntelMathKernelLibrary，以下简称IntelMKL）及一些开源数学库。鲲鹏数学库（KunpengMathLibrary，以下简称KML）提供了基于鲲鹏平台优化的高性能数学函数。当用户将使用数学库函数的应用程序迁移到鲲鹏计算平台时，由于不同计算平台或不同数学库的函数定义差别，需要对程序重新适配开发。针对该问题，我们提供了鲲鹏数学库迁移指南。
HyperMediaPerformancePrimitives,华为自研高性能媒体性能原语库，包括图像处理HMPPI函数库以及信号处理HMPPS函数库两个子库，适配多个操作系统，提供函数API，应用于运动跟踪、雷达信号、图像分析、视频增强、AI加速、医学扫描、通信工程等诸多行业。目前已经完成信号库HMPPS完成1000+个函数接口开发。
设计规划共约有1700个函数，目前完成1000+个函数接口开发包括以下方面:
1.实现了内存操作与数据校准的功能，内存操作包含拷贝、初始化等函数;
2.实现了向量的运算操作，包括算术、转换、统计和窗运算等
3.提供向量的中值滤波功能
4.实现固定向量精度功能，包括求向量元素幕次方功能
5.实现信号的快速傅里叶变换等
HW265视频编码器是符合H.265/HEVC视频编码标准、基于鲲鹏处理器NEON指令加速的华为自研H.265视频编码器。它是用于编码符合高效率视频编码(HEVC/H.265)标准的影片的开源自由软件及函数库。
HW2658bit标准版实现相比X86开源X265有1～5倍的性能优势。
HW2658bit高清低码版实现平均50%的码率节省。
极致压缩HighQuality
通用编码Balance
25fs,适用于OTT点播场景
快速编码Speed
60fps,适用于秀场，游戏，在线教育等场景
HW265提供视频编码库，可集成到FFmpeg开源转码框架中。
保持x265_上层接口、功能规格不变的情况，提升视频编码速度，不改变原来各个软件层的框架与逻辑。
使用armv8的Neon矢量汇编指令,对x265的底层算子进行优化，提高整体性能。
优化X265转码核心算子，平均性能提升13%+
代码开源，已回馈开源社区
智能预取技术，是指利用小容量的高速存储介质作为缓存盘，把预测可能被访问到的IO数据提前放入缓存盘中，下次直接从高速缓存中获取数据，可以显著的改善系统整体的存储IO性能。鲲鹏BoostKit分布式存储通过IO智能预取技术，创新性的采用高速缓存盘配合高效的预取算法，提升系统存储IO性能，进而提升存储IO密集型场景的整体性能，使存储性能提升20%。
如智能预取用例视图所示，华为Bcache作为虚拟块设备驱动运行在Linux内核态，预取引擎acache_client作为独立进程运行在用户态。
华为Bcache托管了缓存盘与后端主存盘，并对.上层应用提供了统-虚拟存储盘作为访问入口。
用户的目标系统安装了华为Bcache与acacheclient后，需要配置Bcache(缓存盘与后端盘配对)。然后上层应用直接访问的磁盘存储路径，适配为Bcache设备路径即可。
应用本身无需任何代码修改、编译，对智能预取无感知。
方案背景:
分布式存储、大数据等解决方案中的大量场景，访问I0存储器(硬盘、SSD)的性能(带宽延迟、IOPS)，对整体性能影响明显。
智能预取加速方案，创新性的采用小容量的高速缓存盘配合高效的预取算法，提升系统存储1O性能，进而提升上述场景的整体性能。
方案设计:
本方案采用Linux内核虚拟块设备驱动华为Bcache加用户态智能预取引擎的整体架构。驱动层与预取引擎松耦合，应用对智能预取整体框架无感知。
部署方式:
大数据场景HDFS访问的底层磁盘设备适配为Bcache设备，缓存盘可选择Ramdisk与NVMESSD两种介质形式。
硬件配置建议:
以每节点原生配置12个SATAHDD盘为例，Ramdisk建议配置12GB(每个HDD配置1GBRamdisk作为缓存盘)，SSD容量建议配置1个1.6TBNVMESSD。
性能收益小结:
上述性能收益数据采用基本硬件配置为鲲鹏92048核*2+384GBDram,硬盘采用希捷8TST8000NM0055-1RM112-177。
智能预取存储库基于Linux原生Bcache进行了增强，通过智能预取算法引擎对用户IO请求信息进行分析及预测，根据预测结果进行存储IO配置的自动优化，并指导Bcache更智能进行数据的预取，从而可以实现：
大数据平台各应用场景下存储IO免配置性能最优。
上层大数据组件应用无感知。
提升数据命中率，增强磁盘读取性能。
Spark、HBase在存储IO密集型场景的应用性能可提升10%~20%。
智能预取存储库适用于大数据中磁盘IO密集型应用，因使用时需要对数据盘做格式化并绑定缓存盘，因此仅适用于在新建集群时使用。
具体适用的应用场景如下：
HBase顺序读场景（组网25GE）。
Spark磁盘IO密集型场景（SparkSQL采用Parquet/ORC格式不适用）。
部署方式与硬件配置建议:
分布式存储场景均衡型服务器，原有推荐配置已经使用了NVMESSD作为缓存盘的Bcache方案。智能预取存储1O加速库只需部署到目标系统即可，硬件、软件配置均无需做任何修改。
平台典型配置信息：
服务器：TaiShanvsx86
CPU:2*鲲鹏9203210
内存:8*16GDDR4
系统盘:2*480GSATASSD
Cache盘：1*3.2TBNVMeSSD
数据盘:12*8TBSATAHDD
网络:2*25GE,2*GE
1、初识BoostKit
BoostKit整体介绍：
2、了解方案整体能力
BoostKit大数据整体介绍：
3、进阶知识&成长
BoostKit文档：
4、实践交流平台：
使能开源的同时，鲲鹏BoostKit还持续贡献开源，将众多关键的性能优化成果回馈至开源社区。目前鲲鹏BoostKit已有190+关键Patch包、14项关键特性例被开源社区采纳。
鲲鹏BoostKit向C语言库Glibc2.31版本提交了重要的优化Patch，使得memcpy,memcmp,memchr,strcpy,strlen等常用函数在鲲鹏和ARM平台上的性能提升超过20%，并让众多以C语言为编程语言的软件受益。
鲲鹏BoostKit向MariaDB10.6版本，提供锁优化、NUMAAware、GlobalCounter等关键优化改进，实现MariaDB数据库在鲲鹏和ARM平台的性能提高超过40%。
如果您有任何疑问或意见，也请您在Github上创建问题。
如果您希望直接联系鲲鹏计算团队，您也可以发送电子邮件给kunpengcompute@huawei.com。