勒索软件是目前所有组织面临的最大终端安全风险(Gartner,2021EPP魔力象限分析报告),全球超过三分之一的组织在过去12个月内经历了勒索软件攻击(IDC,2021)。深信服通过多年实践,构建了完整的4-6-6终端安全勒索防御体系,有效保障客户免遭勒索威胁,取得了大量真实防护案例。本专题致力于从技术原理角度,讲述深信服EDR在勒索防护中独特的技术能力。
EDR勒索防护全景图
体系化勒索防护需要从边界突破、落地检测查杀、勒索加密防护、防止横向传播等多个维度,结合漏洞防护、文件检测、无文件攻击防护、应用控制、行为分析、异常检测响应、威胁狩猎等技术方案,构建立体化纵深防御机制。其中恶意文件检测、勒索行为分析等是重要收口点。由于篇幅有限,本文主要从未知病毒检测防护方面,对EDR勒索防护能力进行讲解。
强泛化智能检测引擎
基于这一目的,深信服组建了终端安全联合项目组,由Top2高校毕业的博士团队与十余年工作经验的终端安全专家构成,研发了国内主流厂商中首款能够在端侧部署的AI引擎。经过持续迭代优化,目前在VirusTotal(Google发起,知名第三方可疑文件检测平台)中综合能力(检出+误报)达到业界领先(数据可自行复现)。也是国内厂商中唯一一家满分、连续通过AVTestTop三方测试的终端安全产品,实现了对未知病毒(包括勒索病毒)的高检出。
核心技术1:恶意文件检测算法关键技术
AI模型检测病毒流程
核心技术2:恶意文件检测模型训练平台关键技术
人工智能领域,“数据决定模型上限,训练算法逼近上限”的观点已经被奉为圭臬,这一观点在恶意文件检测模型中同样成立。模型的检出效果,有赖于大量高质量数据参与训练,以及高效的模型迭代以捕捉最新病毒样本特征。与此同时,为确保模型在端、云均可部署并有理想的检出效果,模型压缩、推理加速等算法成为可行路径。构建高性能、可扩展、高可用的恶意文件检测模型训练平台,成为保障模型检出效果业界领先的必由之路。
针对以上技术挑战,我们建立了恶意文件检测模型训练平台,综合应用导向的架构设计、功能导向的集群划分、基于对象的特征存取架构、流程导向的自动化API设计、场景导向的部署优化算法等多个维度,保障了对日益增加的样本量的高效处理,保证模型迭代速度及检出率均处于业内领先水平。
恶意文件检测模型训练平台关键技术
数据层(对应上图下方第一层:数据区):高性能、合理容备灾
FastDFS具有简单易用、高性能、稳定性好的特点,可满足对于海量小文件存储的需求,符合SAVE亿级样本量的存储需求,并结合灵活的数据表存取技术加快数据检索速度,同时在特征存储方面,采用EDS对象存储存储方式,结合万兆网实现数据高吞吐需求。在容备灾层面,放弃单纯多份冗余存储的方案,根据需求进行数据不同组装模式的存储,在正常环境下分别高效服务于训练、回扫环节,同时可在极端场景下起到容备灾作用,兼顾了高可用、高性能、低成本。
数据接口层:需求导向,底层高性能
根据项目需求,提供样本下载、特征下载与上传数据接口,结合现有集群架构,设计了基于分布式集群的特征数据上载、下载接口,实现数据的高效存取。保证解析并上传新增数据效率,为模型的高效训练提供了坚实的保障。
分布式集群:按需划分,高性能,高并发,可扩展,低成本
结合SAVE中使用的高效NLP模型,搭建分布式集群结构,通过在主控节点提交程序,并由调度器进行任务调度,将任务分配至多个工作节点执行,实现模型训练流程的并行化、高性能计算。工作节点支持各类异构处理器(GPU、POWERCPU、国产芯片等),同时在集群扩容方面,支持灵活的增减所需工作节点个数与硬件配置,保证集群的可扩展性。
部署优化:模块化、灵活性好
基于底层数据处理、解析、训练流程等基础功能,训练平台可根据用户需求,实现模型压缩、模型集成、分析算法等部署模块。各个模块之间低耦合,可供用户按照业务需求,更加灵活地选取所需功能,为模型在云、端等多场景部署,保障其最优效果,提供了坚实的保障。该设计模式也为后续功能的添加,提供了充足的空间和潜力。
lAPI接口:易用性强
核心技术3:功能可插拔式软件架构
为实现恶意文件检测引擎在端、云等各个产品上的灵活部署,以及最优的检出效果,本项目研发了一套完备的引擎架构,以AI模型为核心,结合文件解析、存储分析、脱壳分析、启发式检测、云查检测等6大技术,实现了文件分类、静态解析、动态检测、定位匹配、隔离查杀、文件修复等全方位能力。共同形成了恶意文件检测模块,保障包含该模块的产品,恶意文本检测能力领先。
特别的,勒索病毒产业化、服务化的当下,攻击者会通过连续尝试在客户终端发起攻击,直至攻陷或力竭。因此,为最大程度保护用户免遭勒索攻击,在检出能力之外,勒索病毒的“报准能力”成为用户终端安全防护的重要一环。终端安全软件及时识别客户终端遭遇“勒索攻击”,并告知服务经理(MSS,或客户侧运维人员)通过进阶手段进行响应与反制,成为勒索防护的关键。EDR终端安全团队在传统检测引擎中添加了智能勒索识别功能,精准进行勒索病毒分类,保障了勒索报准率业界领先。