云原生下一代SIEMXDR和安全数据湖将取代传统SIEM

许多人甚至会说,网络安全从根本上说是一个数据问题。如果你拥有数据,你就拥有了一切。

这就是为什么我们看到PaloAltoNetworks、Crowdstrike和思科等所有主要上市安全公司都在大力投资,以抢占这一领域的市场份额。

摘要

SIEM的历史

什么是SIEM?

在过去十年中,安全工具的激增导致大量告警涌入安全运营团队。这些告警的数量通常每天成千上万,解决起来非常耗时,还可能导致误报或重复。为了解决这个问题,团队开始使用SIEM解决方案。

SIEM功能包括:

发生了什么变化?2002年至今

第一代SIEM(即Splunk)在很大程度上是为内部部署、单体式部署而设计的。由于Splunk最先进入市场,因此他们基本上可以将SIEM的4个主要组件整合在一起:a)用于摄取数据的转发器;b)用于实现搜索的索引器;c)用于保留数据的存储层;d)用于查询的搜索头。当时,这主要是为了方便客户,因为他们所摄取/索引的大部分遥测数据都是在内部生成的,而且由一家厂商处理所有事务也很方便。然而,情况发生了变化。

Source:Anvilogic

传统SIEM面临的挑战:厂商锁定

传统SIEM可定义为几十年前构建的SIEM,主要用于企业内部使用案例。它们已成为大型企业SOC团队的重心,根深蒂固,粘性极强。这里的旗舰公司就是Splunk。他们开创了这一市场,并设计了最初的4步流程,即对跨域的大量实时日志数据进行摄取、存储、分析和告警。

由于以下原因,许多企业发现自己被这些传统SIEM卡住并锁定。对于使用Splunk等平台的客户来说,这种厂商锁定现象尤为严重。企业目前正在与以下问题作斗争:

一般来说,这种SIEM厂商锁定会加剧数据管理问题,造成孤岛式数据源之间缺乏关联性,并需要为调查进行数据补水。目前,企业解决SIEM锁定问题的策略包括将安全数据重定向到更实惠的存储、构建自己的安全数据湖或完全替换SIEM。每种方法都有其独特的挑战,例如必须重新开发多年的定制和检测内容、管理数据孤岛以及冒着运营中断的风险。为了应对上述挑战,SIEM市场在更新的赛道和更新的架构设计方面都取得了快速发展。下面我们将详细介绍这些演变。

云原生SIEM的演变

随着越来越多的公司将生产和IT应用程序迁移到云,对更现代化、云规模SIEM系统的需求也随之而来,并利用云存储和计算重新设计了架构。向云和新数据工具的演进创造了一个新的安全数据环境,厂商正在为生态系统的不同方面提供解决方案。有六大类云原生厂商正在重塑新格局:

SaaS应用和安全工具

数据ETL和编排器

一旦生成所有这些告警,以安全为重点的ETL和编排器就开始发挥作用。在传统环境中,所有这些数据都必须进行规范化、解析并输入到Splunk中(需要大量成本)。然而,像Cribl、Observo和Monad这样的公司已经成为数据存储和管理中介。它们充当智能策略层,吸收过滤和清理数据(日志和事件),然后将其路由到这些大型SIEM。这些设备通过智能过滤和管理数据流,与各种应用程序、数据管理和存储系统集成。这就减少了不必要的数据复制和数据存储管理成本。

需要支付巨额Splunk管理费用的客户已经开始寻找减少实例臃肿的方法。通过对输入SIEM的数据类型进行更多选择,他们能够提高数据质量并降低成本。这使这些大型SIEM的客户能够节约成本,因为这些大型SIEM需要解析的数据更少。另一方面,这些编排者能够从节省的成本中获取一定比例,并将其转嫁给大型SIEM客户(F500Splunk实例的成本可轻松达到7或8位数)。

多数据平台SIEM

Anvilogic

Anvilogic的与众不同之处

1.简化SOC对安全数据湖的采用

Anvilogic的与众不同之处在于其平台的灵活性,可与各种数据源和安全解决方案集成。该平台倡导战略性数据管理,优先考虑高效存储而非集中管理。他们旨在通过将大容量用例重新分配到更具经济可行性的数据平台,降低风险,减少数据存储成本,并使安全团队能够利用安全数据湖。

这种方法旨在缓解厂商锁定问题,使企业能够选择多个厂商和平台来满足其安全分析需求。Anvilogic将自己定位为一种可跨不同数据平台促进分析和检测的解决方案,与传统的SIEM方法形成鲜明对比,后者依赖于在单一架构下维护所有处理、存储和分析功能。

Source:AnvilogicPlatform

2.自定义检测内容和威胁狩猎功能

3.通过共存SIEM和数据湖优化成本

总之,Anvilogic通过提供灵活、开放的平台,强调成本效益和在现有日志库和数据湖中可部署的威胁检测定制化,使自己从竞争对手中脱颖而出。通过让企业利用更具成本效益的数据存储和摄取选项,Anvilogic有助于降低安全运营的总体成本,同时减少威胁检测差距。这种方法解决了传统SIEM系统面临的共同挑战,如厂商锁定、高成本和有限的定制选项。

新一代SIEM

PantherLabs:检测工程

PantherLabs是下一代SIEM解决方案,可集中、规范和分析安全数据,使网络安全团队能够大规模检测、调查和监控安全威胁和错误配置。公司的核心产品架构建立在三大云提供商和Snowflake的存储层之上。Panther的平台将每天数TB的原始日志转化为结构化的安全数据湖,以支持实时检测、快速事件响应和彻底调查。使用AmazonS3的能力还有助于降低存储大量数据的成本。

HuntersAI

Source:HuntersAIPlaftorm

EDR转XDR厂商

该市场发生的一个重大变化是,许多传统的EDR厂商已扩展其平台,以提供XDR功能。我们注意到,中小型企业通常更倾向于扩展检测和响应(XDR)。在SIEM巩固其在企业SOC团队中的地位的同时,EDR市场也发生了相邻的演变,从而产生了一种具有竞争力的替代方案。XDR在两个方面与SIEM有所区别。其一,它们能摄取更广泛的数据源;其二,它们能在平台上处理更多的调查和修复工作流。

什么是XDR?

XDR平台围绕数据湖构建,能够摄取的数据远不止遥测数据。它能够通过API从各种安全域(终端、网络、云)摄取数据,并提供本地响应功能。它们利用人工智能和行为分析对高风险告警进行优先排序,并提供跨多个安全工具的自动修复功能。总的来说,这扩大了它们的遥测范围,超出了SIEM通常包含的范围。从EDR到XDR的厂商还将其核心竞争力从为终端检测创建调查和修复工作流扩展到了这些新的额外表面区域。因此,对于部署了SentinelOne和CrowdStrike大型EDR的企业来说,XDR已成为一种新兴的设计模式。在其他许多情况下,许多中小型企业也采用了这些厂商的产品。

快速理解SIEM与XDR之间的区别

Crowdstrike:XDR和下一代SIEM

Crowdstrike于2021年完成了对Humio的收购。此次收购增强了CrowdStrike的XDR功能,实现了实时数据摄取和关联。Humio是一家为综合日志管理提供云日志管理以及数据、指标和痕迹的实时可观测性的公司。该产品已在Crowdstrike的许多产品中得到应用,这些产品主要围绕CrowdstrikeFalconLogScale和FalconSearch保留业务。

通过收购Humio,CrowdStrike极大地改进了其数据湖产品,受益于Humio利用经济高效的云存储桶进行大规模日志记录的能力。这一整合增强了CrowdStrike的能力,使其能够在不同环境中进行更全面的日志记录,并促进实时威胁检测。这一广泛的数据频谱可容纳大规模、多TB的数据摄取,并确保统一的可视性。通过基于云的桶式存储,它消除了实时数据和归档数据之间的界限。对于DevOps而言,CrowdStrike获得了一个确保即时数据可观察性的工具,并利用简化的查询语言有效地汇总实时日志数据。其他优势还包括通过基于角色的访问控制、自由文本搜索和高级告警机制简化了用户管理,这对于主动式基础设施监控和灵活、不受限制的数据查询至关重要,有效优化了CrowdStrike在先发制人的安全措施和运营控制方面的态势。它还允许他们取消对无索引和无预解析字段搜索的限制,以提高灵活性。

SentinelOne:XDR

同样,Scalyr提供日志分析和可观测性SaaS,以支持云应用。该公司的平台提供云原生日志管理、可视化和分析工具,可将服务器日志和指标汇总到一个实时、集中的系统中。

总之,Scalyr的技术增强了SentinelOne的XDR功能。它使他们能够在多个系统中摄取更多TB的数据,并进行更好的关联,从而使安全团队能够自主检测、响应和缓解威胁。与Crowdstrike相比,SentinelOne还没有进一步开发下一代SIEM解决方案。他们完全专注于构建奇点数据湖(singularityDataLake)和奇点XDR保护平台。还有其他解决方案,如MicrosoftSentinelOne,我们还没有广泛讨论。

PaloAlto的CortexXSIAM

CortexXSIAM是PaloAlto集SIEM、XDR、ASM(攻击面管理)和SOAR安全操作平台于一体的综合解决方案。其中许多不同的解决方案来自于他们之前对不同厂商的收购。他们的愿景是创建一个自主的SOC平台,以简化和增强安全操作。

现场的一些对话强调,PaloAltoNetworks的生态系统不像其他一些厂商那样开放,这对于希望避免被一家公司束缚的公司来说可能是一个挑战。使用谷歌BigQuery的XSIAM平台不允许客户直接访问数据湖,这就限制了客户,使他们只能通过用户界面和API使用该产品。对于希望直接访问其数据进行分析的客户来说,这可能是一个限制。但是,如果客户已经将PaloAlto用于其网络或EDR平台,那么他们就不会有上述问题。

AI响应与自动化(下一代SOAR)

虽然SIEM非常适合汇总日志和进行检测,但传统上它们缺乏自动修复工作流的功能。因此,相邻的SOAR赛道应运而生:安全编排自动化与响应。Splunk开发了自己的本地SOAR,但Tines、Torq、Demisto(被PANW收购)和RevelStoke(被ArcticWolf收购)等其他公司也在此领域成为领先的独立解决方案。

SOAR如何发挥作用

Torq

该赛道中的新一代提供商正在利用人工智能创建更高保真的响应和自动化。这些平台利用人工智能对安全事件做出高度精确的自动化响应。它们超越了预定义的工作流程,利用上下文智能实时决定最佳行动方案。有许多初创公司,如Torq、Tines、Hunters、DropzoneAI、Prophet和Symbian,都主要专注于这一赛道。

内部云DIY数据湖

有些公司拥有庞大复杂的SOC团队,他们决定构建和管理自己的安全工具。其中许多公司倾向于使用现有的Snowflake和Databricks数据平台构建整个SIEM。公司必须手动构建自己的检测规则和查询,以获取安全数据的摄取和检测。内部工作越多,需要的安全人才就越多。Snowflake具有良好的热数据存储能力,但没有冷存储层。这在拥有安全人才的高端市场更受欢迎。设计模式通常如下:

竞争格局讨论

SplunkES

检测分析层:PantherLabs&HuntersAI

Panthers和Hunters都要求客户即拆即换并部署其云计算下一代SIEM。Anvilogic等其他公司则帮助企业更轻松地管理变化和复杂的过程。Anvilogic的平台可以通过AnvilogicSplunkApp在其Splunk部署中部署检测,并逐步将当前未在Splunk中处理的大量数据转移到Snowflake,以获得额外的检测覆盖范围。这种过渡具有成本效益,可以按照客户自己的节奏逐步完成。使用Anvilogic,客户可以保持对数据管道的完全控制。其模块化检测功能允许检测直接在客户的数据平台(Splunk、Azure和Snowflake)上运行,支持独特的多数据平台策略,是企业SOC的理想选择。相反,Panthers和Hunters在将数据长期存储到Snowflake之前会对数据流进行处理,这就要求客户将所有数据发送给这些厂商。这一过程可能会导致合规性、成本和锁定等问题,让许多企业对其数据的运输地点感到不安。最后,Anvilogic还通过集成的SOCCopilot与Panthers和Hunters区别开来,Copilot经过SOC专业知识、底层数据模型和Snowflake、Splunk和Azure架构的全面培训,可访问VirusTotal、IPinfo、WHOIS等各种外部威胁情报工具,提供在线SOC援助,减轻检测工程、调查、分流和威胁狩猎活动中的人工任务。

云数据平台/下一代SIEM/XDR平台

下一代SIEM的威胁检测内容通常非常分散,主要用于支持将数据导入其平台的连接器。PaloAltoNetworksXSIAM或IBMQRadarCloudNative等解决方案尽管提供了大量嵌入式威胁检测内容库,但往往重数量轻质量,导致大量选项缺乏可操作的规则集,而且安全团队也不容易进行定制。厂商提供的内容往往缺乏关于企业如何有效地将其内容付诸实践的明确说明,导致检测工程(DE)团队不得不独立确定日志源要求,以启动规则集。Anvilogic的威胁检测内容由其内部紫色团队维护,该团队定期研究威胁环境,将威胁行为者的技术转化为直接面向Azure、Splunk和Snowflake用户的量身定制的检测集,并提供带有SOCCopilot的低代码生成器,可在几分钟内轻松构建自定义检测内容。

此外,值得注意的是云服务商。云服务提供商SIEM,如Chronicle、Sentinel和AWSSecurityLake提供的SIEM,由于其对现有CSP客户的补贴定价模式,为降低SIEM许可成本提供了一个潜在的解决方案,但它们也有自己的挑战,如痛苦的翻新和替换过程,以及CSP自身数据源之外的有限功能,因此与其他SIEM相比,它们的解决方案对某些企业来说并不实用。

至于XDR平台,如果您已经从套件厂商那里购买了其他产品,那么这些平台有利于整合,但它们也有一些缺点,例如,撕裂和替换过程很痛苦,由于其黑盒性质,检测工程和内容很差,难以定制,而且在厂商自己的EDR数据之外,其功能也很有限。

市场的未来发展方向

在追溯市场演变和会见该领域的创始人/投资人的过程中,我们发现了几个主要的主题。如果有一点是明确的,那就是SIEM行业的未来不会像过去那样。基础设施、数据量、人工智能和攻击模式的发展趋势要求SOC团队继续调整他们的工具。行业正在抓住的几个趋势:

THE END
1.安全编排自动化与响应(SOAR)技术解析腾讯云开发者社区就目前而言,SOAR 的三大核心技术能力分别是安全编排与自动化、安全事件响应平台、威胁情报平台。 1. 安全编排与自动化:这是SOAR的核心能力和基本能力 安全编排与安全自动化是两个不同的概念。其中,安全编排 (Orchestration) 是指将客户不同的系统或者一个系统内部不同组件的安全能力通过可编程接口 (API) 和人工检查https://cloud.tencent.com/developer/article/1793767
2.什么是SOAR?网络安全soar结合安全编排、自动化和响应,SOAR 平台还可能包括添加威胁情报管理(TIM)。威胁情报管理 (TIM) 使组织能够更好地了解全球威胁形势,预测攻击者的下一步行动,并迅速采取行动阻止攻击。 威胁情报和威胁情报管理之间存在显著差异。威胁情报是有关威胁的数据和信息,而威胁情报管理是收集有关潜在攻击者及其意图、动机和能力的https://blog.csdn.net/m290345792/article/details/142577178
3.如何基于SOAR实现数字化网络安全那再比如说这个Usercase,这些都是基于SOAR的这样一个平台,有一个很好的协同作战室,去响应我们的一个人员事件任务的分工,让大家在遇到事件的时候能够做到应急响应。 总结优化 最后就是一个总结优化,这边说到的就是安全经验数字化能力即安全运营。 我们很多时候站在甲方视角去说,我作为一个防御者,我处理过哪些安全事https://zhuanlan.zhihu.com/p/610502563
4.安全运营平台:基于SOAR的安全编排自动化安全编排自动化是指利用安全编排、自动化和响应(SOAR)平台,对安全事件进行自动化的检测、响应和修复。通过对安全编排的自动化,可以大大提高安全团队的工作效率,缩短安全事件响应的时间,并减少人为错误。下面我们来了解一下SOAR平台的基本原理和安全编排自动化的实施方法。 https://www.jianshu.com/p/2f784e1c88bb
5.安全编排自动化与响应系统(SOAR)安全运营奇安信安全编排自动化与响应系统(SOAR)是国内技术先进、功能完备、面向实战化安全运营的安全编排自动化与响应系统,能够帮助企业和组织将繁杂的安全运营(尤其是安全响应)过程梳理为任务和剧本,将分散的安全工具与功能转化为可编程的应用和动作,然后借助编排和自动化技https://www.qianxin.com/product/detail/pid/360
6.GitHubZBN SOAR 是什么? ZBN SOAR是一款安全编排与自动化响应平台,将安全产品以及安全流程链接整合起来,通过预定义的工作流(Workflow)和剧本(Playbook)来标准化事故的调查处置流程,提升威胁响应的自动化程度和执行效率。 ZBN SOAR 的价值 缩短应急处置安全事故的时间 https://github.com/zbnio/zbn
7.为什么安全编排自动化和响应(SOAR)是安全平台的基础?SOAR 是下一代安全平台的核心 安全编排、自动化和响应 (SOAR) 解决方案基于Gartner定义的四个引擎而构建,分别是:工作流和协作、凭证和案例管理、编排和自动化以及威胁情报管理。 结合采用这些功能可以将人员、流程和技术融合在一起,进而提高SOC生产效率、缩短事件响应 (IR) 时间。因此,这些引擎也能够为强大的安全堆栈https://articles.e-works.net.cn/security/article146763.htm
8.SOAR可扩展的检测与响应平台XDR(分布式)SOAR(安全编排与自动化响应)通过将安全事件响应进行编排,实现对事件处置和告警像剧本一样的执行,可实现对安全事件的闭环处置,减少人员的干预和投入。安全工程师可以使用SOAR对事件、告警、脆弱性、漏洞等安全风险进行处置,并通过联动第三方应用进行流程化管理。 https://support.sangfor.com.cn/productDocument/read?product_id=141&version_id=1049&category_id=290813
9.什么是SOAR(安全编排自动化和响应)?IBMSOAR 科技是对早期三种安全工具的融合。Gartner 于 2015 年首次提出了“SOAR”一词。SOAR 平台将安全事件响应平台、安全编排和自动化平台以及威胁情报平台的功能结合在一个产品中。 为了解现代 SOAR 解决方案的工作原理,可以按核心功能将其分解:安全编排、安全自动化和事件响应。 https://www.ibm.com/cn-zh/topics/security-orchestration-automation-response
10.一文轻松看懂:什么是SOAR(安全编排自动化与响应)?许多漏洞数据库都是威胁情报的信息来源。一些参考方法(例如CVE列表)可以让我们更方便地在数据库与平台之间识别和共享这些漏洞。威胁情报平台会从各种信息流(Feed)中收集此类信息。SOAR 工具会利用多个威胁情报信息流来识别潜在威胁。它会将这些信息流聚合到一个统一的源中,供安全防护团队查询和用于触发自动化任务。https://www.redhat.com/zh/topics/security/what-is-soar
11.网络安全先进技术与应用发展系列白皮书—安全编排与自动化响应W5 SOAR安全编排与自动化响应平台-其他 W5 是一款基于 Python 开发的安全编排与自动化响应平台,为了企业安全做出了精心的打造,无需编写代码即可实现自动化响应流程,可节约企业 80% 的成本。 特点: 无代码 : 无需编写代码,即可让企业内部人员快速实现事件响应。 扩展强 : 提供插件模块,可以扩展让所有的应用平台集成https://www.iteye.com/resource/weixin_43013822-12025981
12.SOAR安全编排自动化与响应SOAR安全编排自动化与响应成功案例陈环境在猪八戒网成功发布一条SOAR安全编排自动化与响应 SOAR安全编排自动化与响应精品案例,在此页面可以获取关于该案例的背景信息,详细介绍以及成果展示,帮助您更好的了解该成功案例https://www.zbj.com/al/607722.html
13.什么是SOAR(安全编排自动化和响应)?Elastic随后,新一代的 SOAR 供应商扩展了他们的技术,以便处理更广泛的安全事件。在此期间,自动化策略变得越来越完善,SOAR 平台也变得更加易于用户使用。 SOAR 如何运作? SOAR 解决方案详细说明了已建立的调查和响应协议,从而为分析师提供指导并为自动化奠定基础。通过在整个生态系统中的双向集成,使得常规调查和响应流程能够https://www.elastic.co/cn/what-is/soar
14.什么是SOAR?技术和解决方案Microsoft安全了解SecOps 团队如何使用安全编排、自动化和响应 (SOAR) 工具来查找威胁、简化响应并先于攻击者采取行动。https://www.microsoft.com/zh-cn/security/business/security-101/what-is-soar
15.顶级安全编排和响应(SOAR)软件FortiSOAR 可大幅缓解安全团队工作负担,无需同时管理大量安全工具,无需调查大量告警,无需进行大量手动和重复流程,加快响应速度。部署 FortiSOAR,您可实现 IT/OT 安全操作和任何关键企业功能的集中化、标准化和自动化。FortiSOAR 凭借广泛集成、海量丰富的应用场景功能、数百个预构建工作流和简单的 Playbook 创建优势,支https://www.fortinet.com/cn/products/fortisoar
16.安全协调自动化和响应(SOAR)什么是安全协调、自动化和响应(SOAR)? 安全协调、自动化和响应(SOAR)是指一个集成的、兼容的软件解决方案系统,它允许组织自动收集网络安全数据和事件响应,并在此过程中提高安全运营的效率。 在许多方面,SOAR 代表了安全信息和事件管理 (SIEM)的演变。它整合了事件日志和来自第三方的数据,包括外部威胁情报、端点安全https://www.blackberry.com/cn/zh/solutions/endpoint-security/soar
17.什么是SOAR?安全事件响应平台(SIRP)在 SOAR 出现之前就一直存在,是一个针对安全事件进行响应和处置的平台。但 SOAR 出现后,安全事件响应与安全编排与自动化的结合使得响应的能力获得了极大的提升。通常,安全事件响应包括告警管理、工单管理、案例管理等功能。 威胁情报平台 https://info.support.huawei.com/info-finder/encyclopedia/zh/SOAR.html
18.安全编排自动化和响应(SOAR)软件行业细分市场规模分析睿略咨询发布的安全编排、自动化和响应(SOAR)软件行业调研报告共包含十二章节,从不同维度总结分析了国内安全编排、自动化和响应(SOAR)软件行业发展历程和现状,并对未来安全编排、自动化和响应(SOAR)软件市场前景与发展空间作出预测。报告的研究对象包括安全编排、自动化和响应(SOAR)软件整体市场规模、产业链概况、中国以https://www.shangyexinzhi.com/article/7757973.html
19.天翼电子商务有限公司2022年安全编排和自动化响应平台(SOAR)建设天翼电子商务有限公司2022年安全编排和自动化响应平台(SOAR)建设项目招标公告 本招标项目仅供 正式会员查阅,您的权限不能浏览详细信息,请点击注册/登录,请联系工作人员办理入网升级。 联系人:陈思颖 电话:010-82656698 手机:15801679990 (欢迎拨打手机/微信同号) 邮箱:csy@zbytb.comhttps://www.zbytb.com/s-zb-23572899.html
20.安全编排自动化与响应解决方案市场指南》报告SOAR的预期功能包Gartner将SOAR定义为“将事件响应、流程编排自动化及威胁情报平台管理功能集中在一起的解决方案”。“SOAR产品可用于记录和实施流程、支持安全事件管理、将基于机器的协助应用于安全分析师和操作员、更好地运用威胁情报等多项安全操作。工作流程可以通过与其他技术的集成来进行编排,并自动化实现预期结果,如事件分诊、事件https://xueqiu.com/S/SH688561/224001000
21.安全编排协同响应处置管理(SOAR)基于工作流引擎的安全编排,通过应用 (App) 和动作 (Action) 机制来实现可编排指令与实际系统的对接,实现对安全事件的自动响应,完成定期运维任务的流程化编排,结合安全运营流程,实现对安全编排过程的自动监控、响应、处置以及状态监督与跟踪。多平台联动通过与威胁情报、安全运营等平台的联动,基于情报、告警信息,依据编排http://www.topsek.com/site-List-72.html
22.基于SOAR的安全运营自动化关键技术构建及未来演进方向研究摘要 本文针对现有的安全可视化编排及自动化响应技术,提出将复杂的APT威胁场景、漏洞、自动化响应验证、关键基础设施合规管理等安全能力纳入到现有SOAR(Secuity Orchestration Automation Resp展开更多 作者 陈逍潇 周鹏 钱经玮 周慧凯 机构地区 国网浙江省电力有限公司信息通信分公司 出处 《产业科技创新》 2023https://qikan.cqvip.com/Qikan/Article/Detail?id=7109863609