微矿Qlib:业内首个AI量化投资开源平台

近期,微软亚洲研究院正式发布了AI量化投资开源平台“微矿Qlib”。这是微软亚洲研究院成立“创新汇”三年以来,在与金融行业的成员企业合作研究的基础之上,打造的AI+金融跨界创新的阶段性重要成果,通过创建一个通用的技术平台,帮助实现量化投资流程的AI闭环。

Qlib涵盖了量化投资的全过程,为用户的AI算法提供了高性能的底层基础架构,从框架设计上让用户可以更容易地应用AI算法来辅助解决量化投资的各个关键问题(例如Alpha预测,风险预测,市场动态性建模)。

对于金融从业者来说,Qlib平台大大降低了使用AI算法的门槛,其内部集成了十几个AI算法在金融场景下的使用样例以供参考,并且为整个金融行业提供了一个适应AI算法的高性能基础设施和数据、模型管理平台。而对于AI从业者来说,Qlib则提供了一个完备的投资研究框架,以及基于领域知识设计的多个跨市场的数据集和业内领先的基准。

与传统量化投资工具不同,Qlib覆盖了量化投资的全过程,而且从底层构造开始就专为AI而生,从数据处理到计算力支撑,再到模型的训练与验证,都为基于AI的量化投资提供了全方位的框架支持。用户可以通过Qlib平台提供的多个工具模块,更加轻松地管理和使用自己的算法,特别是其AI算法。Qlib的三大特点:

从Qlib的功能模块图我们便可一窥全貌。

Qlib平台功能模块

最底层的是基础架构层(Infrastructure)。Qlib的数据服务模块(DataServer)提供了高性能的数据存储设计,让AI算法可以更快地处理更多金融数据。训练模块(Trainer)则为AI算法提供了灵活的接口来定义训练模型的过程,让Auto-ML等算法成为可能,也为分布式训练提供了接口。而模型管理模块(ModelManager)可以让用户更好地管理繁多的AI模型,更快地迭代其AI算法。

中间层是量化投资流程(Workflow)。信息抽取模块(InformationExtractor)负责从异构数据中提取有效的信息,因为用AI进行投资分析数据是关键,尽管金融行业有一定的数据基础,但AI模型可以直接使用的高质量数据仍然十分有限,所以这就需要更多精细化处理和信息抽取。之后,预测模型(ForecastModel)会输入抽取的信息,输出可供金融专家参考的未来收益、风险等等预测,然而预测模型需要依靠底层海量数据才能训练出精准、有效的预测模型。而投资组合生成模块(PortfolioGenerator)则能根据预测得到Alpha信号和风险信号辅助生成投资策略组合。订单执行模块(OrderExecutor)是投资的最后一步——交易执行,帮助用户判断何时下单也是一门艺术。

在量化投资中,几乎不可能有一个模型在全时段都一直保持卓越的表现,所以对市场动态性建模,以及在不同时期适时地调整模型、策略、执行也是一个非常重要的课题。Qlib中元控制器模块(MetaController)的设计正是要支持这类问题的研究,实时提供精准的参考信息和方案,辅助用户进行操作。

最上层是交互层(Interface)。其中,分析模块(Analyzer)会根据下层的预测信号、仓位、执行结果做出详细的分析并呈现给用户。

事实上,传统量化投资开源平台的诞生大多早于AI和机器学习的兴起,更偏重于量化投资的回测、分析或执行方面的功能,不少平台只包含其中的某些部分。而Qlib所提供的数据处理、模型训练、投资组合生成等部分都是其特有的能力。Qlib完整的投资流程框架不仅让分析人员可以拥有更加整体的视角,而且工具齐全,需要什么都可以信手拈来。

由于AI技术是最近几年才开始进入投资研究领域的,传统的量化投资几乎没有采用AI技术,只需应对传统算法,所以基于AI的量化投资平台自然需要提供更强大的底层架构和接口支持。因此,Qlib提供了一个高性能的基础平台,从算力支撑到数据存取,都能够满足金融AI对于性能的高级别要求。

在数据层面,Qlib提供了基于领域知识设计的多个跨市场的数据集。其数据服务模块中内含了为金融数据专门设计的表达式计算引擎,对金融数据和运算进行了存储和计算优化。相比传统IT平台,Qlib的计算性能要快数十倍,可以让用户的AI模型更轻松地驾驭更多的数据。在数据的使用方面,AI模型与传统模式也有很大不同,传统量化投资的信息抽取依赖于金融行业研究员根据经验和领域知识实现的因子,但AI算法则有能力自动从数据中抽取信息。对此,Qlib的数据管理框架未来会满足AI模型所特有的使用方式。

值得一提的是,模型管理也是Qlib特有的部分。由于管理过程中会涉及模型众多、参数复杂、数据海量、管理追踪难/复现难等问题,Qlib提供了专门的模型管理器模块(ModelManager)帮助用户更加系统化地管理自己的AI模型。只有管理有序,才能在需要的时候找到最适合的模型,提高预测分析的效率和准确率。

投资研究是一个复杂的过程,其中的每个环节实际上都可以独立出来作为一个单独的研究课题。所以,Qlib在框架构建之初就考虑到了研究过程的灵活性,不能将流程固化,框架中的各个模块分则各具特点,合则浑然一体,这样研究人员就可以根据自己的工作流将不同的模块组合,灵活配置架构。

人们常说,术业有专攻,隔行如隔山,但在Qlib,行业区隔不再是难题,因为无论是金融从业者还是AI从业人员都可以从中找到自己的所需。

此外,Qlib也正在逐步成为学术界科研人员的有力工具。Qlib提供了大量的公开数据集、业界基准和相对统一的评价指标,有助于研究人员在测试新算法时省去不必要的、与核心工作无关的工作而专心于研究任务,同时也能够帮助研究人员定义合理的学术研究问题。

THE END
1.数算岛开源智算平台(SSDPAI)数算岛 开源 智算平台 (SSD-PAI) 数算岛 智算平台 (SSD-PAI) 产品概述 智能时代一体化算力服务平台解决方案 · 提供统一、灵活、易用、全面的算力资源管理与调度策略,解决传统算力使用场景中算力资源碎片化、用户需求多样化、运维管理工作量大等问题。https://blog.csdn.net/Roinli/article/details/141109565
2.SiliconCloud公测上线,每人免费送3亿Token生成式AI加速发展,开发者渴求更快、更便宜的推理算力,SiliconCloud将帮助开发者更低成本地使用大模型,降低大模型应用开发的门槛。 未来,我们将全方位支持大模型应用生态发展,推进主流开源大模型的可及性:一方面,免费送巨量token助力个人开发者打造创新应用,另一方面,助力大模型公司、AI应用公司实现推理的降本增效,进而促https://hub.baai.ac.cn/view/37566
3.异构算力开源社区HAMi举办首届沙龙,将发布新版本,效能全面提升近日,AI异构算力开源社区 HAMi 首届线下沙龙成功举办,并宣布将于25年1月正式发布 HAMi 2.5.0版本。新版本将支持mig、mps等多种算力切分模式,并优化WebUI管理能力及易用性。HAMi 是基于第四范式 vGPU 等异构算力技术打造,并与睿思智联、道客联合发起的一款异构算力管理开源工具,实现对硬件集群平台化管理、算力资源共https://tech.china.com/article/20241206/122024_1612934.html
4.国家数据局系统布局培育壮大数据产业贵州总算力规模40Eflops从上海市经信委和市通信管理局获悉,2024 年长三角生态绿色一体化发展示范区联合招商活动近日在江苏省苏州市吴江区举行,会上启动了长三角(上海)算力互联互通平台建设工作暨长三角枢纽算力平台互联互通。 长三角算力枢纽是中国 " 东数西算 " 工程规划的八大算力枢纽之一,规划设立了长三角一体化示范区和芜湖两大数据中心集群http://www.myzaker.com/article/66cef3a98e9f090aab70fec0
5.汽车行业车载智能计算平台深度研究:架构趋势格局2.2.2 趋势:集成化、高算力、先进制程、开放化 自动驾驶芯片是硬件部分核心,也是自动驾驶方案竞争的制高点,目前技术快速迭代背景下存在三点趋势: 第一点,集成化,MCU 加速走向 SoC。伴随整车电子 E/E 架构集中度提升(分布式→域集中式→中央集 中式),起决策作用的单元由 ECU→DCU→中央计算平台,ECU 数量大幅精简https://www.dongchedi.com/article/7131900552548139560
6.免费人工智能算力OpenI启智开源社区旗下的一站式AI开发协作平台,汇聚人工智能开源项目;提供代码托管、数据共享、模型训练等AI开发流水线功能;用户可在线使用鹏城实验室搭建的鹏城云脑、中国算力网的普惠算力,包含GPU、NPU等多样化加速资源。 启智AI协作平台,简称 启智社区 ,是一个开源在线Web应用,旨在为人工智能算法、模型开发提供在线协http://gitlab.c8hr.com/site/8845
7.行业翘楚论道未来想象2023开放原子全球开源峰会云原生分论坛圆满杨奕在题为《Sermant开源社区加速云原生微服务治理技术朝无代理架构的演进》的演讲中介绍了微服务架构演进历程,微服务架构从SOA到SDK再到Service Mesh的演进历程,以及各阶段所遇到的问题。 腾讯星辰算力平台技术专家陈显鹭 陈显鹭发表了题为《腾讯大规模云原生计算平台构建》的演讲,介绍了腾讯星辰算力平台发展历程。他表示:星https://www.openatom.cn/journalism/detail/ADwB2xUm22dc
8.打造最具活力的操作系统开源社区,全产业链共享多样性算力创新价值开源社区“共建、共享、共治”,打造协作创新平台 在以数字科技创新为引擎的经济发展新阶段,打造协同共生的计算产业生态尤为重要。为了加快多样性算力生态建设,华为计算确定“硬件开放、软件开源、使能合作伙伴”的生态战略。开源社区是社会高效协作打造软件生态的重要模式,华为把多年实践积累的软件能力开源开放出来,例如,将https://m.cls.cn/detail/648232
9.“息壤”引领首个算力互联互通验证平台建设,天翼云开启算力互联网6月21日,“2023算力互联互通大会”在北京召开。天翼云基于自主研发的云操作系统、紫金DPU、算力分发网络平台“息壤”等能力,作为算力互联互通验证平台的设计方、核心建设者、资源提供者与标准制定者,充分展现了跨服务商、跨架构、跨地域的算力互联互通能力,作为开源社区首批成员与核心贡献者推进国产开源社区体系构建,致力https://www.jiemian.com/article/9627289.html
10.“鹏城?脑海”通用AI大模型发布:2000亿参数,国产算力平台本次发布的是以中文为核心的“鹏城?脑海”基础版,将在 OpenI 启智社区向全社会开源。 ▲ 图源鹏城实验室公众号,下同 高文主任强调,鹏城实验室正同步研制“中国算力网”(China Computing Network,C2Net)全国一体化算力协同计算调度平台,以深圳为总调度中心,已汇聚全国协同算力达 3E 规模。“鹏城?脑海”大模https://www.ithome.com/0/720/661.htm
11.上海人工智能实验室华东师范大学上海智能教育研究院全球联合国际一流的开源、数据、算力平台 依托上海人工智能实验室与华东师范大学,并协同相关科研机构,建立国际一流的科研平台,为科研任务提供资源支持。 联合招聘研究领域 人工智能基础理论与方法:包括深度学习、可解释学习、因果学习、优化与决策、知识计算、情感计算、鲁棒与可信计算等方向。 https://maimai.cn/article/detail?fid=1696704512&efid=FWAZWMiNNQBgC9H0MotDFA
12.复旦大学与上海人工智能实验室全球联合招聘国际一流的开源、数据、算力平台 建立国际一流的科研平台,为科研任务提供资源支持,联合一流高校及研究机构搭建全球化团队。支持招募优秀研究和工程人员,给予一流高校博士生及博士后招收名额。 科研人员双聘和职称互认机制 上海人工智能实验室与复旦大学签订了战略合作框架协议,建立科研人员双聘和职称互认机制。 https://web.shobserver.com/sgh/detail?id=614846
13.算力调度平台人工智能大模型平台灵雀云AML赋能企业级人工智能落地,提供全栈开箱即用的GPU算力调度、AI任务管理、模型管理以及智能体开发能力,为企业提供端到端的智算中心平台。https://www.alauda.cn/solutions/ai
14.一场双向奔赴的招聘!上海人工智能实验室招聘管理支撑类岗国际一流的开源、数据、算力平台 建立国际一流的科研平台,为科研任务提供资源支持。 科技发展部负责人 岗位职责: 1.负责科研制度的制定与完善、科技发展规划、相关领域科研项目的全过程管理; 2.负责研发平台、科研装备平台的管理; 3.负责实验室重大科技项目、科技成果、创新平台等工作的策划、组织与协调; https://www.jfdaily.com/sgh/detail?id=659195
15.中共中央政治局:要坚持把科技创新作为主动力,积极开辟发展新领域华为云推出业界首个大模型混合云,华为云Stack 8.3在业界率先实现大模型能力基于混合云部署,提供算力平台、云服务、开发套件和专业服务等完整AI生产链,一站式建立专属大模型能力。基于原生混合云能力,用户可以将大模型从本地延伸到边缘和公有云;通过软硬协同实现算子融合与混合精度的优化,模型训练性能提升45%。 https://www.tmtpost.com/6819084.html