HAIPlatform：开源的AI训练平台

当下AI大模型如火如荼的发展，许多厂商开始构建起基于GPU的大规模深度学习训练集群。随着算力需求的扩大，一个能对GPU资源进行统一高效利用的AI平台，越来越成为各AI团队降本提效的重要武器。

构建一个能管理大规模GPU集群资源的AI平台，主要会遇到如下几个痛点问题：

针对上述问题，幻方AI在自建的萤火集群上进行多年的研发与测试，积累了一套高效管理GPU集群资源的AI训练平台方案，名叫HAIPlatform。其以任务级分时调度共享AI算力的理念将集群零散资源进行整合再分配，成功支持在1500+计算节点上稳定运行深度学习训练和其他多类型任务，日常算力占用率95%以上，日常GPU使用率75%以上，计算和存储节点间的数据吞吐7TB/s以上，服务了上百个AI团队。

现在，幻方AI将正式开源HAIPlatform，将这套久经考验的AI训练平台服务于更广阔的AI社区。HAIPlatform可以被部署在私有集群或公有云的GPU资源中，帮助您高效利用GPU集群资源，提升团队整体研发效率。我们希望让更多“想象力”和“创造力”生长，期待与各方科学家及开发者们一同共建AI时代。

安装与设置使用HAIPlatform，首先需要如下基础设施：

任务调度任务是HAIPlatform使用的基本单位，而非用户。所有用户提交的任务都由HAIPlatform统一管理和调度。

幻方AI提出分时调度理念对集群资源进行管理。用户提交任务，如运行python/bash代码，启动开发容器等，由平台根据当前资源需求、集群忙闲程度等进行任务的中断和加载。任务代码需要遵循平台编码规则以确保可以断点续跑，具体流程如下：

注意！部署HAIPlatform的集群不会将GPU资源池化，而是以计算节点为基本单位，根据资源类型、网络区域等条件进行分类标记。HAIPlatform鼓励用户一次性用满多张GPU，进行并行训练。用户提交任务时需选定节点数量n，则该任务可获得n的整数倍个GPU，比如在8卡计算节点上提交使用4个节点的任务，则该任务会获得32张GPU进行并行训练。

用户管理HAIPlatform提供以配额的方式记录集群的各类资源，通过优先级管理用户的使用权限。例如：某用户在NORMAL优先级上拥有10个计算节点的配额，其在HAIPlatform上提交若干个任务，则最多同时以NORMAL优先级调度10个计算节点运行。算力资源优先满足高优先级用户的训练需求，同优先级内则交替使用集群算力资源。

同时，每个用户都可以归属于某一个用户组。计算资源和优先级配额是按用户为单位进行分配的，而同组的用户可以共享自定义环境、私有数据存储。

此外，HAIPlatform还提供了管理员用户身份，其有权限执行用户创建、停用、归档等操作，调整各类资源和优先级配额，管理后台开发容器等。

环境管理部署HAIPlatform的集群会包含基础环境和用户自定义环境两种环境管理模式：

importhaienvhaienv.set_env('env_name')两种环境都可以通过haienv工具进行管理，适用于各种任务场景。通过基础环境的构建，我们希望尽可能降低AI研发前期的环境构建成本。

另外，HAIPlatformStudio子应用/monitor集成了一定的监控和管理能力，包括：

数据管理部署HAIPlatform的集群会将训练数据存储在文件系统中。训练中的任务会实时从文件系统中读取数据，流转到计算节点。这里，优良的文件系统将是提高GPU利用率，进而提升集群整体效率的决定性因素之一。