【导读】在当今软件开发和科学研究领域，项目的复杂性日益增加，提升研发效率已成为行业迫切需求。本文深入探讨了大模型技术在研发效率提升方面的应用与实践，以实战摸索的方式，真实揭示了大模型究竟能够如何助力企业实现数智化转型。
作者|孟伟
责编|唐小引
出品|《新程序员》编辑部
随着软件开发和科学研究的复杂性不断增加，人们对提高编程及研发效率的需求也越来越迫切。传统的编程工具和方法已经无法满足这一需求，因此人们开始探索新的技术手段来提升编程和研发效率。大模型作为一种新兴的人工智能技术，被广泛应用于辅助编程和研发效率提升领域。
研发类AI场景分析
研发流程非常繁多，从项目立项到需求分析，再到产品设计、研发，再进行测试，进而投产和运维，贯穿了复杂的管理流程。
基于大模型的需求管理
大模型能对用户提出的需求进行语义理解，识别其内在结构与逻辑关系，自动将需求拆分成独立的子需求。比如从一个用户定义的需求，自动提取出多个具体的产品需求点。
（1）对需求进行自动介绍，指出需求背景、用户痛点以及实现该需求能为用户带来的价值。
（2）将用户用简单语言说明的需求，转化为标准的产品需求格式，详细描述功能点和约束条件。
（3）根据需求类型和项目阶段自动生成验收标准与测试用例。
具体包括：
（2）用户通过在线对话的方式与系统交互，利用自然对话流程定义需求内容。
此外，大模型还可以为需求管理提供以下能力：
（1）识别需求之间的依赖关系，绘制需求关系图。
（2）利用主观概率算法为每个需求点评估重要程度与难易程度。
（3）通过对历史需求数据进行学习，提出可行性评估与风险识别。
分析设计
（1）根据需求内容自动提炼重点，生成不同层级的内容提纲供浏览。
（2）根据产品类型和功能，绘制系列设计原型图或流程图，标识主流程和交互点。
（3）通过创意思维自动编写故事情景，展现产品如何解决用户痛点。
（4）对文档内容进行翻译、注释或解释，协助设计人员更好地理解需求细节。
（1）将图片、表格等非文本内容引用至正文，生成文档框架。
（2）在设计文档中自动标注待完善部分，给出改进建议或待定事项。
（3）检测文档风格与格式是否统一，给出转换建议供修改。
（4）将结构化设计文档自动生成到各类格式文档中，如Word、PDF等。
此外，分析设计阶段还可以利用大模型：
（1）检测设计方案创新性及可行性，给出评价建议。
（2）将历史优秀案例自动归纳提取，运用到当前设计中。
开发流水线
（1）根据历史任务资源使用状况，针对不同类型任务动态设置资源上下限。
（2）根据任务并发情况实时调度任务到不同规模的资源池，聚焦于提高整体利用率。
（1）通过对比历史错误日志，识别重要提示词进行分类，快速定位错误原因。
（1）根据用户自然语言自动创建符合用户需求的流水线。
（2）根据代码库结构，结合部门代码库和流水线规范，自动生成流水线。
（3）通过API调用底层工具，完成流水线的执行。
此外，开发流水线优化还可以：
（1）在不同阶段进行分支管理与合并。
（2）监控流水线状态并发送实时提醒，追踪任务进度。
（3）支持流水线模板管理和多项目重复应用。
CCA
（1）针对代码漏洞、引入组件、开源合规、安全漏洞等问题提供一站式解决方案。
（2）当前代码存在哪些漏洞/问题，推荐如何治理，无需人工搜索。
测试管理
（1）自动创建测试计划。根据接口文档自动创建基准场景和边界条件测试计划。
（2）实例化测试记录。测试通过后自动更新通过率及接口文档，实时反馈测试进度。
版本管理
实现版本发布无人化，包括文档自动生成，和版本发布审批决策智能化。
研发大模型应用平台整体架构和思路
基础模型选择思路
对于基础模型的选择，在参数上有以下一些考虑：
这是目前综合性能与部署成本的平衡点。像10B左右的微型模型，在保留很强生成能力的同时，参数量相对较小，易于部署和精调。
如果有一定预算，可以选择略大一些的模型，像GPT-J25B，具有更全面强大的语言理解和应用能力。若重视研发投入且需要应对更复杂任务，选择50B以下大模型也未尝不可。
超过100B的天然语言处理大模型，由于其部署和使用成本还不可控，当前尚不宜直接应用于产品。
总体而言，当前10B-50B之间的模型规模是一个比较适宜的选择窗口。它可以满足大多数日常需求，同时考虑到成本和易用性的因素，超过这个范围就需要根据实际应用场景具体权衡。
其次，还需要考虑模型的开源程度。半开源模型信息不对称度高，我们优先选择完全开源的模型，可以推进后续定制和社区研发。
综上所述，对基础模型选择的标准如下：
当前主流的基础模型如表1所示，最终我们选择CodeLLaMA作为基础模型。
表1主流模型对比
增强预训练
模型选好后，接下来就是对模型进行增强预训练。增强预训练的框架要解决两个问题：资源和速度。我们采用以下优化方式：
对于模型训练，我们可以采用3D并行训练的方式来实现。将模型参数和梯度张量划分为多个分区，分配到不同GPU卡上进行计算。每张卡负责自己分区的梯度和参数更新工作，间隔时同步到其他卡上。这样可以很好地利用更多计算资源，降低单卡资源需求。
同时，我们还可以采用DistributedDataParallel的方式，将训练数据并行读取和样本处理工作分发到各节点，充分利用多卡资源进一步提升训练速度。对于节省GPU资源，我们使用ZeRO技术。这个技术通过对静态和动态参数/张量进行精细地分区存储，有效减少显存占用。同时它支持异步参数更新，计算和参数传输可以重叠进行，有效缩短迭代周期。
对于模型训练加速，我们采用FlashAttention技术。它通过对注意力操作进行分块并进行融合，如将QK乘积和后续运算融成一个算子，可以大幅减少数据传输次数，从而提升计算吞吐。
训练数据组织及语料库建设
进行数据预处理。预处理是组织训练数据的关键步骤，包括数据清理、去重、变换等。数据清理主要是去除无效、错误或重复的数据；去重则是去除重复的信息，以避免模型过拟合；变换则是对数据进行必要的转换，以便于模型的学习和训练。
合理组织训练数据。首先要将数据进行分类，按照不同的任务需求划分不同的数据集。例如，可以将数据集分为训练集、验证集和测试集，以便于模型的训练和测试。同时，要合理存储数据文件，可以选择常见的存储格式，如CSV、JSON等，并确保文件的安全性和完整性。
图1训练数据组织及语料库建设架构
语料库是语言学研究的基础，为自然语言处理任务提供丰富的语料信息。建设语料库的目的是为了满足特定语言任务的需求，如文本分类、情感分析、信息提取等。
选择合适的语料库构建方法。常用的语料库构建方法有手工采集、自动化采集和混合采集。手工采集适用于小规模、高质量的语料库建设；自动化采集则可以快速地获取大量语料信息；混合采集则是结合前两种方法的优势，以获得高质量且大规模的语料库。
做好语料库的管理和维护。为了确保语料库的安全性和可靠性，需要对语料库进行科学的管理和维护，这包括文件管理、关键词提取、数据备份等。要建立完善的文件管理制度，对语料库进行合理的分类和存储；同时，要定期对语料库进行关键词提取，以便于检索和使用；此外，还要定期备份语料库数据，以防止数据丢失或损坏。
精调方法选型
接下来，需要对大模型进行精调。针对已经预训练好的研发大模型，在具体应用任务上进行优化和微调，以适应研发领域和应用场景的需求。在精调中，面临的问题包括：
大模型通常需要大量的显存来存储模型参数和中间状态，而显存的有限性限制了模型的规模。在进行精调时，如果使用的数据量较大或者模型的复杂度较高，显存占用量可能会超过预训练的需求，导致模型训练失败或效率低下。
大模型通常需要大量的计算资源来进行推理和训练，这包括CPU核心数、GPU内存和显存等。在进行精调时，如果使用的数据量较大或者模型复杂度较高，计算量可能会超过预训练的需求（单位数据量），导致模型训练速度变慢或者无法收敛。
此外，大模型精调还可能面临其他问题，如模型复杂度过高导致调参困难、数据量过大导致过拟合风险增加等。因此，在进行大模型精调时，需要根据实际情况进行权衡和优化。
图2精调方法选型
精调需要达到降低计算和存储成本、提高泛化能力和轻便性、克服灾难性遗忘的问题、根据不同任务动态地调整额外参数的效果。因此，我们需要在保持预训练模型的大部分参数不变的情况下，只微调少量额外的参数。在资源足够的情况下，也可以选择全量精调（选型可参见图2）。
研发大模型实践结果
当然，大模型的使用也面临一些挑战，如计算资源需求和数据隐私问题。这些挑战主要来自于大模型庞大的计算规模和对大量个人敏感数据的依赖。经典的大模型需要大量GPU资源进行训练与推理，离线部署效率低下；同时由于学习自大量的互联网数据，模型内可能含有用户隐私信息。