科普篇——算力(一) #人工智能# #算力概念# #华为# 第四次科技革命与AGI双浪叠加的时代背景下,新一轮科技创新周期将肇始于底层算力创新... 

狭义的概念上,算力是软硬件配合执行某种信息处理需求的能力。广义概念上,算力是集信息计算力、网络运载力、数据存储力于一体的新型生产力,主要通过算力中心等算力基础设施向社会提供服务。

2、算力分类

3、算力的作用

2)算力与数字产业化互为支撑

3)算力加速产业数字化“数实融合”

(2)算力是通用人工智能的核心动力

对AGI发展来说,数据、算力、算法三大核心要素中,算力向下扎根于数据,向上支撑着算法,将是驱动AGI发展的核心动力。

深度学习出现之前,用于AI训练的算力增长大约每20个月翻一番,基本符合摩尔定律;深度学习出现之后,用于AI训练的算力大约每6个月翻一番;2012年后,全球头部AI模型训练算力需求更是加速到每3-4个月翻一番,即平均每年算力增长幅度达到惊人的10倍;目前大模型发展如火如荼,训练算力需求有望扩张到原来的10到100倍,算力需求的指数级增长曲线将更加陡峭。这也意味着发展AGI需要巨大的算力成本投入。

02

驱动因素

1、政策支持算力基础设施高质量发展

在此基础上,各地市人民政府相继出台多项政策举措,大力支持算力产业发展,全国上下已形成积极推动算力产业快速健康发展的良好局面。

2、ChatGPT掀起AI大模型热潮,拉升算力需求

人工智能大模型训练数据量巨大,对算力尤其是智能算力需求庞大,且将在未来持续高增长,驱动全社会算力产业的快速发展。以GPT大模型为例,GPT-3模型参数约为1746亿个,训练一次需要的总算力为3640PF-days,而新一代GPT-4模型参数量将达到1.8万亿个,算力需求提高68倍。

ChatGPT的轰动引发全球人工智能大模型训练及应用的浪潮,驱动算力需求进入爆炸式增长阶段。尤其是针对人工智能的智能算力,更成为了算力产业未来发展的重要方向。

03

行业发展情况

1、发展情况:算力规模不断提升,产业体系逐步完善

根据《2023智能算力发展白皮书》显示。截至2022年底,全球算力总规模达到650EFLOPS,其中,通用算力规模为498EFLOPS,智能算力规模为142EFLOPS,超算算力规模为10EFLOPS。智能算力规模同比增加了25.7%,占比达21.9%。我国算力规模方面,截至2022年底,中国算力总规模为180EFLOPS,排名位居全球第二。其中,通用算力规模为137EFLOPS,智能算力规模为41EFLOPS,超算算力规模为2EFLOPS。

在数据存储力方面,我国存储规模不断扩大,截至2022年底,我国存储总量达到1000EB,较21年增加25%,以全闪存技术为代表的先进存力快速发展。

在网络运载力方面,我国网络基础设施建设不断完善。截至2023年6月,我国累计建成5G基站超过293万个,光缆线路总长度达到6196万公里。

从硬件设备角度,根据信通院测算,2022年我国计算设备算力总规模达到302EFlops,全球占比约为33%,连续两年增速超过50%。

2、发展方向:智能算力成为产业未来主流

智能算力是基于最新人工智能理论,采用领先的人工智能计算架构,提供人工智能模型训练及应用所需的算力服务、数据服务和算法服务。随着人工智能技术在经济社会的加速渗透,人工智能计算需求快速提升。数据显示,人工智能计算需求未来将占据80%以上计算需求,智能算力将成为算力产业未来发展的重要方向。

根据IDC统计数据,全球范围内人工智能支出快速增长,技术投资规模从2019年的612亿美元增长至2021年的924亿美元,2025年有望突破2000亿美元。

3、市场周期:需求爆发驱动进入涨价阶段

对于国内来说,算力的供应更加紧张。23年10月美国更新出口管制新规,将英伟达多款用于AI训练的高端GPU芯片纳入限制出口范围,国内进口GPU难度大幅增加。因此,在本轮全球算力行业涨价周期中,国内算力行业的价格上涨更为突出。

04

算力未来趋势

1、未来需进一步实现算力国产化产业

未来我国需从芯片技术自主创新、高性能计算平台建设、人工智能与深度学习、云计算发展、开源软件和开放合作、教育与人才培养几个方面进一步实现算力国产化。

2、未来算力将在普适和智慧两个维度上加速发展

未来算力将在普适和智慧两个维度上加速发展。“普适”强调以自然交互的方式提供算力,算力将成为人人可得(Affordable)、人人可用(Available)、人人适用(Adaptable)的“3A”型基础资源;“智慧”强调以认知驱动的方式提供算力,算力将具备自适应(Self-adapting)、自学习(Self-learning)、自进化(Self-evolving)为代表的“3S”智能。对于构建“人-机-物”三元融合系统来说,普适和智慧缺一不可,算力终将无处不在。

(1)“普慧”算力助力充分释放数据红利,中国数字经济体量有望突破百万亿元

当前,数据对提高生产效率的乘数作用不断凸显,是最具时代特征的生产要素,与其他生产要素相比,数据具有可复制、非消耗、边际成本接近于零等新特性,打破了自然资源有限供给对增长的制约,能够为经济转型升级提供不竭动力。

(2)“普慧”算力推动大小模型协同进化,通用人工智能将真正走向落地

AI大模型的真正价值最终将体现在具体场景中,未来产业竞争将从“规模”转向“应用”。目前大模型训练都在云端实现,所用算力是中心化的,精度要求高且成本高,意味着大模型落地必然会面临能耗和性能平衡的难题。破局之道在于大小模型协同进化,即在利用大参数训练完大模型之后,通过高精度压缩,将大模型转化为端侧可用的小模型,大模型相当于超级大脑,小模型相当于垂直领域专家,共同推动AGI落到实处。而这一过程中,算力由中心化走向泛在化,由通用化走向智能化,恰恰也是“普慧”算力释放价值的过程。

“普慧”算力作为通用人工智能的核心动力,既是帮助科技公司搭建AI模型的“卖铲人”,又是检验算力公司创新能力、制造能力的“试金石”,更是推动中国迈向科技强国的“加速器”。在全球算力供给告急的背景下,“普慧”算力正在迎来规模化、产业化发展机遇。

(3)“普慧”算力要求安全不容有失,数据、算法、算力三位一体

1)数据安全:已上升至国家立法层面

中国已将数据安全提升至国家立法的层面,《国家安全法》《网络安全法》《数据安全法》及《个人信息保护法》等共同构筑了数据安全保护的法律法规框架体系。推动算力发展过程中,数据流动和安全发展的矛盾将逐渐显现,必须严守数据安全防线,规避数据泄露、数据贩卖、数据滥用等风险。《全国一体化大数据中心协同创新体系算力枢纽实施方案》强调,“加强对基础网络、数据中心、云平台、数据和应用的一体化安全保障,提高大数据安全可靠水平。”

2)算法安全:伦理规范问题不可忽视

公开资料显示,ChatGPT已经引起美国、欧盟等关于人工智能立法的讨论,实际上AI决策难以解释、不可问责一直是棘手难题,导致了无人驾驶、手术机器人等难以落地,数字金融欺诈、大数据杀熟、生物特征识别等更是不断引发信任危机。随着ChatGPT等生成式AI走向应用,AI在“可解释性”上面临的挑战可能更加严峻,例如,现阶段ChatGPT有能力完成各种基于文本的任务,但它不可避免地会产生一些与事实不符的内容,原因是ChatGPT在回答问题时只是根据前一个单词“预测下一个单词”,进而生成答案,这一过程绕不开神经网络运行机理产生的黑箱效应,运行过程难以解释,部分运行结果的说服力也将大打折扣,某种程度上,AI缺乏“可解释性”带来的“不可信”,正在阻碍AI大规模应用,也是算力发展必须克服的难关。

中国正在以算法安全可信、高质量、创新性发展为导向,建立健全算法安全治理机制,构建完善算法安全监管体系,推进算法自主创新,《关于加强互联网信息服务算法综合治理的指导意见》《互联网信息服务算法推荐管理规定》等政策文件出台,中国开始迈向对算法进行事前事中全流程、动态规制与监管的“算法法”时代。

3)算力安全:战略地位将进一步提高

对比数据安全、算法安全来看,未来中国算力安全的战略地位有机会且有必要进一步提升。在国家政策层面,算力安全受到的重视程度相对不足,多以地方政府级别的政策为主,保障算力安全需要国家从顶层设计发力,推动各界共同努力。目前高端芯片、数据中心、网络等基础设施是算力产业可持续发展的重要保障,要以核心技术自主创新为牵引,加快研发突破,通过产学研联合攻关增强算力产业链的稳定可控性,不断提升算力的自主可控水平。此外,中国超大型、大型数据中心仍有较大发展空间,需坚持适度超前原则,以建代用,尽可能提高算力基础设施的承载能力。

(4)“普慧”算力发展任重道远,绿色化、场景化、市场化三措并举

1)算力绿色化关乎可持续发展,亟需提高单位能耗的计算能力

能量和信息是科技发展的主线,计算的本质是利用能量对信息进行处理加工,信息越多,计算就越复杂,需要的能量也越多,当能量增长跟不上近乎无限扩张的信息时,提高能量利用率将成为必然选择。

2)算力场景化面临知识壁垒,亟需业务、数据、算力高效联动

算力要落地到具体场景中才能真正转化为生产力,而行业愈是细分、业务愈是复杂,算力场景化落地面临的“知识壁垒”就越高。例如,大量行业垂直类软件要求高度凝练总结行业经验、最佳实践等知识,这一知识软件化的过程,经常伴随着非结构化和半结构化数据占比不断升高、数据负载从单一负载转向混合负载等结果,会使得数据流通、压缩存储、加密解密等对算力的需求趋向复杂化和定制化,正倒逼着算力服务商不断提高行业理解力、强化数据资产沉淀、提高算力针对场景化需求的适配度等。

可以预见,随着各行业全要素、全流程、全场景迈向数字化和智能化,数据架构和业务架构将不断向更强大的算力平台上迁移,实现“业务、数据、算力”之间的高效联动,是保证算力资源按需匹配、精准赋能的必要前提。

3)算力市场化仍需加强,亟需多方共同推动算力统一交易

当前算力需求增长确定性高,算力供给规模相对有限,通过市场化交易可以大幅提升算力资源配置效率,是破解算力供需矛盾,推动算力产业生态进入正向循环的关键。各方仍在积极探索算力交易模式,亟需解决算力归属复杂、难以度量定价、区域发展不平衡等问题。

针对算力归属复杂的问题,主要原因在于当前规模化算力基础设施大多由多方共建,要求算力建设方明确划分算力资源占比,保证算力产权可溯源;针对算力难以度量定价的问题,可以提倡由行业管理部门和龙头类企业带头建立统一标准,为算力定价提供可靠依据;针对算力区域发展不平衡问题,在“东数西算”工程稳步推进过程中,各级地方政府部门可以结合区域算力资源禀赋和市场环境,“因地制宜”建设算力基础设施,积极融入全国算力一体化网络,大力建设算力供需适配平台、算力交易平台等,畅通区域间算力流通、共享、按需分配。

05

产业链分析

算力产业链上游涵盖由基础硬件、基础软件等,中游由第三方数据中心、云计算服务、网络运营服务、IT外包服务、系统集成服务构成,下游为应用领域,由互联网、制造业、金融、能源等各行业企业用户构成。

1、上游重点环节

2024年,预计算力仍是发展主线之一,GPU、其他各大厂商的云端AI芯片等有望保持高增长,服务器也有望跟随受益。

(1)芯片:国产芯片厂商快速崛起,生态加速丰富

1)GPU:性能持续进化,价值量提升

当前阶段,GPU仍然是算力硬件的主流选项。以中国为例,按照IDC统计,2023年上半年GPU服务器占据加速计算服务器90%的比例,其余NPU、FPGA等形式的加速计算服务器占比为10%,此前几年GPU也一直是主流选项。

2)AI芯片:百花齐放,实现更高性价比

除GPU外,其他专用AI芯片也是2024年发展的一大主要方向,将在一定程度上影响未来云端算力芯片的市场格局趋势。

3)国产智能芯片硬件性能不断提升

大模型装备竞赛下国内对高端算力芯片需求旺盛,BIS加强对华高端半导体管控,英伟达多款高端算力芯片限制对华出售,高端算力芯片国产替代正当时。大模型能力的提升需要算力硬件进行支撑,算力充足与否,直接决定了AI产品供应商能否长期稳定的提供服务,从而保持行业竞争力。根据头豹研究所和沙利文联合发表的白皮书,2022年中国AI芯片市场规模为368亿元,预计2027年将达到3400亿元,2022-2027CAGR56%。

华为海思有超20年技术积累,芯片超200项自主知识产权,技术实力领先。目前有智能终端和处理器两大产品线,处理器产品包括麒麟、昇腾、鲲鹏、巴龙、凌霄。目前在全球设有12个办事处和研发中心,产品和服务遍布全球100多个国家和地区,有超8000项专利,研发实力突出。其中昇腾作为新一代智算芯片,有昇腾310与昇腾910两款产品。昇腾310是华为首款全栈全场景人工智能芯片,昇腾910是华为目前推出的算力最强的AI芯片,昇腾系列后续发展也被各界给予较高期待。昇腾芯片搭载的华为独创达芬奇架构神经网络处理单元NPU(NeuralNetworkProcessingUnit),该架构具有极具创新的高性能3DCube计算引擎等关键技术,大幅提升AI计算的效率和灵活性,能够在多场景,云、边、端,提供最优算力支持。

4)国产芯片厂商软件生态仍在不断丰富,华为较为领先

CUDA生态是英伟达关键壁垒之一,国产厂商加速建立自身开发者生态。国外厂商英伟达除芯片硬件性能之外,软件CUDA生态亦是其重要壁垒。借助CUDA,开发者能够利用GPU的强大性能显著加速计算应用。CUDA工具包中包含多个GPU加速库、一个编译器、多种开发工具以及CUDA运行环境。国内厂商由于起步较晚,在开发者生态上与国外成熟产品仍有差距。在政府推动及下游产业支持下,国产芯片厂商开发者数量逐步上升,生态渐渐形成。

以华为昇腾计算生态为代表的国产开放式生态快速发展。华为在生态建设持开放的态度,在华为建立的全场景开源AI框架昇思MindSpore外,支持与各种计算框架对接。除自研的应用使能工具MindX外,支持第三方平台应用。实现了从模型研发到落地千行百业的全链条赋能。在今年5月的鲲鹏昇腾开发者峰会上,华为公布目前鲲鹏和昇腾AI开发者已经超过350万,合作伙伴超过5600家,解决方案认证超过15500个。昇腾AI基础软硬件平台已孵化和适配了30多个主流大模型,覆盖中国一半的原创AI大模型,包括鹏城盘古、紫东太初。有25个城市基于昇腾构建人工智能计算中心,其中14个已经上线并饱和运行。

沐曦等AI独角兽企业则采取兼容CUDA生态的方式,以及与华为等国内大厂共建国产生态的路线。摩尔线程携手浪潮共建元脑生态。在2023年人工智能框架沐曦等AI独角兽企业则采取兼容CUDA生态的方式,以及与华为等国内大厂共建国产生态的路线。摩尔线程携手浪潮共建元脑生态。在2023年人工智能框架。

THE END
1.人工智能的常用十种算法导读:人工智能是科技研究中最热门的方向之一。 一、决策树 根据一些feature(特征)进行分类,每个节点提一个问题,通过判断,将数据分为两类,再继续提问。这些问题是根据已有数据学习出来的,再投入新数据的时候,就可以根据这棵树上的问题,将数据划分到合适的叶子上。 https://zhuanlan.zhihu.com/p/554829457
2.算丰赋能千视通携手算能推出AI算法训推一体机千视通携手算能推出AI算法训推一体机,运用算法自训练技术、数据驱动的优化技术、流程化数据再采集与标注的数据挖掘技术,打造AI算法训推一体机,为行业数智化转型提供高效而低成本的人工智能算法,赋能智慧金融、轨道交通、城市治理、公共安全等多个应用领域。 https://www.keensense.cn/shows/180/94.html
3.人工智能算法和模型训练实训报告.docx人工智能算法和模型训练实训报告 摘要 本实训报告旨在探讨人工智能算法和模型训练的相关内容。我们使用了不同的机器学习算法和训练技术来构建和优化模型,并对其进行评估和比较。通过实际的实训操作,我们深入理解了人工智能算法和模型训练的原理和应用。 引言 人工智能算法和模型训练是人工智能领域中的关键概念。它们通过使用https://m.book118.com/html/2023/1107/5102012020011004.shtm
4.人工智能的训练过程人工智能执行复杂任务、做出决策甚至模拟人类的思考过程背后,是一个复杂而精密的训练过程。 一、 数据收集与准备 人工智能的训练始于数据。首先,需要收集大量相关的数据,这些数据构成了训练算法的基础。数据类型可以根据应用的需求多种多样,包括文本、图像、声音或数值数据等。一旦数据被收集,接下来就是清洗和预处理,以https://www.jianshu.com/p/56eda120de76
5.极栈AI中台AI算法训推一体平台AI开发训练平台●预置YoloV7,Segment Anything等CV大模型,实现60%数据的智能标注,标注效率提升300%;利用少样本标注数据自监督学习,覆盖全场景标注 ● 自动生成汇总平台所有源数据质量和数据集质量测评情况,协助快速定位问题,确保数据完整性、一致性、准确性 算法开发 ● 极栈平台提供AutoML及自动化算法迭代优化技术,模型训练自动化程度https://www.extremevision.com.cn/extreme-flow/
6.智东西周报:315曝光AI被用于打骚扰电话中国AI专利排名超过美国戴金权表示,针对上述现象,英特尔基于至强计算平台、傲腾数据存储器结合英特尔的云服务推出了大数据分析与人工智能统一平台Analytics Zoo,它可以将分布在Tensorflow、Keras、Apache Spark等不同深度学习框架上的数据整合到同一个工作流中进行处理,再将训练结果无缝部署到云端,统一的流程简化了人工智能算法训练与部署的流程,提高https://zhidx.com/p/142810.html
7.人工智能训练平台数据集管理和自定义算法管理的一站式人工智能训练平台。 立即体验 统一的人工智能运行环境 兼容以TensorFlow、PyTorch、Caffe为主的人工智能计算框架,支持多种计算运行库, 提供容器化与虚拟化计算资源,利用分布式计算优势,提高模型训练效率。 立即体验 工业智能平台,开放智慧企业ET大脑服务能力 https://ei.casicloud.com/
8.龙岗区新基建重大举措!打造AI算法训练平台赋能AI小镇人工智能启动仪式上,区产服集团围绕AIOS算法训练平台,阐述了产业AI化,园区AI化,运营AI化的建设理念,介绍了园区建设进度和面向人工智能相关企业的招商优惠政策。 目前,龙岗区AI算法训练赋能平台在区大数据中心的大力推动下,已部署完成,进入招募企业试用阶段,龙岗区产服集团已在AI小镇智慧中心内配套规划了专设的封闭式数据开放实http://www.lg.gov.cn/bmzz/qcfjt/xxgk/gzdt/qyyw/content/post_8112720.html
9.AI入门指南(二):算法训练模型大模型是什么?人工智能(AI)已经成为现代科技的热门话题,但对于刚接触这个领域的人来说,其中的一些基本概念可能会感到困惑。本文将带你了解AI的几个关键概念:算法、模型、训练和大模型,并通过生活中的例子和实际应用来深入浅出地解释这些概念。 二、算法是什么? 概念 https://blog.csdn.net/weixin_41076816/article/details/141178706
10.“江苏工匠”岗位练兵人工智能训练师(算法测试)职业技能竞赛在我4月21日, 2023年“江苏工匠”岗位练兵人工智能训练师(算法测试)职业技能竞赛在江苏信息职业技术学院成功举行。 此次比赛由江苏省人力资源和社会保障厅全程指导,由江苏省人工智能学会申办,江苏信息职业技术学院承办,江苏华众易教育科技有限公司协办,随机数(浙江)智能科技有限公司提供技术支持。本次大赛设有职工(教师)组、https://www.jsit.edu.cn/iot/info/1133/4939.htm
11.起点人工智能无需算法基础,就能制作AI算法无需算法基础。任何人动动鼠标,三步就能定制出人工智能算法。最快一天就能训练出AI算法,并投入使用。大幅节省人力成本,缩短开发周期。 随时依据客户实际项目定制与优化算法,确保AI项目落地与回款。 离线训练,算法与数据无法泄露到竞争对手,持久提升自己的核心竞争力,确保高额利润。 http://www.qdianai.com/
12.关于人工智能训练师职业认证通知51CTO博客(3)人工智能训练师三级(高级工) ① 主要从事业务流程设计和分析,人工智能算法训练和测试,智能系统产品设计等方向的工作。 ② 专业要求:数学,物理学,统计学,电子与信息大类,教育与体育大类,医药卫生大类,装备制造大类。 ③ 可胜的任岗位/薪资: 人工智能产品经理、人工智能售前工程师 薪资范围在6000元-13000元/月https://blog.51cto.com/u_13859040/5888111
13.BP神经网络的Matlab实现——人工智能算法腾讯云开发者社区BP神经网络的Matlab实现——人工智能算法 大家好,又见面了,我是你们的朋友全栈君。 这几天在各大媒体上接触到了人工智能机器学习,觉得很有意思,于是开始入门最简单的机器算法——神经网络训练算法(Neural Network Training);以前一直觉得机器学习很高深,到处是超高等数学、线性代数、数理统计。入坑发现确实是这样!但是https://cloud.tencent.com/developer/article/2033420
14.人工智能算法知识考试题库500题(供参考).docx人工智能算法知识考试题库500题(供参考)输出的featuremap矩阵的结构是()。C、1是错的,2是对的A、精度与错误率的和为1B、深度优先搜索C、有界深度优先搜索D、启发式搜索16.下列哪个函数不可以做非线性激活函数?()17.Softmax算法中温度趋近于0时Softmax将趋于(A、仅探索B、仅利用解析:见算法解析A、1A、K-https://www.renrendoc.com/paper/295898614.html
15.心理学知识算法AI大模型训练也需要“鼓励”04同时,心理训练师们需要设计各种测试题目,寻找并优化隐藏在底层的一些认知盲区。 05随着新质生产力的推进,跨界融合的职业如AI心理训练师将持续涌现。 以上内容由腾讯混元大模型生成,仅供参考 大家一般认为研发AI大模型的都是学人工智能的工程师,而今天我们要认识的是几位学心理学的训练师,他们与大模型之间有着怎么https://new.qq.com/rain/a/20240529A03THF00
16.一文看懂机器学习「3种学习方法+7个实操步骤+15种常见算法」本文将从「机器学习」在人工智能领域里的位置说起,从基本思路和运行原理,用最通俗易懂的方式来解释什么是机器学习。然后是3种机器学习的训练方法:监督学习、非监督学习、强化学习。最后我们将讲解「机器学习」实操的7个步骤和15种常见的机器学习具体算法。最后为大家准备https://easyai.tech/ai-definition/machine-learning/
17.严嘉欢王昊论生成式人工智能中个人信息保护的困境纾解生成式人工智能是人工智能技术的一次重大应用创新,但也带来了新的个人信息保护问题。现有的个人信息保护法所确立的信息保护制度框架尚不足以充分应对生成式人工智能所带来的新的挑战。生成式人工智能算法具有高度复杂性,在很大程度上架空了现有的用户知情同意机制。个人信息保护法所确立的最小必要原则等个人信息保护原则难https://www.jfdaily.com/sgh/detail?id=1244044