在云原生浪潮的推动下,容器和Kubernetes技术和应用发展迅猛。最近,云原生计算基金会CNCF发布了与SlashData联手撰写的最新版《云原生开发现状报告》,该报告显示,“Kubernetes在过去的12个月取得了令人瞩目的增长——今天,全球共有560万开发人员在使用Kubernetes。对于那些拥有500多名员工的大型组织而言,Kubernetes和容器的采用率猛增,这意味着Kubernetes已经完全满足企业的需求。很多时候,开发人员甚至在没有意识到Kubernetes的情况下就在使用它。”
2021年9月,阿里云容器服务宣布全面升级为ACKAnywhere,并发布ACK发行版、ACK敏捷版、ACKONE分布式云容器平台;以及面向异构计算支撑、资源调度、网络、云原生AI、智能化运维、云原生制品分发等六大方向的优化升级。升级后的ACKAnywhere拥有“一致体验、弹性算力、能力下沉、简化容灾”四大核心能力,使企业在任何业务场景下使用容器服务时,都能实现统一集群管理、统一资源调度、统一数据容灾和统一应用交付。
随着企业对容器的拥抱更加积极,对容器核心技术的启动效率、资源开销、调度效率都有了更高的要求,阿里云容器团队也支持了新一代的容器架构升级,通过对容器、裸金属、操作系统等全栈优化,持续挖掘容器的潜能。
这明显区别传统的中心式的云计算模式--边缘计算。边缘计算作为云计算的延伸,将被广泛应用于混合云/分布式云、IoT等场景,它需要未来的基础设施能够去中心化、边缘设施自治、以及强大的边缘云端托管能力。云原生架构的新边界--“云边端一体“的IT基础设施开始出现在整个行业面前,而这也是企业对云原生技术、容器化应用在新场景落地的需求。
边缘计算云原生架构和技术体系需要解决以下问题:云边运维协同、弹性协同、网络协同、边缘IoT设备管理、轻量化、成本优化等。针对云边端一体的新需求,在2021年,OpenYurt(CNCFSandbox项目)也发布了0.4、0.5等版本,持续优化边缘容器的IoT设备管理、资源开销、网络协同等能力。
随着企进一步的大规模使用容器,企业内部使用容器的范围也从开始的在线业务逐渐向AI大数据演进,对GPU等异构资源的管理和AI任务和作业的管理的需求也越来越多。同时,开发人员在考虑如何通过云原生技术,以统一架构、统一技术堆栈支撑更多类型的工作负载。以避免不同负载,使用不同架构和技术,带来“烟囱”系统、重复投入和运维负担。
在阿里云,我们提出“云原生AI”的定义、技术全景图和参考架构,以期为这个全新技术领域,提供可落地的最佳实践,并推出了云原生AI套件,通过数据计算类任务的编排、管理,以及对各种异构计算资源的容器化统一调度和运维,显著提高GPU/NPU等异构计算集群的资源使用效率和AI工程交付速度。
针对AI计算类任务的特性,在Kubernetes核心SchedulerFramework的基础上进行了大量扩展和增强,提供了支持GangScheduling、CapacityScheduling、Binpack等任务调度策略,提升集群的资源利用率。并与Kubernetes社区积极合作,持续推动Kubernetes调度器框架演进,保证了Kubernetes调度器通过标准的plugin机制,可按需扩展出各种调度策略,来满足各种工作负载的调度需求。同时避免了类似其他customscheduler对集群资源分配带来数据不一致的风险。
随着企业的Kubernetes应用大规模使用和落地,如何持续提升Kubernetes集群的整体稳定性是核心挑战。然后Kubernetes集群作为一个分布式系统存在高度复杂性,在应用、基础设施、部署过程中任何一个地方的问题,都可能导致业务系统的故障。这不仅需要应用Kubernetes的企业有对云原生容器技术的高可用体系保障,还需要企业云原生运维体系理念的整体升级。
除了全局高可用能力的建设外,需要能够有SRE团队平台化能力的建设:
2021年,基于Kubernetes来屏蔽异构环境的差异,搭建分布式云架构已经成为企业和云厂商的共识。2021年5月的云峰会上,阿里云发布了一云多形态的部署方式,基于飞天架构的一朵云可以全面覆盖从核心地域到客户数据中心的各种计算场景,为客户提供低成本、低延迟、本地化的公共云产品。在一云多形态发布之前,阿里云容器服务在2019年的云栖大会上发布了云下Kubernetes的注册集群能力,支持统一纳管云上云下的不同Kubernetes集群。
今年,阿里云容器服务进一步全面升级了中心云、本地云、边缘云容器集群的统一管理。能够将成熟的云上原生可观测、安全防护能力部署到用户环境,更可以将云端先进的中间件、数据分析和AI能力下沉到本地,满足客户对于产品丰富度以及数据管控的需求,加速业务创新。并依托强大的弹性算力,通过托管弹性节点,企业可以按需从本地扩容到云端,实现秒级伸缩,从容应对周期性或突发业务流量高峰。
数据中心作为数字经济的动力引擎,其能耗增长已成为云计算发展中不可忽略的问题。据报道,2020年数据中心耗电量超过国内总用电量的2.3%。而且占比将逐年增加。阿里云在身体力行地推动绿色计算,比如利用浸没式液冷服务器来降低数据中心PUE。除此之外,我们看到数据中心的计算效率也有很大提升空间,据统计,全球数据中心的平均资源利用率不到20%,这是巨大资源和能源浪费。
持续发挥容器技术的高效调度和弹性能力,可以帮助企业有效提升整体的IT资源利用率,提供极致的能效比。结合最新的节能数据中心技术、新一代神龙架构、自研芯片、容器优化操作系统实现上下游的全栈优化,提升应用的整体性能和调度效率。以数据驱动的方式,根据应用运行时资源画像实现智能化调度和实时调整,简化了应用资源配置的复杂性,进一步提升应用的混合部署,降低资源成本,助力企业整体的FinOps管理。
Gartner预测,到2023年,70%的AI应用将基于容器和Serverless等计算模型构建。AI要成为企业生产力,就必须以工程化的技术来解决模型开发、部署、管理、预测、推理等全链路生命周期管理的问题。我们发现,AI工程化领域有三大亟待推进的事情:数据和算力的云原生化,调度和编程范式的规模化,开发和服务的标准化普惠化。这些需要持续优化GPU等异构架构的高效调度,结合分布式缓存、分布式数据集加速等技术,结合KubeflowArena的AI任务流水线和生命周期管理,全面升级AI工程化能力。
云原生已经成为势不可挡的技术趋势。Gartner预测到2025年,95%数字化运维将通过云原生平台进行支撑。实现容器集群能自治能力将成为重点发展方向之一,通过引入更多的数据化智能化手段,推动容器的智能化运维体系,降低企业对复杂容器集群和应用的管理,包括增强Kubernetesmaster、组件和节点的自愈自恢复能力,提供更加友好的异常诊断、Kubernetes配置推荐、弹性预测等能力。
本文标题:2021阿里云容器服务年度盘点:企业级容器应用变化和技术趋势观察