流量暴增，掌门教育如何基于SpringCloudAlibaba构建微服务体系？

作者|童子龙掌门教育基础架构部架构师

阿里巴巴云原生公众号后台回复818即可获取直播回看地址和大会PPT合集。

掌门教育自2014年正式转型在线教育以来，秉承“让教育共享智能，让学习高效快乐”的宗旨和愿景，经历云计算、大数据、人工智能、AR/VR/MR以及现今最火的5G，一直坚持用科技赋能教育。掌门教育的业务近几年得到了快速发展，特别是今年的疫情，使在线教育成为了新的风口，也给掌门教育新的机遇。

随着业务规模进一步扩大，流量进一步暴增，微服务数目进一步增长，使老的微服务体系所采用的注册中心Eureka不堪重负，同时SpringCloud体系已经演进到第二代，第一代的Eureka注册中心已经不大适合现在的业务逻辑和规模，同时它目前被SpringCloud官方置于维护模式，将不再向前发展。如何选择一个更为优秀和适用的注册中心，这个课题就摆在了掌门人的面前。

经过对AlibabaNacos、HashiCorpConsul等开源注册中心做了深入的调研和比较，以下是各个注册中心的特性对比：

结论：Nacos满足目前掌门的服务治理技术栈，能实现注册中心的平滑迁移，社区发展非常活跃，所提供的特性，使得围绕SpringCloudAlibaba&Nacos能够非常方便的构建云原生应用的动态服务注册发现。

掌门的应用环境分为4套，DEV、FAT、UAT、PROD分别对应开发、测试、准生产环境、生产环境，因此NacosServer也分为4套独立环境。除了DEV环境是单机部署外，其他是集群方式部署。对外均以域名方式访问，SLB做负载均衡，包括SDK方式连接NacosServer和访问NacosServerDashboard控制台页面。

Nacos数据模型由namespace/group/service构成。可以通过创建不同的命名空间，做到同一个应用环境的基础上更细粒度的划分，隔离服务注册和发现。在某些场景下，开发本地有需要连接测试环境的NacosServer，但其他测试服务不能调用到开发本地，这时候可以将NacosDiscoveryProperties的enabled属性设置为false。

NacosServerDashboard用户首次登陆时，默认分配普通用户（即非ROLE_ADMIN）角色，对查询以外的按钮均无操作权限，以免出现误操作导致服务非正常上下线。

NacosServerDashboard页面增加服务总数及实例总数的统计，该信息每5秒刷新一次。

基于公司现有的Prometheus、Grafana、AlertManager从系统层监控Nacos。

根据Nacos监控手册，结合Prometheus和Grafana监控Nacos指标。

将Nacos多模块的日志统一按info、warn、error级别合并，定义schema字段标记不同模块，按JSON格式滚动输出到文件，供ELK采集展示。

总结：NacosServer是3台1C4G集群，同时承受1499个服务和12715个实例注册，而且CPU和内存长期保持在一个合适的范围内，果真Nacos性能是相当OK的。

经过研究，我们采取了官方的NacosEurekaSync方案，在小范围试用了一下，效果良好，但一部署到FAT环境后，发现根本不行，一台同步服务器无法抗住将近660个服务（非实例数）的频繁心跳，同时该方案不具备高可用特点。

既然一台不行，那么就多几台，但如何做高可用呢？

这个方案是个小插曲，当一台同步服务器挂掉后，由它的“备”顶上，当然主备切换也是基于Zookeeper临时节点的Watch机制来实现的。后面讨论下来，主备方案，机器的成本很高，实现也不如一致性Hash优雅，最后没采用。

折腾了这么几次后，发现同步业务服务列表是持久化在数据库，同步服务器挂掉后ReHash通知机制是由Zookeeper来负责，两者能否可以合并到一个中间件上以降低成本？于是我们想到了Etcd方案，即通过它实现同步业务服务列表持久化+业务服务列表增减的通知+同步服务器挂掉后ReHash通知。至此方案最终确定，即两个注册中心（Eureka和Nacos）的双向同步方案，通过Etcd来做桥梁。

注册中心迁移目标：

注册中心迁移原则：

服务一致性Hash分片路由：

同步节点宕机故障转移：

从如下界面可以保证，从Eureka或者Nacos上，新上线或者下线一个业务服务（非实例），都能让NacosEurekaSync实时感知。但我们做了更进一层的智能化和自动化：

从如下界面可以监控到，业务服务列表是否在同步服务的集群上呈现一致性Hash均衡分布。

Solar微服务体系，囊括微服务治理组件，中间件以及基础组件易用性封装，告警监控体系等，连接着掌门业务服务和底层基础设施，每项服务都遵守强有力的合约，向着云原生微服务架构方向演进。