在数据驱动的世界中，企业依赖数据云平台来处理、存储和分析大量数据。数据云平台的可观测性变得尤为重要，因为它不仅能帮助企业实时监控数据流和系统性能，还能提高故障诊断和系统优化的效率。
本文将探讨数据云平台可观测性的关键性、其三大支柱以及数据云平台可观测性与传统可观测性的异同，最后讨论如何以“任务”为核心进行数据串联。
1可观测性的构成支柱
可观测性主要由三大支柱组成：Logging、Metrics和Tracing
1.日志记录(Logging)
日志记载了系统运行的详尽事件序列，含括错误日志、预警通知及调试信息，是故障回溯与诊断的关键资源。
2.性能指标(Metrics)
性能指标是系统运行态势的量化解析，如CPU利用率、数据处理吞吐量、延时等，通过设置阈值触发报警，实现实时监控与异常响应。
3.分布式追踪(Tracing)
2DataSimba数据云平台可观测性
2.1一致的地方
DataSimba的本质上也是一个“系统”，所以传统的可观测性的三大项都包含在内。
1.Logging
DataSimba有完整的日志采集体系，采集包含应用日志、系统日志、用户行为日志等等，然后进行汇总整理，进行统一的展示和分析，方便开发和运维同学使用。
2.Metrics
DataSimba的Metircs体系是元仓（SimbaSchema），元仓是SimbaOS数据模型服务。
包含基础数据模型主题数据模型。基础数据模型提供云平台基础信息，如表、作业、血缘等。主题数据模型基于观测、诊断、预测的数据价值链进行分类，提供指标数据。
通过访问数据模型，支持平台管理、数据运维和数据开发角色进行大数据诊断、智能运维、数据治理、安全合规等场景的分析和应用。
我们在结合DataSimba数据开发的全链路过程加深对模型的理解：元仓模型基于DataSimba的集成、研发、运维、治理路径的全链路业务可以进行一一映射，模型及指标体系融合到业务中，对系统状态进行全面观测和分析
如运维巡检模型面向巡检工作，映射整个DataSimba系统；
数据研发风控以及血缘治理模型是对日常ETL的变更的风险进行观测，映射数据集成、作业和任务开发以及数据运维流程等。
现在元仓已有11个模型，分别为：
·数据研发风控模型
·血缘治理模型
·数据服务调用模型
·存储分析模型
·基线预测模型
·运维巡检模型
·窗口调度分析模型
·安全审计模型
·Job诊断模型
·HDFS健康分模型
3.Tracing
DataSimba使用自研的Tracing方案，完全兼容OpenTelemetry协议，可以保证采集的Tracing数据可以完全推送到其他兼容OpenTelemetry的引擎当中，确保整体方案的兼容和可用性。
基于不同的需求场景，我们搭配出DataSimba的不同版本。此前已经推出标准版、专业版、旗舰版和红旗版。这次依据用户最关心的场景需求，我们新推出了敏捷版，进一步完善了产品线，让数据云简单一点。
2.2不同的地方
1.整体架构
Simba产品整体的架构都是基于SimbaOSKernel，SimbaOSKernel抽象了6大域31对象，屏蔽底层复杂度，对上提供服务，支撑上游产品。
同时SimbaOS里面也将可观测性的数据模型，以对象体系为框架去组织的。
2.“任务”为核心
也就是以“任务”为核心的数据串联。
为了做到这点，DataSimba结合元仓+日志+Tracing数据，以“任务”为中心，将所有的数据进行整合并关联，形成知识图谱。最后DataSimba产品的功能针对“任务”做了很多的功能点优化。
核心功能都是围绕“任务”的全生命周期管理。具体功能如下：
·任务运行前
所谓的事前评估机制本质上其实在事前就发现问题，避免出现问题的任务提交到运维当中。
·任务运行中
任务运行中，可以实时看到整体任务的运行情况以及资源消耗，同时通过模型+规则识别正在运行任务存在风险，同时用户可以配置规则来对风险任务进行动作。
·任务运行后
3总结
DataSimba的可观测性通过有效的可观测性策略，帮助企业实现实时监控、快速故障诊断、系统性能优化和增强安全合规性。DataSimba可观测性不仅涵盖了传统可观测性的三大支柱，还需要将业务逻辑与技术监控结合，以“任务”为核心进行数据串联，提供更全面的业务洞察力和系统保障。