一、数据比对的痛“这数不对”。“为什么A这里的数据和B的数据不一致?”“为什么平时这个数是C今天变成了D?”“为什么这么高?”亦或是“为什么这么低?”
——【我的对数日常】
一旦有人对某数据提出质疑,就会开始令所有人崩溃的对数。
尤其是经营分析会、月度会议期间,数据团队面临反复且高频的折磨,不同需求方不同角度都等着回答和解释。
非常无辜,非常无语,活还是要干!
不考虑模型设计、不讲数据治理、制度和流程梳、不谈组织合理性、不谈数据意识和数据团队地位,不与业务battle。
落在当下,必须要面对的工作面前,只是想聊一聊“对数到底应该怎么对?”
二、对数对数,对的是什么1.数据比对的场景2.数据团队的心态
数据技术有门槛,但数据是公司的数据、是业务的数据。
数据本身没有价值,数据脱离业务应用,就只是磁盘上的文件而已。
下面是数据团队避无可避的问题:
1)提升团队数据素养
2)提升公司数据意识和数据产品的可信度
3)解放人力实现自动化
3.对数对数,对的是什么
对数就是实际和预期的弥合,为什么A不是B?
A是数据部门输出的数据,B可能是之前某版本的数据、可能是心理预期、可能是某业务线的手工数据、可能是去年同期数据、可能是上个月的数据。
解决方案有几种:证实“A是对的”;证否“B是错的”。
证实”A/B都是对的,但有cdef造成了两者的数据差异”。
都要给出结论、对照和明细凭据。
三、通用可复制的方法
数据比对是有目的的数据分析。
著名的咨询公司Gartner于2013年总结、归纳、提炼出一套数据分析的框架,Gartner把数据分析分为四个层次,分别是:
数据比对是描述性分析,即对数据现状拆解出数据依据。
那么数据比对的过程,就是描述性数据分析的过程,可按以下顺序进行:
下面具体说如何操作,让观点可执行。
1.确认分析的目的和思路
1)假设验证确认分析思路
(1)明确对照项[A-B]
确定问题,明确目标,得出A、B哪个正确?差异原因。
首先明确对照项A、B的定义,判断其定义、口径、算法是否一致?
(2)对照指标数据流向及构成
对照数据流向,分析数据构成及计算过程。
(3)收集数据进行证伪推断,得出结论
准备基础明细数据,导入excel,通过vlookup、透视表等关联分析,关系走通,记录过程数据,提供结果数据。
Example:统计结果比对(数值1vs数据2,差异值)、12明细、差异明细比较。
Tips:明确分析目的和方案前,别急着到处要数,可能费力要了又用不上。
2.数据一致性验证方式
1)基础认识一致性验证
Example1:实时、离线指标不一致属于正常情况,可直接解释原因:
Example2:回款率单位为%,城市结果值求平均并不等于全国数值,也可直接告知业务原因。
2)正向验证
3)反向验证
2.数据准备、处理及分析
1)数据准备
在分析思路确定的基础上,准备收集准备数据,可能是:系统导出、数据提取。
2)数据处理(清洗、转化、提取、计算)
基础数据准备完毕,按既定的思路计算、比对,加工需要的可用于分析的数据。
3)数据分析(数据统计、数据挖掘、数据呈现)
比对后发现并分析差异,用适当的分析方法及工具(极大多数场景Excel足够),对处理过的数据进行分析,提取有价值的信息,形成有效结论。
3.数据结论及报告
1)明确结论
2)结果呈现
数据比对的报告不需要精致,能够做到逻辑清晰,图表搭配,层次分明。
让阅读者一目了然理解差异和差异构成就可以进行结果数值比对、差异明细、对照过程及明细。
呈现饼图和柱形图足够了,柱形图看差异,饼图看差异构成。
四、数据人的下一步
应对被动的数据比对之后,如何化被动为主动,进行常态化的数据监控,不再耗心费力疲于应对,提升数据健康度,对数据异动监控提示,实现数据可用可查有提示可预警。
唯一且艰难的道路:有数据质量标准是基础,在制定数据质量计划的标准上,进行周期性的数据质量盘点和数据治理!
这条道路需要数据团队有决心、信心,有足够的耐心和体力,去细致打磨适合企业的数据标准。
需要对每个数据域、数据实体、数据项,甚至到字段、属性,定义数据标准,核实数据质量。
1.数据质量
(GB/T36344-2018数据质量评价标准)
Example:
(GB/T36344-2018数据质量评价标准-数据质量评价过程)
2.数据清洗
在建立数据规范的基础上,就可以进行数据质量提升的行动,也就是“数据清洗”。
数据清洗,就是从数据库表中更正和删除不准确的数据。
1)数据清洗
2)数据清洗实践要点
3.监控预警
监控预警是化被动为主动的方法,可根据数据质量规则制定监控策略。
通过数据质量监控工具来提示数据异常或数据波动,来确保对业务数据稳定的掌控感和保证数据的准确性,问题处理的及时性。
质量规则不再多说,可以聊一聊波动性,什么样的指标波动可以看作是“异常”呢?
指标波动不可怕,数据波动是业务发生的正常情况,业务产生自然会发生数据变化。
比如每周的销售额肯定不一样,脱离业务场景没法谈数据波动。
但像之前都1000w,这周只有200w,是不是就属于异常状态?
监控可以根据公司业务情况和数据情况来综合评定,通过绝对值预警、相对值预警两方面来设定。
4.提前准备
在新需求的设计过程中,就提前准备数据比对的工作。
评估不同线上线下、离线实时的差异,找出可能产生问题的原因并解决,技术架构方案选择,或预评估差异。
5.一些提醒
1)再次强调:业务、业务、业务
数据必须和业务结合才有意义,熟悉业务才能看到数据背后隐藏的信息。
缺乏对行业、公司业务认知,数据应用和数据分析结果都会出现偏离,变成自嗨或者空中楼阁。
要懂上下游数据,也要弄清楚公司所在行业结构,对行业的上游和下游的经营情况有大致的了解。
2)数据敏感度
数据本身是客观的,但被解读出来的数据是主观的。
同样的数据由不同的人分析很可能得出完全相反的结论,所以一定不能提前带着观点去分析。
Example:比如指标预警没有合适方法,可暂定波动值超过5%预警。
如果一个变量符合正态分布,则其95%的值会落到均值左右二个方差内。
3)迭代化思维
业务是不断调整和发展的,依托的系统和数据也是不断迭代变化,相应指标也需要随着业务不断调整,更加精确的度量业务。
4)精细度控制好,不要追求极细
细分是深入的分析的基础,但不要追求极细,细分意味着复杂,要判断公司团队数据意识和业务精细化管理是否到了匹配的阶段。
本文由@申墨扬原创发布于人人都是产品经理。未经许可,禁止转载。