2016年，英国数学家，乐购俱乐部构架师CliveHumbly提出“数据是新能源”这样一个说法。他说：
“数据是新能源。它拥有极高的价值，却需要经过提炼才能使用。就像石油一样，必须被转化为气体、塑料或者化学品等，才能发挥出其实际的作用；因此，数据只有被分解和分析之后才具备价值。”
数据科学是一个多学科领域，主要包括：
该系列的重点是简化数据科学中机器学习方面的知识。本文将首先介绍数据科学中的基本定律，常用算法以及问题类型。
核心定律
（图片转载自(Menon,2017)）
数据是一项战略资源：这一概念是一种组织思维。问题是：“我们是否正使用我们所收集和存储的全部数据信息？我们能否从中挖掘有意义的资源？”我非常确定，这些问题的答案都是“否”。以云端为基础的公司都依赖数据驱动。它们势必将数据视为战略性资源。但这一观念并非适用于大多数机构。
BAB定律（Business-Analytics-Business）：我认为这是最重要的一条定律。多数数据科学的文献都将重点放在模型和算法上。方程式本身缺乏商业背景。BAB则是突出其中的商业部分。把算法置于商业背景中是至关重要的。定义商业问题，用分析来求解，最后将答案集成到商业流程中。也就是所谓的BAB：商业-分析-商业，这么一个过程。
流程
参考第二定律，这一段将会把重点放在介绍数据科学中的流程部分。以下是一个典型数据科学项目中的各个阶段:
1.定义商业问题（DefineBusinessProblem）
爱因斯坦曾说：“凡事保留其本质，力求最简”。这个引用可以说是定义一个商业问题的关键。问题的描述需要精确的加工，必须明确定义出所需达成的目标。根据我的经验，业务团队过于忙于手头的任务，却忽略了需要应对的挑战。头脑风暴会议，研讨会以及访谈都可以帮助发现这些挑战，并且制定假设。举个例子，我们假设一家电信公司由于客户群的减少导致同比收入下降。在这种情况下，商业问题可以定义为：
2.分配机器学习任务（DecomposeToMachineLearningTasks）
定义好的商业问题需要被分配为各项机器学习任务。就以上例子来说，如果公司需要通过开发新市场，减少客户流失，来扩大客户基础，那么我们如何将其分解为机器学习问题？以下是一个分解方案：
3.数据准备工作（DataPreparation）
4.探索性数据分析（ExploratoryDataAnalysis）
就像宇航员探索宇宙一样，一位数据科学家需要探索数据模式中的未知，深入了解其隐藏的特征，并记录新的发现。探索性数据分析（EDA）是一项扣人心弦的任务。我们能够更好地了解数据，调查其细微的差别，发掘隐藏的模式，开发新的特征，并且制定建模策略。
5.建模（Modelling）
在探索性数据分析之后，我们将进行建模。在这个阶段，我们针对具体的机器学习问题，选择最适用的算法，比如常见的回归（Regression）、决策树（DecisionTree）、随机森林（RandomForest）等算法。
6.部署和评估（DeploymentandEvaluation）
最终，我们部署好建立的模型，并对它们进行不断监测，观察他们在现实中的表现，并进行有针对性的校准。
通常，建模和部署部分只占全部工作的20％，剩余的80％的工作是对数据的研究以及深度的了解。
机器学习的问题类型
简单来说，机器学习被分为两大类：监督学习和无监督学习。
1.监督学习（SupervisedLearning）
监督学习任务拥有一个事先定义好的目标。建模者有针对性地观察并且影响机器学习模型的生成的过程，以实现其特定的目标。监督学习可以进一步分为两类：
回归模型在机器学习任务中非常常见，用于估计和预测一个数值变量。举两个例子：
顾名思义，分类模型把目标分开并归整为几个特定的类型。它适用于所有类型的应用。举几个典型的例子：
2.无监督学习（UnsupervisedLearning）
无监督学习没有指定的目标，因此产生的结果有时候会难以解释。无监督学习任务有很多种类型。最常见的几个是：
聚类（Clustering）：通过相似度把目标归类在一起。比如客户细分就是使用聚类算法。
关联（Association）：关联算法用来寻找相互匹配的产品。购物篮分析（MarketBasketAnalysis）就是使用关联算法将产品捆绑销售。
数据简化（DataReduction）：数据简化方法用于减少数据集中特征的数量。它将大量属性的大型数据集用较少的属性呈现出来。
机器学习任务到模型到算法
一旦将业务问题分解为机器学习任务，一个或多个算法可以解决给定的机器学习任务。通常，一个模型是使用多个算法进行训练的。选择提供最佳结果的算法或算法集合进行部署。
MicrosoftAzureMachineLearning有30多种预先构建的算法，可用于训练机器学习模型。
AzureMachineLearningcheat-sheet可以帮助你探索这些算法。
结论
原文标题：DataScienceSimplifiedPart1:PrinciplesandProcess
作者：PradeepMenon；翻译：王瑞玺；校对：梁傅淇
本文转自：数据派THU公众号
数据分析
目录：1什么是数据分析；2数据分析职业介绍；3数据分析生涯规划；4数据分析薪酬情况；5数据分析基本素质。
一：那到底什么是数据分析呢？
数据分析是基于商业目的，有目的的进行收集、整理、加工和分析数据，提炼有价信息的一个过程。
其过程概括起来主要包括：明确分析目的与框架、数据收集、数据处理、数据分析、数据展现和撰写报告等6个阶段。
1、明确分析目的与框架
一个分析项目，你的数据对象是谁？商业目的是什么？要解决什么业务问题？数据分析师对这些都要了然于心。
基于商业的理解，整理分析框架和分析思路。例如，减少新客户的流失、优化活动效果、提高客户响应率等等。不同的项目对数据的要求，使用的分析手段也是不一样的。
2、数据收集
3、数据处理
数据处理主要包括数据清洗、数据转化等处理方法。
4、数据分析
数据分析是指通过分析手段、方法和技巧对准备好的数据进行探索、分析，从中发现因果关系、内部联系和业务规律，为商业目提供决策参考。
5、数据展现
一般情况下，数据分析的结果都是通过图、表的方式来呈现，俗话说：字不如表，表不如图。。借助数据展现手段，能更直观的让数据分析师表述想要呈现的信息、观点和建议。。
常用的图表包括饼图、折线图、柱形图/条形图、散点图、雷达图等、金字塔图、矩阵图、漏斗图、帕雷托图等。
6、撰写报告最后阶段，就是撰写数据分析报告，这是对整个数据分析成果的一个呈现。通过分析报告，把数据分析的目的、过程、结果及方案完整呈现出来，以供商业目的提供参考。
一份好的数据分析报告，首先需要有一个好的分析框架，并且图文并茂，层次明晰，能够让阅读者一目了然。结构清晰、主次分明可以使阅读者正确理解报告内容；图文并茂，可以令数据更加生动活泼，提高视觉冲击力，有助于阅读者更形象、直观地看清楚问题和结论，从而产生思考。
另外，数据分析报告需要有明确的结论、建议和解决方案，不仅仅是找出问题，后者是更重要的，否则称不上好的分析，同时也失去了报告的意义，数据的初衷就是为解决一个商业目的才进行的分析，不能舍本求末。
二：数据分析师职业介绍
做数据分析前我们首先要明确分析目的和内容，对于数据分析师而言，他们的进阶需求无外乎是各个企业对数据分析师的职位要求。在前程无忧、中华英才网以及智联招聘上，我们随便搜索下数据分析的岗位信息，都能找到大量类似于下面的一些职位要求信息：
数据分析师的职位体系
在传统行业中，数据分析更多存在移动、银行、超市等行业，在这些行业中你才会偶尔听到数据分析师这个职位，也许更多是听到数据挖掘工程师、数据建模师。在中国也许只在电信的项目中，才会存在真正的意义上的数据挖掘。
数据行业从广义上讲可以分为以下几个职位：
1、数据分析师
更注意是对数据、数据指标的解读，通过对数据的分析，来解决商业问题。主要有以下几个次层次：1）业务监控：诊断当前业务是否正常？是否存在问题？业务发展是否达到预期（KPI）？如果没有达到预期，问主要问题在哪？是什么原因引起的？
2）建立分析体系：这些数据分析师已经对业务有一定的理解，对业务也相对比较熟悉，更多帮业务方建立一套分析体系，或者更高级是做成数据产品。例如：营销活动。分析师会告诉业务方，在活动前你应该分析哪些数据，从而制定恰当的营销计划。在营销过程中，你应该看哪些数据，从而及时做出营销活动调整。在营销活动，应该如何进行活动效果评估。
3）行业未来发展的趋势分析：这应该是数据分析师最高级别，有的公司叫做战略分析师/商业分析师。这个层次的数据分析师站的更高，在行业、宏观的层面进行业务分析，预测未来行业的发展，竞争对手的业务构成，帮助公司制定战略发展计划，并及时跟踪、分析市场动态，从而及时对战略进行不断优化。
主要技能要求：
2、数据挖掘工程师
主要技能要求：1）数据库必须精通。很多时候，你模型的数据预处理，可能完成在数据库里完成，你用到的数据库技巧更高。
2）必须要会成熟的数据挖掘工具、数据挖掘算法，例如：SPSS/CELEMENTINE、SAS/EM等，当然如果你会一、二款开源软件，并会写一些程序代码那是最好的，大公司都喜欢用开源的软件，例如：R、WEKA。
3、数据建模师
这个职位与数据挖掘工程师还是有本质区别的。数据建模师，更多偏向于中、小数据量，而且其使用更多更多是统计学的方法，而数据挖掘中的例如：决策树、神经网络、SVM等在这里是根据不会涉及的。
新进入数据行业的同学，可以根据自己的背景背景选择相应的职位，学数据、统计学的朋友更多可以偏向于建模师，而计算机特别是写编程出现和同学，可以走数据挖掘工程师，也许适应性更好，但这不是绝对的。
数据分析师的职位级别划分
三：数据分析职业生涯规划
按照不同分析方法所能给人带来的智能程度，可以把分析能力划分为以下8个等级。
数据分析师的级别
1、数据跟踪员：机械拷贝看到的数据，很少处理数据
虽然这个工作的人还不能称作数据分析师，但是往往作这样工作的人还都自称是数据分析师，这样的人，只能通过×××系统看到有限的数据，并且很少去处理数据，甚至不理解数据的由来和含义，只是机械的把自己看到的数据拷贝出来，转发给相应的人。这类人发出来的数据，是否有意义，怎么解读，他自己是不知道的，只能期望收到数据的人了。
2、数据查询员/处理员：数据处理没问题，缺乏数据解读能力
这些人可以称为分析师了，他们已经对数据有一定的理解了，对于大部分数据，他们也知道数据的定义，并且可以通过监控系统或者原始的数据，处理得到这些数据。统计学的方法，这批人还是很精通的，统计学的工具，他们也是用起来得心应手，你让他们做一下因子分析，聚类肯定是没问题，各类检验也是用的炉火纯青。他们的不足是：1、如果不告诉他们命题，那么他们就不知道该应用什么样的方法去得到结论了。2、对于数据的处理没问题，但是却没有一个很好的数据解读能力。只能在统计学的角度上解释数据。
3、数据分析师：解读数据，定位问题提出答案
数据分析师这群人，对于数据的处理已经不是问题了，他们的重点已经转化到怎么样去解读数据了，同样的数据，在不同人的眼中有不一致的内容。好的数据分析师，是能通过数据找到问题，准确的定位问题，准确的找到问题产生的原因，为下一步的改进，找到机会点的人。往往科班出身的人，欠缺的不是在处理数据上，而是在解读数据上，至于将数据和产品结合到一起，则是其更缺少的能力了。
4、数据应用师：将数据还原到产品中，为产品所用
数据应用，这个词很少被提到。但是应用数据被提的很多，分析了大量的数据，除了能找到问题以外，还有很多数据可以还原到产品中，为产品所用。典型的是在电子商务的网站中，用户的购买数据，查看数据和操作的记录，往往是为其推荐新商品的好起点，而数据应用师就是要通过自己的分析，给相应的产品人员一个应该推荐什么产品，购买的可能性会最大的一个结论。国内能做到这个级别的数据人员还真是少的可怜，甚至大部分人员连数据的视图都搞不定，而真正意义上的能数据应用师，可以用数据让一个产品变得更加地简单高效。
5、数据规划师：走在产品前面，让数据有新的价值方向
数据规划师，不能说水平上比数据应用师高多少，而是另外一个让数据有价值的方向。往往在实际的应用中，数据都是有其生命周期的，用来分析、应用的数据也是，这点上，尤其是在互联网公司更加明显，一个版本的更新，可能导致之前的所有数据都一定程度的失效。数据规划师在一个产品设计之前，就已经分析到了，这个产品应该记录什么样的数据，这些数据能跟踪什么问题，哪些记录到的数据，应该可以用到数据中去，可以对产品产生什么样的价值。
四：数据分析薪酬情况
三大互联网巨头公司，百度腾讯跟阿里如何划分级别薪资待遇又有多少除非身居其位，否则很难探知，但是等你到那个位置知道了，却又不能说，至少不能在公开场合谈论。接下来就为大家揭秘，百度、阿里与腾讯内部的级别划分跟薪资待遇。这是一个群众喜闻乐见却又讳莫如深的话题。
各个公司头衔名字都不一样，级别的数目也不一样;有些扁平，有些很多level慢慢升;有些薪水范围严格跟级别挂钩，有些薪水跟级别没绝对的关系。最近刚好整理了一份「互联网公司薪酬体系架构」内部资料，年底了，上年货，哦不，上部分干货。
阿里
最近对阿里羡慕嫉妒恨的同学可不少，知乎上也开起了对阿里的批斗会--2014年放弃阿里巴巴offer的人是否格外多--个么，就重点先说说阿里吧!
1.举个栗子。校招不论，单说社招。想知道阿里内部级别和薪资待遇的题主，或许正面临offer选择，就像这位纠结阿里系offer的同学W：
最近刚通过面试，但基本薪酬也是不升反小降。级别只有P6+，连P7都没有，非常郁闷，打算拒绝算了。小本工作9年了，这算不算loser
奇了怪了，阿里系的P6和P7的范围到底是多少
不过反过来说，阿里系面试还真是有点深度的，通过不易，但拿到这个级别总感觉是否自已混的太一般了。
郁闷。
这样的纠结实在太常见了，都是工作好几年的老程序员了，好不容易动心跳个槽，猎头开始保证得好好的，怎么拿到offer的薪酬却不尽如人意是自己能力不够，还是被HR/猎头忽悠
专心做技术的大都是心思单纯之人，却最容易吃亏。知己知彼方可百战不殆，看看对方的级别和待遇，谋定而后动，才能跳得更远，走得更稳。
2.先看阿里的级别定义：
P序列=技术岗M序列=管理岗
阿里的非管理岗分为10级
其中P6、P7、P8需求量最大，也是阿里占比最大的级别
前面栗子中郁闷的W同学拿到了P6+的offer，正处于最庞大但又最尴尬的级别中段，至于为什么差一点儿没拿到P7，难道是HR在省招聘费
哦，江湖传言@Fenng是P7，@鬼脚七是P9，改日向我司隔壁的P9求证。
3.再看阿里的级别对应薪资：
阿里薪资结构：一般是12+1+3=16薪
年底的奖金为0-6个月薪资，90%人可拿到3个月
股票是工作满2年才能拿，第一次拿50%，4年能全部拿完
说到股票，真是要普及下常识，别被忽悠了。股票是公司用来奖励员工忠诚度的，所以阿里分年限行权，想要离职套现真的是难。更不要高额的税收了，首先，归属要收高达45%的个税，然后得到的还是限制性股票，还不能马上卖呢。好不容易可以出售的时候，还得交20%股票增值部分的个人所得税哦!
更重要的是，你必须先缴税，才能归属，缴税还必须用现金，不能selltocover!So，拿的越多，先拿出的cash就越多，这里面的流动性风险你自己权衡吧。
百度
再说说级别分层和阿里类似的百度
1.百度的技术级别：
百度有4万人，每年招聘应届生技术产品人员1000人左右，技术岗位级别和阿里类似，分为T序列12级，不赘述了，大概阿里的级别减1或2，就是百度的级别。
主要集中在T5/T6，升T7很困难，T7升T8更困难;T7以上一般就不做coding了
一般来说，在百度待3年能给到T5，很多人都等不到三年，原因下面说，社招过来的，一般是外面公司的技术骨干了
T10是技术总监，十个左右;T11是首席科学家;T12基本没见过。
2.再看百度薪资的大概范围：
百度薪资结构：月薪*14.6(12+0.6+2),其他岗位月薪*14
T5以上为关键岗位，另外有股票、期权
T5、T6占比最大的级别，T8、T9占比最小
级别越高，每档之间的宽幅越大
百度是一家业务定性，内部稳定，金字塔形的成熟公司。也就是说，大部分事情都是按部就班、驾轻就熟，所有人都比较轻松、稳定、舒服，尤其是对老员工而言。但是对于新员工来说，这意味着成长空间的极度压缩，机会少，上升慢。
百度工资高，福利好，但是这么多年期权已经基本发光了，只有总监以上才有，几十股几百股就算多了。问题就来了，百度新老员工的期权数量太悬殊，据说到百度楼下停车场一看，开卡宴的都是老员工，开捷达的都是新员工，其实很多新员工的贡献比老员工大得多，但是收入反而倒挂，于是很多新人等不到3年就跳了。
腾讯
谈谈最南边的腾讯
1.腾讯的技术级别：
腾讯的分级和阿里/百度都不一样，分为T1/T2/T3/T4共4级，其中又细分为3级。
员工仍然集中在中段，尤其是T2.3和T3.1
想从T2跨到T3，即从2.3升3.1是非常困难的
2.了解薪酬和级别的关系：
腾讯标准薪资是14薪，但是通常能拿到16-20薪
T3.1以上开始另外有股票
值得一提的是，腾讯是有淘汰制考核的。一般一年两次考核(6月、12月)，实行末尾淘汰制，0-10%优秀，必须有5%的人转组(转组也可能出现没人接收的情况)或者被开除，这点比较狠。
升级也跟考核结果很有关系，要升一个小等级，必须最近两次考核得过一次A类考核结果。升T3.1是内部晋升的第一道槛，要求架构在领域内优秀，被追问攻击时能无漏洞应答出来--据说只有30%的通过率。同时，腾讯好的一点在于，底层普通员工如果技术真的不错，照样升级，和是不是leader关系不大。leader的带队价值在T3.3时才显现出来。
别问我是怎么知道答案的，我不是互联网猎头，我正在做的事就是要用互联网产品替代猎头，因为猎头不透明、不全面，还死贵。
五：数据分析的基本素质
一名合格的数据分析师需要具备的五大基本能力和素质。
1、态度严谨负责
严谨负责是数据分析师的必备素质之一，只有本着严谨负责的态度，才能保证数据的客观、准确。在企业里，数据分析师可以说是企业的医生，他们通过对企业运营数据的分析，为企业寻找症结及问题。一名合格的数据分析师，应具有严谨、负责的态度，保持中立立场，客观评价企业发展过程中存在的问题，为决策层提供有效的参考依据；不应受其他因素影响而更改数据，隐瞒企业存在的问题，这样做对企业发展是非常不利的，甚至会造成严重的后果。而且，对数据分析师自身来说，也是前途尽毁，从此以后所做的数据分析结果都将受到质疑，因为你已经不再是可信赖的人，在同事、领导、客户面前已经失去了信任。所以，作为一名数据分析师就必须持有严谨负责的态度，这也是最基本的职业道德。
2、好奇心强烈
好奇心人皆有之，但是作为数据分析师，这份好奇心就应该更强烈，要积极主动地发现和挖掘隐藏在数据内部的真相。在数据分析师的脑子里，应该充满着无数个“为什么”，为什么是这样的结果，为什么不是那样的结果，导致这个结果的原因是什么，为什么结果不是预期的那样等等。这一系列问题都要在进行数据分析时提出来，并且通过数据分析，给自己一个满意的答案。越是优秀的数据分析师，好奇心也越不容易满足，回答了一个问题，又会抛出一个新的问题，继续研究下去。只有拥有了这样一种刨根问底的精神，才会对数据和结论保持敏感，继而顺藤摸瓜，找出数据背后的真相。
3、逻辑思维清晰
通常从事数据分析时所面对的商业问题都是较为复杂的，我们要考虑错综复杂的成因，分析所面对的各种复杂的环境因素，并在若干发展可能性中选择一个最优的方向。这就需要我们对事实有足够的了解，同时也需要我们能真正理清问题的整体以及局部的结构，在深度思考后，理清结构中相互的逻辑关系，只有这样才能真正客观地、科学地找到商业问题的答案。
4、擅长模仿
在做数据分析时，有自己的想法固然重要，但是“前车之鉴”也是非常有必要学习的，它能帮助数据分析师迅速地成长，因此，模仿是快速提高学习成果的有效方法。这里说的模仿主要是参考他人优秀的分析思路和方法，而并不是说直接“照搬”。成功的模仿需要领会他人方法精髓，理解其分析原理，透过表面达到实质。万变不离其宗，要善于将这些精华转化为自己的知识，否则，只能是“一直在模仿，从未超越过”。
5、勇于创新
整理自：中国统计网，《谁说菜鸟不会数据分析》，博客，微博等平台；感谢数据小宇军，数据海洋，小蚊子，王子等原作者；
工业互联网操作系统
产业智能官AI-CPS
用“人工智能赛博物理操作系统”（新一代技术+商业工业互联网操作系统“AI-CPSOS”：云计算+大数据+物联网+区块链+人工智能），在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能；实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。
本文系“产业智能官”（公众号ID：AI-CPS）收集整理，转载请注明出处！