丰富的线上&线下活动，深入探索云世界
做任务，得社区积分和周边
最真实的开发者用云体验
让每位学生受益于普惠算力
让创作激发创新
资深技术专家手把手带教
遇见技术追梦人
技术交流，直击现场
海量开发者使用工具、手册，免费下载
极速、全面、稳定、安全的开源镜像
开发手册、白皮书、案例集等实战精华
为开发者定制的Chrome浏览器插件
宋天龙著
Python是什么？数据化运营又是什么？为什么要将Python用于数据化运营？本节先来回答这几个问题。
Python是一种面向对象的解释型计算机程序设计语言，由荷兰人GuidovanRossum于1989年发明，第一个公开版发行于1991年。Python开发的初衷其实是一个开发程序语言，而非专门用于数据工作和科学计算的数据处理或建模程序（当然，现在已经是了）。为什么我们要选择Python而非其他语言（例如R）进行数据处理、分析和挖掘呢？这是因为Python先天和后天具有的一些特殊条件和能力，使其成为目前企业（尤其是大数据领域）做数据化运营最为合适的工具。
总而言之，在具备一定Python经验和技巧的情况下，几乎没有Python无法胜任的工作场景！如果有，那么用Python调用其他语言或用其他语言调用Python后，就会胜任。
数据驱动式数据化运营的过程由数据掌控，数据是主体，实现该过程需要IT、自动化系统、算法等支持，数据驱动具有自主导向性、自我驱动性和效果导向性。
3.数据化运营的工作流程上文我们介绍了数据化运营的两种方式：辅助决策式数据化运营和数据驱动式数据化运营。其中数据驱动式数据化运营具体取决于应用场景，不同的场景，其具体工作流程不同。有关该部分内容在本书后面章节会具体讲到。本节重点介绍数据驱动式数据化运营的工作流程。数据驱动式数据化运营工作包含数据和运营两个主体，在实际工作过程中需要二者协同。在某些大型工作项目上，还有可能涉及与IT部门、信息中心等部门的联动。其工作流程分为３个阶段，如图1-1所示。
Python用于数据化运营，将充分利用Python的强大功能和效率来满足数据化运营的复杂需求。
1.Python2还是Python3目前，Python仍然是两个系列的版本并存，一个是Python2，另一个是Python3。这两个版本的语法不完全兼容，因此两个版本的程序调用对方的执行脚本将很可能报错。如果没有特殊需求，大多数场景下选择Python3都是一个正确的选择。但结合特定场景，笔者还是给出以下具体建议：
下载完成后，会在本地计算机中存在一个名为“Anaconda3-5.3.1-Windows-x86_64.exe”的安装包，安装过程只需使用默认配置即可。
3.Jupyter的基本操作在图1-6中，可以看到共分为3个功能区：图中①是主功能区，②是文件和目录功能区，③是文件和目录列表。
这里我们简单介绍Jupyter的使用方法和常用操作。（1）新建Python文件单击右上角New按钮，选择当前Python版本对应的文件Python3，进入文件编辑窗口，如图1-7所示。这里也可以创建其他文件，单击TextFile即可。如果当前Jupyter还安装了其他内核，则也可以建立其他内核文件，例如R。（2）编辑Python文件在文件编辑窗口中，功能区包括3个部分，如图1-8所示。
（3）保存与恢复保存直接使用Ctrl+S快捷键即可，此时将生成一个检查点版本。与保存不同的是，恢复有不同的场景应用。
（5）单元格输入和输出单元格（Cell）类似于Excel中的单元格，用来输入和输出内容。单元格的输入格式包括4类，如图1-11所示。
在输入格式上，写代码时选择Code，而做单独模块的注释时使用Markdown。单元格的内容输出具体取决于Code内容。（6）单元格常用编辑功能单元格的常用编辑功能非常简单，图标如图1-12所示。
（7）执行Python程序执行Python文件是以单元格为单位的，操作命令如下：
以上执行命令操作仅仅是利用Jupyter提供的功能执行单元格的程序，但很多情况下，我们可能需要执行外部文件或程序，例如执行test.py文件。此时，我们可以在单元格中输入以下任一命令实现程序执行。
（8）将外部程序加载到单元格Jupyter允许直接将外部程序加载到单元格，例如已经写好的类或方法，使用%loadfile_name.py即可实现。整个过程如图1-15中的①②③④所示。
4.Jupyter的魔术命令Jupyter支持IPython中的魔术命令。所谓魔术命令指的是IPython提供的特殊命令，它将常用的操作以%开头的命令封装起来，使用时非常方便。以下是笔者常用的魔术命令。
另外，还有一些是数据分析师不常用，但数据开发工程师会经常用到的命令。
当然，要执行这些程序的前提是已经安装了对应的内核。具体过程会在下节中介绍。5.Jupyter新内核安装和使用（1）查看可用内核在系统终端命令行中输入jupyterkernelspeclist来查看当前Jupyter可用内核，例如笔者环境的内核只有Python3，如图1-17所示。
（2）安装新内核使用Anaconda安装新内核将非常简单，例如：安装R内核使用condainstall-crr-essentials命令即可。整个过程的耗时较长，用户需耐心等待。安装完成后会有如图1-18所示的命令行的提示信息。此时，重新启动Jupyter，在新建（New）时，出现新的可选内核R。另外，再次通过jupyterkernelspeclist也能看到当前可用内核列表发生变化，如图1-19所示。6.Jupyter执行Shell命令及安装第三方库Jupyter调用终端命令行命令只需要在单元格中的命令前面加!即可。
同样，我们也可以直接调用终端的命令安装第三方包。
（2）使用pip命令安装在Jupyter单元格中，直接使用!pippackage_name即可实现安装，其中的package_name可以是本地文件，也可以是远程服务器文件。一般情况下，pip包会自动查找最新匹配的版本安装。例如，以下3种方法可实现相同的安装效果：
（3）使用setup命令从源码安装每个第三方库都有一个源码文件压缩包，格式为.tar.gz或.zip，例如pandas-0.19.2.tar.gz、numpy-1.12.1.zip。将压缩包从pypi（或其他官方资源）中下载到要安装的服务器或本机并解压（这些步骤都非常简单），然后在Jupyter单元格的命令行窗口执行如下命令：
cd[解压后的包含了setup.py的路径]!Python3setup.pyinstall
上述代码会默认执行完成命令，如果环境配置正确，会有成功安装提示。
（4）如何批量安装Python第三方库在某些情况下，例如迁移Python程序或者升级、重装等，往往在现有服务器或主机上已经安装了大量的库，此时如果要在新的环境上安装，则需要重新安装很多第三方库。此时，我们需要一种能够批量安装第三方库的方法。整个实现过程如下：1）批量导出第三方库列表。实现批量安装第三方库，首先要有一份安装列表，这份列表可以从原来要迁移的主机或服务器中获取。具体方法为：打开系统终端，然后输入如下命令：!pipfreeze>requirements.txt该命令的意思是，将现有第三方库以requirements格式导出至requirements.txt文件中。执行完成后，在执行路径下会产生一个新的文件，名为requirements.txt。打开该文件，会发现里面包括了所有的第三方库，如下是部分库：adal==1.0.1alabaster==0.7.10anaconda-client==1.6.5anaconda-navigator==1.6.9anaconda-project==0.8.0…2）批量安装第三方库列表到新的环境。在新的Python环境下，执行如下命令实现安装：!pipinstall-rrequirements.txt该命令的意思是，从requirements.txt中读取要安装的第三方库Python库列表，并按指定的版本安装到现有Python环境中。
在我们导出的requirements.txt的内容中，可以看到每行都是一个包，且每个包都指定了版本，指定的方法是用“==”，这就是pip能看懂的格式。除了这些格式外，还有以下几种常用的格式可以指定批量安装列表，并且这些安装方法可以适用于本节之前提到的场景。不同场景下的requirements.txt内容格式如下：
7.Jupyter的扩展和插件Jupyter的扩展和插件（Jupyter-contribextensions）的很多功能会增加数据工作的便利性。要实现扩展，需经过两个步骤（以下步骤建议系统终端进行）：1）安装Python扩展包，使用pipinstalljupyter_contrib_nbextensions或condainstall-cconda-forgejupyter_contrib_nbextensions即可完成，具体提示信息如图1-21所示。
2）安装JavaScript和CSS文件。此步骤将Nbextensions的JavaScript和CSS文件复制到jupyter服务器的搜索目录中，并编辑一些jupyter配置文件。通过命令jupytercontribnbextensioninstall--user--skip-running-check实现。完成结束后信息如图1-22所示。
上述过程结束后，重启Jupyter程序，会发现原有的主导航菜单栏中多了一个“Nbextensions”，如图1-23所示。
单击“Nbextensions”切换到扩展和插件视图，要启用对应的功能只需勾选即可，笔者的配置项如图1-24所示。在此介绍几个常用扩展和插件。
8.其他库本书中根据实际案例，还会安装不同的第三方库/包，具体会在场景中说明，在此不一一列出。
在本书中，大多数案例数据都会直接从数据库中读取，这是因为实际应用中的运营数据基本上也是在数据库中直接获取并进行初步的数据探查工作，因此数据库是开展数据工作的基础工具。为了提高数据库的操作和使用效率，并能使更多读者开始入门数据库应用，我们会使用客户端工具，通过界面化的方式降低数据库的应用难度。数据库我们选择MySQL，客户端使用Navicat。关于MySQL和Navicat软件的下载，网络资源非常丰富，请读者自行寻找并下载安装，笔者的MySQL为64位、5.7.21版本。数据库安装并配置完成之后，通过Navicat客户端进行连接。方法是：单击顶部菜单“文件-新建连接-MySQL”，在弹出的对象框中输入如下信息，如图1-26所示。
输入完成后，单击“连接测试”，如果信息配置正确并且MySQL服务可用，那么会返回“连接成功”字样。如果返回状态提示无法连接，如“Can'tconnecttoMySQLserveron'localhost'(10061)(2003)”，那么可能是MySQL没有启动。具体启动方法是：单击电脑左下角的“开始－运行”，输入命令services.msc，在打开的“服务管理器”中找到MySQL并双击。在打开的属性窗口中，单击“启动”按钮，服务便可启动，如图1-27所示。
有关使用客户端以及Python直接操作数据库的具体应用，会在后续案例中陆续介绍。
对于数据工作而言，如果只是在本机上做数据分析处理和建模工作，通常只能利用有限的个人电脑性能实现有限规模的数据计算能力。当数据计算量或数据规模很大时，通常会选择在本地进行数据测试，然后到服务器上运行Python程序。此时，我们需要一个能在本机和服务器之间进行数据、信息和指令交互的SSH远程客户端工具。对大多数数据工作者而言，本地电脑操作系统以Windows居多，而服务器操作系统以Linux系统居多，因此SSH远程客户端工具的主要作用就是连接Windows和Linux。此类工具很多，包括XShell、SecureCRT等，笔者使用的是SecureCRT，如图1-28所示。
OCR（OpticalCharacterRecognition，光学字符识别）是一个非常“古老”的话题，原因是这项工作在上世纪90年代就已经普遍流行。但在大数据的背景下，我们要做的不是识别普通的光学字符（光学扫描文字），而是把范围扩大到识别更多领域的文字信息，例如手写识别、工业铭牌文字识别等非标准化、非印刷体、非传统资料录入的文字信息识别。tesseract-ocr是一个Google支持的开源OCR图文识别项目，支持超过200种语言（包括中文），并支持自定义训练字符集，支持跨Windows、Linux、MacOSX多平台使用。不同的平台安装tesseract-ocr和配置差异较大，下面以Windows为例说明其安装过程。1）下载名为“tesseract-ocr-setup-3.02.02.exe”的安装包。2）安装下载tesseract-ocr-setup-3.02.02.exe。安装成功之后，在系统终端命令行窗口输入tesseract，可直接调用ocr命令。
TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，它是使用图模型将复杂的数据结构传输至人工智能神经网中进行分析和处理的框架，被广泛用于语音识别或图像识别等多项机器深度学习领域。在TensorFlow出现之前，我们之前介绍的scikit-learn几乎是Python机器学习中最流行的工具（或者至少是最流行的工具之一），借助谷歌的强大号召力以及在人工智能领域的技术实力，TensorFlow正在慢慢凸显其优势，已经成为当前机器学习领域开源工具最流行的框架。TensorFlow支持跨平台的应用，最新版本已经支持Windows。从1.4.0开始的版本，Tensorflow已经支持X86架构的个人PC，但仅限于Python3版本以上。在Windows上安装Tensorflow，使用!pipinstalltensorflow命令即可实现。安装完成后，在Jupyter中输入importtensorflow时没有错误信息，就说明该包已经成功安装。有关TensorFlow的更多信息，具体查阅www.tensorflow.org。
本节通过一个简单的案例，来介绍如何使用Python进行数据化运营分析。案例场景：每个销售型公司都有一定的促销费用，促销费用可以带来销售量的显著提升。当给出一定的促销费用时，预计会带来多大的商品销售量？在“附件-chapter1”中的data.txt文档中存储了建模所需的原始数据及chapter1.ipynb中案例完整代码。以下是原始数据概况。
下面逐步解析整个分析和实践过程。第1步导入库本案例中，我们使用以下几个库。
代码如下：importpandasaspdfrommatplotlibimportpyplotaspltfromsklearnimportlinear_modelfromsklearn.metricsimportmean_squared_error,r2_score
第2步读取数据本案例中的数据为txt文件，我们使用Python默认的读取文件的方法。代码如下：raw_data=pd.read_csv('data.txt')本示例没有使用传统的open方法，而是用了Pandas自带的读取csv数据库。事实上，对于数据文件的读取，一般都不会用原生的open方法，类似于Pandas、Numpy等带很多可以读取多种格式数据文件的方法。由于程序文件和数据文件处于同一个目录下，因此无须指定路径；也可以通过相对路径和绝对路径来设置完整路径。指定相对路径：'../data/data.txt'，含义是“data.txt”位于当前Python工作目录的父级目录中的data文件夹中。指定绝对路径：'d:/python_data/data/data.txt'，该方式中的绝对路径需要注意使用正斜杠/，而不是Windows默认的反斜杠\；如果一定要使用反斜杠，那么需要写成'd:\python_data\data\data.txt'，用转义字符表示。
本案例看似篇幅很长，其实代码本身只用了20多行，实现了导入库、获取数据、数据预处理、数据展示分析、数据建模、模型评估和销售预测的完整步骤，麻雀虽小五脏俱全。案例场景虽然简单，但完整地演示了如何从输入数据到输出结果的整个过程。其中，我们用到了以下基础知识：
这是本书的第1个完整案例，目的是引导读者快速进入使用Python进行数据化运营的场景中来。笔者并不希望让读者陷入复杂的逻辑和太多知识当中，以下内容仅做拓展思考之用：