熟悉数据挖掘的流程与各个步骤所用的技术
对数据挖掘的应用场景有基本的认识
写在前面
随着互联网的日益蓬勃发展，如何从广袤的信息海洋中提取出有价值的信息、模式和关系，逐渐成为了一门新的领域——数据挖掘。作为一门交叉学科，数据挖掘融合了信息检索、互联网、数据库、机器学习、自然语言处理等不同的学科，用多样技术完成具体的数据挖掘应用。常见的应用有：垂直搜索、推荐系统、智能问答、机器翻译、舆情监测、情报收集等等，可谓是深入到了我们日常生活的方方面面。
▊接下来我们会从基础技术说起，从以下三个方面来了解数据挖掘：
搜索技术
数据挖掘技术
具体应用
搜索
搜索其实是一个很大的主题，但是核心问题其实并不复杂，一是如何去表示文档，二是在这样的基础上如何去检索文档。具体的评价标准是『效果』和『效率』。效果指的是如何准确匹配查询与文档，一般来说会基于检索模型进行。效率值得是如何快速返回检索结果，一般来说是基于索引进行的。
文档表示
▊文档表示一般有两种方法：手动或自动
自动方法，最有代表性的是词袋(BagofWords)技术，即使用文档中出现的词的集合来表示一篇文档。但是这种方法也有很多不足之处，因为是词语的无序集合，句法信息首先已经丢失了，另外针对不同的语言会有不同的难点。
对于中文来说，如何进行分词（即把句子分成词）就是一个很大的难点，尤其是层出不穷的网络热梗，如何保证准确和实时就是非常大的挑战。对于英文来说，虽然没有分词的问题，但是大小写、单复数、时态、词根等等同样让人头疼。这也导致了大部分搜索引擎都不会考虑词根问题，一是因为文档太多，进行二次处理得不偿失，二是因为对于搜索结果来说影响没有那么大，自然就没有太大的动力去做。
文档索引
表示了文档之后，我们需要对其进行索引，不然每次检索如果需要用户等太久，体验就很糟糕了。而具体到用什么进行检索，最终人们选择了用词而不是短语来作为索引，这里一个比较有代表性的工具就是Lucene，现在互联网上广为应用的Elasticsearch和Solr都是基于Lucene的。
Lucene最重要的技术就是倒排索引(invertedindex)，可看做链表数组，每个链表的表头包含关键词，其后序单元则包括所有包括这个关键词的文档标号，以及一些其他信息，如该词的频率和位置等。这里关键词查询一般采用B-Tree或哈希表，文档列表组织一般采用二叉搜索树。
文档检索
最初人们常用的是基于布尔代数的匹配，虽然比较简单，但是对查询的要求很高；并且匹配标准过于严格，容易导致过少或过多的检索结果。尽管布尔模型不再用作主流文档检索模型，但其思想常用于实现高级(综合)检索功能。
现在最常用的是向量空间模型(VectorSpaceModel)，其思路是文档与查询都是高维空间中的一个向量，用户自由输入文本也是一个向量，利用向量空间的相似性进行查询。具体的相似性同样可以用两种方法来确定：内积或者夹角。因为是空间，所以度量距离的时候会采用不同的描述距离的方式，有Minkowskimetric,Euclidiandistance,Jacquardmeasure和Dice’scoefficient等等。
同一篇文档中不同词语其实也会有不同的权重，这里我们比较常用的是TF-IDF算法，其中TF表示词语出现的频率，而IDF则能区别不同词语的重要性。
文档收集
前面介绍了文档检索的各种概念，但是现在问题来了，文档从哪里来呢？这就要提到我们最常听见的爬虫(WebCrawler)了，它能够快速有效地收集尽可能多的有用Web页面，包括页面之间的链接结构。
▊随着Web2.0的兴起，脚本语言生成的动态内容和各类多媒体内容给爬虫增加了许多难度，但基本的页面爬取策略没有太大的改变，一般以以广度优先为主，深度优先为辅，需要具体的特性主要有：
健壮Robustness,避免进入死循环
友好Politeness,遵守服务器的采集协议
分布式Distributed,多台机器分布式采集
可扩展Scalable,爬虫架构方便扩展
性能与效率，有效利用系统资源
质量Quality,倾向于采集有用的页面
新颖Freshness,获取网页的最新版本
可扩充Extensible,能够处理新数据类型、新的采集协议等
链接分析
这里有一个很有趣的现象叫做排序沉入(RankSink)，页面A引用了页面B，页面B也引用了页面A，就形成了一个闭环，不再向外传播分数了。这是我们在实际运用中需要避免的情况。
数据挖掘
数据挖掘根据应用的不同，分为不同的子领域，这些子领域又和机器学习、概率统计、模式识别等有着千丝万缕的关系。接下来先介绍基本概念，然后聊聊一些常见的应用。
主要任务
为了完成上述任务，整个数据挖掘的流程为：获取数据->选择数据->预处理数据->数据规整->数据挖掘->模式识别。不同阶段会使用不同的技术，但一定要把整个流程走通，数据挖掘才有意义。
随着数据量的增大，如何让数据挖掘更加容易拓展效率更高，如何去挖掘有上下文关系的数据，如何从复杂、异构、网络化数据中挖掘复杂知识，如何挖掘低质量数据，如何保证安全性和隐私，都是未来数据挖掘需要努力的方向。
常用工具
▊开源的工具有：
Weka
GATE
Carrot2
NLTK
Orange
RapidMiner
KNIME
▊商用的应用主要有：
IBMInfoSphereWarehouse
MicrosoftAnalysisServices
SASEnterpriseMiner
STATISTICADataMiner
OracleDataMining
自然语言处理
▊推荐教材：
FoundationsofStatisticalNatrualLanguageProcessing
SpeechandLanguageProcessing
统计自然语言处理
▊这里主要以汉语为例子说说分词。一般认为词是最小的、能够独立运用的、有意义的语言单位。但是汉语分词有许多挑战，比如：
词和词组的边界模糊
新词(未登陆词)
切分歧义
汉字串AJB被称作交集型切分歧义，如果满足AJ,JB同时为词，此时汉字串J被称作交集串
汉字串AB被称作组合型切分歧义，如果满足条件A,B,AB同时为词
真歧义：存在两种或两种以上的真实存在的切分形式
简单的模式匹配
正向最大匹配(FMM)、逆向最大匹配(BMM,比正向更有效)、双向匹配(BM,比较两种方法的结果，大颗粒词越多越好，非词典词和单子词越少越好，可以识别出交叉歧义)
基于规则的方法
最少分词算法
基于统计的方法
统计语言模型分词、串频统计和词形匹配相结合的汉语自动分词、无词典分词
第一步是候选网格构造：利用词典匹配，列举输入句子所有可能的切分词语，并以词网格形式保存
最后根据图搜索算法在图中找到一条权值最大的路径，作为最后的分词结果
常见应用
接下来介绍数据挖掘的积累常见应用：
▊智能问答技术
智能问答技术起源于信息检索社区，简单来说就是根据用户的提问给出简短的答案或提供答案的证据。根据不同的划分标准，我们可以总结出如下的几类问题类型：
根据答案类型划分
事实型问题(Factualquestions)
观点型问题(Opinions)
摘要型问题(Summaries)
根据问题言语行为(questionspeechact)划分
是否型问题(Yes/NOquestions)
WH问题(WHquestions)
间接请求(IndirectRequests)
命令(Commands)
复杂/困难问题
为什么/怎么样(Why,Howquestions)
什么(Whatquestions)
遗憾的是，目前大部分理解问题的技术都是基于正则表达式的，毕竟在自然语言理解这块，暂时还没有突破性进展。
▊传统自动问答技术主要是基于语料库的自动问答或基于知识库的自动问答，基本包括三个步骤：
问题分析(分类、模板匹配、语义分析)
段落检测(段落抽取、排序)
答案抽取(实体识别、模板匹配、排序)
社区问答主要是应用与诸如知乎和Quora这类网站，目前主要的方向是问题分类、问题推荐、信誉评估和知识抽取等等。
情感分析与观点挖掘
情感分析与观点挖掘主要应用于产品比较与推荐、个人与机构声誉分析、电视节目满意度分析、互联网舆情分析和反恐与维稳。目前很多互联网平台（如淘宝、大众点评）都已经利用这种技术帮助提取用户评价中的关键词以提供更好的用户体验。
▊基本的框架如下所示：
应用层：情感检索，情感摘要，情感问答
核心层：情感要素抽取，情感倾向性分析，主客观分析/观点文本识别
基础层：NLP基本模块，情感资源收集与标注
▊而具体应用中，会将文本按照所表达的总体情感进行分类，可能的分类主要有如下三种，一般会从词、句子、文档三中粒度来进行分析：
主客观分析/观点文本识别
客观：反映关于世界的事实信息
主观：反映个人情感、信念等
倾向性分析(可看作主客观分析的细粒度处理)
对包含观点的文本进行倾向性判断
一般分为三类：褒义、贬义、中性(在一些问题不考虑中性)
情绪分析
愤怒、高兴、喜好、悲哀、吃惊等等
特征抽取与聚类(aspectextractionandgrouping)
抽取对象的所有特征表达，并将同义特征表达聚类。每个特征类表示了关于该对象的独一无二的某个特征
特征情感分类(aspectsentimentclassification)
确定观点针对每个特征的情感倾向：正面、负面、中性
信息摘要
抽取式：从文档中抽取已有句子形成摘要。这种方法实现简单，能保证句子的可读性
生成式/混合式：生成新的句子，或者对已有句子进行压缩、重构与融合。这种方法难度更大，但更接近摘要的本质
抽取式文档摘要的典型工作流程是：文档集->文档理解->句子重要性计算与排名(利用词语句子的各类特征，基于机器学习)->句子选择->摘要句子排序->摘要
目前摘要总体性能不高，需要方法上的突破。
社交网络分析
社交网络作为Web2.0的典型代表，用户生成的内容相当多，可以看作是某种程度上的群体智慧和在强交互性基础上构造的异构网络。
社交网络分析主要是基于社交关系、结构进行挖掘，比如社区检测、连接预测、影响力分析。而社交内容挖掘则是基于文本等内容数据进行挖掘，比如摘要、关键词、情感分析。因为每个人在社交网络上可以抽象为一个元素，于是他们之间的关系可以用矩阵表示。另一种表示的方式是使用图，其中节点=成员，边=关系。
▊比较常见的任务有：
社交网络抽取(SocialNetworkExtraction)：从数据源中抽取、构建社交网络
网络中心性分析(NetworkCentralityAnalysis)：识别社交网络上最重要的节点(重要性的定义由目的、环境所定)
输入为一个社交网络，输出为最重要的节点列表，一般方法是为节点计算分数或排序，反映节点的重要性/专业性/影响力
对于点重要性的评估可以采用网络中心性测度(Centralitymeasures)方法，具体中心性的定义可能是度数中心性（朋友最多）、中介中心性（处在信息流动关键节点）或亲近中心性（离所有节点平均距离最短）
用户画像：根据用户特点给用户群体分类
链接预测(LinkPrediction)：给定一个社交网络，预测哪些节点相互连接。例如:facebook中的好友推荐
病毒式营销(ViralMarketing)：找出若干用户，为其提供优惠或折扣，从而影响网络上的其他用户，使得收益最大化
试一试
尝试在网络寻找应用了数据挖掘的产品，并思考不同公司是如何使用的
对于大数据时代的个人隐私问题，你怎么看？
总结
这一讲，我们简单了解了数据挖掘及应用的方方面面，当然，如果有很多不明白的概念，建议简单看看维基百科了解一下，不过实在不明白也没关系，随着之后的实践，应该会有恍然大悟的一天。