什么是数据挖掘?分析如何揭示洞察

丰富的线上&线下活动，深入探索云世界

做任务，得社区积分和周边

最真实的开发者用云体验

让每位学生受益于普惠算力

让创作激发创新

资深技术专家手把手带教

遇见技术追梦人

技术交流，直击现场

海量开发者使用工具、手册，免费下载

极速、全面、稳定、安全的开源镜像

开发手册、白皮书、案例集等实战精华

为开发者定制的Chrome浏览器插件

数据挖掘是通过大量数据集进行分类以识别趋势和模式并建立关系的自动化过程。

最大的问题是：如何从这些信息中获得真正的商业价值数据挖掘可以在很大程度上做出贡献。数据挖掘是通过大量数据集进行分类的自动化过程，以通过数据分析来识别趋势和模式，建立关系，解决业务问题或产生新的机会。

查看数据来了解过去发生的事情以便能够在现在明智地行动只是一方面。数据挖掘工具和技术让你可以预测未来会发生什么，并采取相应的行动来利用即将到来的趋势。

“数据挖掘”这个术语在IT行业中被广泛使用。它常常被应用于各种大规模的数据处理活动，如收集、提取、仓储和分析数据。它还可以包括决策支持的应用程序和技术，如人工智能、机器学习和商业智能。

数据挖掘在商业和研究的很多领域被使用，包括产品开发、销售和营销、遗传学和控制论——这里仅举几例。如果使用得当，数据挖掘与预测分析相结合可以为你提供比没有使用这些工具的竞争对手更大的优势。

从数据挖掘中获取业务价值

数据挖掘的真正价值在于能够以数据中的模式和关系的形式挖掘隐藏的宝石，这可以用来做出对企业有重大影响的预测。

该技术的好处可能会因业务类型和目标而异。例如，零售业的销售和营销经理可能用不同的方式挖掘客户信息，以提高转化率，这种提高转化率的方式迥异于航空公司或金融服务业。

不管是什么行业，过去应用于销售模式和客户行为的数据挖掘都可用于创建预测未来销售和行为的模型。

数据挖掘也有助于取消可能损害企业的活动。例如，你可以使用数据挖掘来提高产品的安全性，或检测保险和金融服务交易中的欺诈活动。

数据挖掘的应用

数据挖掘几乎适用于所有行业的各种应用。

·制造企业可以使用数据挖掘在生产过程中发现模式，从而可以精确地识别出瓶颈和有缺陷的方法，并设法提高效率。它们还可以将知识从数据挖掘应用于产品设计，并根据客户体验的反馈进行调整。

·教育机构可以从数据挖掘中受益，例如分析数据集，以预测学生的未来学习行为和表现，然后利用这些知识来改进教学方法或课程。

·医疗保健提供者可以挖掘和分析数据，以确定向患者提供护理和降低成本的更好的方法。在数据挖掘的帮助下，他们可以预测需要照顾的病人数量以及患者需要什么类型的服务。在生命科学领域，数据挖掘可用于从大量生物数据中获取洞察，帮助开发新药和其他治疗方法。

·在包括医疗保健和零售在内的多个行业，你可以使用数据挖掘来检测诈骗和其它滥用行为——比传统的识别此类活动的方法要快得多。

数据挖掘的关键组成部分

数据挖掘的过程包含满足不同需求的几个不同的组件：

·关联规则学习(也称为市场篮子分析)。这些工具搜索数据集中的变量之间的关系，例如确定商店中的哪些商品通常被一起购买。

·集群。数据挖掘的这个特征用于发现数据集中的某种程度上互相类似的组和结构，而不用数据中的已知结构。

·分类。执行分类的工具将已知结构推广到适用于新的数据点，例如当电子邮件应用程序尝试将邮件分类为合法邮件或垃圾邮件时。

·回归。这种数据挖掘技术用于在给定特定数据集时预测一系列数值，例如销售量、住房价值、温度或价格。

·总计。该技术提供了数据集的精简表示，包括可视化和报告生成。

有数十家供应商提供数据挖掘软件工具，一些提供专门的软件，其它的通过开源的努力提供产品。

提供专门的数据挖掘软件应用程序的关键供应商包括Angoss、Clarabridge、IBM、Microsoft，OpenText、Oracle、RapidMiner、SASInstitute和SAP。

提供开源数据挖掘软件和应用程序的组织包括Carrot2、Knime、MassiveOnlineAnalysis、ML-Flex、Orange、UIMA和Weka。

数据挖掘的风险和挑战

数据挖掘也有其风险和挑战。与涉及潜在的敏感或个人身份信息的使用的任何技术一样，安全和隐私是最大的问题之一。

除了如此彻底的追踪个人的道德规范外，还有法律规定如何收集数据、识别一个人并共享数据。美国义务型可携带式健康保险法案(HIPAA)和欧盟的通用数据保护指令(GDPR)是众所周知的。

在数据挖掘中，准备本身的初始行为(例如聚集然后使数据合理化)可以揭示可能危及数据机密性的信息或模式。因此，不经意地违反道德问题或法律要求是有可能的。

数据挖掘的每一步还需要数据保护，以确保数据不被偷窃、改变或秘密访问。安全工具包括加密、访问控制和网络安全机制。