数据挖掘技术及其应用现状

数据挖掘技术及其应用现状
    近十几年，随着科学技术飞速的发展，经济和社会都取得了极大的进步，与此同时，在各个领域产生了大量的数据，如人类对太空的探索，银行每天的巨额交易数据。显然在这些数据中丰富的信息，如何处理这些数据得到有益的信息，人们进行了有益的探索。计算机技术的迅速发展使得处理数据成为可能，这就推动了数据库技术的极大发展，但是面对不断增加如潮水般的数据，人们不再满足于数据库的查询功能，提出了深层次问题：能不能从数据中提取信息或者知识为决策服务。就数据库技术而言已经显得无能为力了，同样，传统的统计技术也面临了极大的挑战。这就急需有新的方法来处理这些海量般的数据。于是，人们结合统计学、数据库、机器学习等技术，提出数据挖掘来解决这一难题。

    数据挖掘的含义和作用

    数据挖掘的历史虽然较短，但从20世纪90年代以来，它的发展速度很快，加之它是多学科综合的产物，目前还没有一个完整的定义，人们提出了多种数据挖掘的定义，例如：

    SAS研究所（1997）：“在大量相关数据基础之上进行数据探索和建立相关模型的先进方法”。

    Bhavani（1999）：“使用模式识别技术、统计和数学技术，在大量的数据中发现有意义的新关系、模式和趋势的过程”。

    Hand et al（2000）：“数据挖掘就是在大型数据库中寻找有意义、有价值信息的过程”。

    我们认为：数据挖掘就是从海量的数据中挖掘出可能有潜在价值的信息的技术。这些信息是可能有潜在价值的，支持决策，可以为企业带来利益，或者为科学研究寻找突破口。

    现今资料流通量之巨大已到了令人咂舌地步，就实际限制而言，便遇到了诸如巨量的纪录，高维的资料增加的传统分析技术上的困难，搜集到的资料仅有5%至10%用来分析，以及资料搜集过程中并不探讨特性等问题，这就让我们不得不利用Data Mining技术。

    数据挖掘综合了各个学科技术，有很多的功能，当前的主要功能如下：

    1.分类：按照分析对象的属性、特征，建立不同的组类来描述事物。例如：银行部门根据以前的数据将客户分成了不同的类别，现在就可以根据这些来区分新申请贷款的客户，以采取相应的贷款方案。

    2.聚类：识别出分析对内在的规则，按照这些规则把对象分成若干类。例如：将申请人分为高度风险申请者，中度风险申请者，低度风险申请者。

    3.关联规则和序列模式的发现：关联是某种事物发生时其他事物会发生的这样一种联系。例如：每天购买啤酒的人也有可能购买香烟，比重有多大，可以通过关联的支持度和可信度来描述。与关联不同，序列是一种纵向的联系。例如：今天银行调整利率，明天股市的变化。

    4.预测：把握分析对象发展的规律，对未来的趋势做出预见。例如：对未来经济发展的判断。

    5.偏差的检测：对分析对象的少数的、极端的特例的描述，揭示内在的原因。例如：在银行的100万笔交易中有500例的欺诈行为，银行为了稳健经营，就要发现这500例的内在因素，减小以后经营的风险。

    需要注意的是：数据挖掘的各项功能不是独立存在的，在数据挖掘中互相联系，发挥作用。

    数据挖掘的方法及工具

    作为一门处理数据的新兴技术，数据挖掘有许多的新特征。首先，数据挖掘面对的是海量的数据，这也是数据挖掘产生的原因。其次，数据可能是不完全的、有噪声的、随机的，有复杂的数据结构，维数大。最后，数据挖掘是许多学科的交叉，运用了统计学，计算机，数学等学科的技术。以下是常见和应用最广泛的算法和模型：

   (1) 传统统计方法：① 抽样技术：我们面对的是大量的数据，对所有的数据进行分析是不可能的也是没有必要的，就要在理论的指导下进行合理的抽样。② 多元统计分析：因子分析，聚类分析等。③ 统计预测方法，如回归分析，时间序列分析等。

   (2) 可视化技术：用图表等方式把数据特征用直观地表述出来，如直方图等，这其中运用的许多描述统计的方法。可视化技术面对的一个难题是高维数据的可视化。

   (3) 决策树：利用一系列规则划分，建立树状图，可用于分类和预测。常用的算法有CART、CHAID、ID3、C4.5、C5.0等。

   (4) 神经网络：模拟人的神经元功能，经过输入层，隐藏层，输出层等，对数据进行调整，计算，最后得到结果，用于分类和回归。

   (5) 遗传算法：基于自然进化理论，模拟基因联合、突变、选择等过程的一种优化技术。

   (6) 关联规则挖掘算法：关联规则是描述数据之间存在关系的规则，形式为“A1∧A2∧…An→B1∧B2∧…Bn”。一般分为两个步骤：① 求出大数据项集。② 用大数据项集产生关联规则。

    除了上述的常用方法外，还有粗集方法，模糊集合方法，Bayesian Belief Netords ,最邻近算法（k-nearest neighbors method(kNN)）等。

    由于数据挖掘一开始就是面向应用的，是为决策服务，而决策者又不一定具备太多的技术的知识，现许多公司和研究机构开发了一系列的工具用于数据挖掘，见下表。