`
rootjo
  • 浏览: 17270 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

数据挖掘技术简介

阅读更多
1. 引言

数据挖掘(Data Mining)是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。随着信息技术的高速发展,人们积累的数据量急剧增长,动辄以TB计,如何从海量的数据中提取有用的知识成为当务之急。数据挖掘就是为顺应这种需要应运而生发展起来的数据处理技术。是知识发现(Knowledge Discovery in Database)的关键步骤。

2. 数据挖掘的任务

数据挖掘的任务主要是关联分析、聚类分析、分类、预测、时序模式和偏差分析等。

⑴关联分析(association analysis)

关联规则挖掘是由Rakesh Apwal等人首先提出的。两个或两个以上变量的取值之间存在某种规律性,就称为关联。数据关联是数据库中存在的一类重要的、可被发现的知识。关联分为简单关联、时序关联和因果关联。关联分析的目的是找出数据库中隐藏的关联网。一般用支持度和可信度两个阀值来度量关联规则的相关性,还不断引入兴趣度、相关性等参数,使得所挖掘的规则更符合需求。

⑵聚类分析(clustering)

聚类是把数据按照相似性归纳成若干类别,同一类中的数据彼此相似,不同类中的数据相异。聚类分析可以建立宏观的概念,发现数据的分布模式,以及可能的数据属性之间的相互关系。

⑶分类(classification)

分类就是找出一个类别的概念描述,它代表了这类数据的整体信息,即该类的内涵描述,并用这种描述来构造模型,一般用规则或决策树模式表示。分类是利用训练数据集通过一定的算法而求得分类规则。分类可被用于规则描述和预测。

⑷预测(predication)

预测是利用历史数据找出变化规律,建立模型,并由此模型对未来数据的种类及特征进行预测。预测关心的是精度和不确定性,通常用预测方差来度量。

⑸时序模式(time-series pattern)

时序模式是指通过时间序列搜索出的重复发生概率较高的模式。与回归一样,它也是用己知的数据预测未来的值,但这些数据的区别是变量所处时间的不同。

⑹偏差分析(deviation)

在偏差中包括很多有用的知识,数据库中的数据存在很多异常情况,发现数据库中数据存在的异常情况是非常重要的。偏差检验的基本方法就是寻找观察结果与参照之间的差别。

3.数据挖掘对象

根据信息存储格式,用于挖掘的对象有关系数据库、面向对象数据库、数据仓库、文本数据源、多媒体数据库、空间数据库、时态数据库、异质数据库以及Internet等。

4.数据挖掘流程

⑴定义问题:清晰地定义出业务问题,确定数据挖掘的目的。

⑵数据准备:数据准备包括:选择数据--在大型数据库和数据仓库目标中提取数据挖掘的目标数据集;数据预处理--进行数据再加工,包括检查数据的完整性及数据的一致性、去噪声,填补丢失的域,删除无效数据等。

⑶数据挖掘:根据数据功能的类型和和数据的特点选择相应的算法,在净化和转换过的数据集上进行数据挖掘。

⑷结果分析:对数据挖掘的结果进行解释和评价,转换成为能够最终被用户理解的知识。

⑸知识的运用:将分析所得到的知识集成到业务信息系统的组织结构中去。

5.数据挖掘的方法

⑴神经网络方法

神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题,因此近年来越来越受到人们的关注。典型的神经网络模型主要分3大类:以感知机、BP反向传播模型、函数型网络为代表的,用于分类、预测和模式识别的前馈式神经网络模型;以Hopfield的离散模型和连续模型为代表的,分别用于联想记忆和优化计算的反馈式神经网络模型;以ART模型、Koholon模型为代表的,用于聚类的自组织映射方法。神经网络方法的缺点是"黑箱"性,人们难以理解网络的学习和决策过程。

⑵遗传算法

遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法,是一种仿生全局优化方法。遗传算法具有的隐含并行性、易于和其它模型结合等性质使得它在数据挖掘中被加以应用。

Sunil已成功地开发了一个基于遗传算法的数据挖掘工具,利用该工具对两个飞机失事的真实数据库进行了数据挖掘实验,结果表明遗传算法是进行数据挖掘的有效方法之一[4]。遗传算法的应用还体现在与神经网络、粗集等技术的结合上。如利用遗传算法优化神经网络结构,在不增加错误率的前提下,删除多余的连接和隐层单元;用遗传算法和BP算法结合训练神经网络,然后从网络提取规则等。但遗传算法的算法较复杂,收敛于局部极小的较早收敛问题尚未解决。

⑶决策树方法

决策树是一种常用于预测模型的算法,它通过将大量数据有目的分类,从中找到一些有价值的,潜在的信息。它的主要优点是描述简单,分类速度快,特别适合大规模的数据处理。最有影响和最早的决策树方法是由Quinlan提出的著名的基于信息熵的ID3算法。它的主要问题是:ID3是非递增学习算法;ID3决策树是单变量决策树,复杂概念的表达困难;同性间的相互关系强调不够;抗噪性差。针对上述问题,出现了许多较好的改进算法,如 Schlimmer和Fisher设计了ID4递增式学习算法;钟鸣,陈文伟等提出了IBLE算法等。

⑷粗集方法

粗集理论是一种研究不精确、不确定知识的数学工具。粗集方法有几个优点:不需要给出额外信息;简化输入信息的表达空间;算法简单,易于操作。粗集处理的对象是类似二维关系表的信息表。目前成熟的关系数据库管理系统和新发展起来的数据仓库管理系统,为粗集的数据挖掘奠定了坚实的基础。但粗集的数学基础是集合论,难以直接处理连续的属性。而现实信息表中连续属性是普遍存在的。因此连续属性的离散化是制约粗集理论实用化的难点。现在国际上已经研制出来了一些基于粗集的工具应用软件,如加拿大Regina大学开发的KDD-R;美国Kansas大学开发的LERS等。

⑸覆盖正例排斥反例方法

它是利用覆盖所有正例、排斥所有反例的思想来寻找规则。首先在正例集合中任选一个种子,到反例集合中逐个比较。与字段取值构成的选择子相容则舍去,相反则保留。按此思想循环所有正例种子,将得到正例的规则(选择子的合取式)。比较典型的算法有Michalski的AQ11方法、洪家荣改进的AQ15方法以及他的AE5方法。

⑹统计分析方法

在数据库字段项之间存在两种关系:函数关系(能用函数公式表示的确定性关系)和相关关系(不能用函数公式表示,但仍是相关确定性关系),对它们的分析可采用统计学方法,即利用统计学原理对数据库中的信息进行分析。可进行常用统计(求大量数据中的最大值、最小值、总和、平均值等)、回归分析(用回归方程来表示变量间的数量关系)、相关分析(用相关系数来度量变量间的相关程度)、差异分析(从样本统计量的值得出差异来确定总体参数之间是否存在差异)等。

⑺模糊集方法

即利用模糊集合理论对实际问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分析。系统的复杂性越高,模糊性越强,一般模糊集合理论是用隶属度来刻画模糊事物的亦此亦彼性的。李德毅等人在传统模糊理论和概率统计的基础上,提出了定性定量不确定性转换模型--云模型,并形成了云理论。

6.评价数据挖掘软件需要考虑的问题

越来越多的软件供应商加入了数据挖掘这一领域的竞争。用户如何正确评价一个商业软件,选择合适的软件成为数据挖掘成功应用的关键。

评价一个数据挖掘软件主要应从以下四个主要方面:

⑴计算性能:如该软件能否在不同的商业平台运行;软件的架构;能否连接不同的数据源;操作大数据集时,性能变化是线性的还是指数的;算的效率;是否基于组件结构易于扩展;运行的稳定性等;

⑵功能性:如软件是否提供足够多样的算法;能否避免挖掘过程黑箱化;软件提供的算法能否应用于多种类型的数据;用户能否调整算法和算法的参数;软件能否从数据集随机抽取数据建立预挖掘模型;能否以不同的形式表现挖掘结果等;

⑶可用性:如用户界面是否友好;软件是否易学易用;软件面对的用户:初学者,高级用户还是专家?错误报告对用户调试是否有很大帮助;软件应用的领域:是专攻某一专业领域还是适用多个领域等;

⑷辅助功能:如是否允许用户更改数据集中的错误值或进行数据清洗;是否允许值的全局替代;能否将连续数据离散化;能否根据用户制定的规则从数据集中提取子集;能否将数据中的空值用某一适当均值或用户指定的值代替;能否将一次分析的结果反馈到另一次分析中,等等。

7.结束语

数据挖掘技术是一个年轻且充满希望的研究领域,商业利益的强大驱动力将会不停地促进它的发展.每年都有新的数据挖掘方法和模型问世,人们对它的研究正日益广泛和深入。尽管如此,数据挖掘技术仍然面临着许多问题和挑战:如数据挖掘方法的效率亟待提高,尤其是超大规模数据集中数据挖掘的效率;开发适应多数据类型、容噪的挖掘方法,以解决异质数据集的数据挖掘问题;动态数据和知识的数据挖掘;网络与分布式环境下的数据挖掘等;另外,近年来多媒体数据库发展很快,面向多媒体数据库的挖掘技术和软件今后将成为研究开发的热点。

分享到:
评论

相关推荐

    数据挖掘技术

    IBM SPSS Modeler是一个功能强大而全面的数据挖掘工作台,可帮助您从数据中获得从未发现的洞察。无论您是专业的数据挖掘人员还是业务分析师,这些技术的广度和深度均可让您轻松、高效、快速地构建预测模型。

    Oracle 数据挖掘手册

    #### Oracle 数据挖掘技术简介 Oracle 9i Data Mining 是一个功能强大的工具集,用于处理大型数据库中的复杂数据挖掘任务。它通过提供一系列先进的算法和技术来支持数据挖掘工作流的不同阶段:数据准备、模型构建、...

    数据挖掘技术:教育培训管理新手段.pdf

    数据挖掘技术简介中提到,数据挖掘(Data Mining),又称数据采矿,是指从大量、不完全、模糊的数据中,挖掘出隐含的、事先未知的、潜在有价值信息的过程。这一过程被称为“知识发现”。数据挖掘的功能包括关联分析...

    数据挖掘技术于在线考试系统的应用.pdf

    2. 数据挖掘技术简介: 数据挖掘是从大量、不完全、有噪声的数据集中提取有用信息和知识的过程,它涉及到人工智能、机器学习和统计学等领域。数据挖掘的目的是利用自动化分析技术,挖掘数据中的模式和关联规则,实现...

    数据挖掘技术在艾滋病诊疗研究中的应用.pdf

    一、数据挖掘技术简介 数据挖掘是从大量、不完全、有噪声、模糊的实际数据中提取有用信息和知识的过程。它涉及机器学习、统计学、数据库、模式识别等多个领域,通过建立模型和算法,可以将原始数据转化为易于理解和...

    数据挖掘技术在通信行业中的应用.pdf

    1. 数据挖掘技术简介: 数据挖掘技术综合了多个学科,包括数据库系统、机器学习、统计学、人工智能等。它的核心在于从大量、不完全、有噪声的、模糊的和随机的实际应用数据中提取人们事先不知道的、但又是潜在有用的...

    数据挖掘技术在计算机网络病毒防御中的应用.pdf

    1. 数据挖掘技术简介: 数据挖掘是从大量的、不完全的、有噪声的实际数据中,提取隐含在其中的、人们事先不知道但又有潜在价值的信息和知识的过程。这项技术在网络安全领域的应用是通过分析数据中的模式和异常来检测...

    数据挖掘技术在医学中的应用.pdf

    1. 数据挖掘技术简介:数据挖掘,有时也被称为数据库知识发现,是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中提取出隐含在其中的、可信的、新颖的、人们事先不知道的,但又是潜在有用的信息和模式...

    数据挖掘技术在软件工程中的应用研究 (4).pdf

    一、数据挖掘技术简介 数据挖掘技术主要分为如下几类方法: 1. 分类:预测性的分析方法,用于预测一个类别的值,如垃圾邮件过滤器。 2. 聚类:一种无监督学习,根据对象的特性,将它们组织成多个聚类。 3. 关联规则...

    茶叶种植中病虫害预警的数据挖掘技术分析.pdf

    1. 数据挖掘技术简介: 数据挖掘技术是指从大量数据中提取或“挖掘”信息和知识的过程。数据挖掘的手段包括统计学、模式识别、机器学习和数据库系统等。它是数据库和数据库应用领域的重大突破,始于20世纪90年代中期...

    数据挖掘概念与技术——简介

    数据挖掘技术的发展经历了几个阶段,从20世纪60年代的数据收集和数据库创建,到70年代的关系数据库模型,再到80年代的先进数据模型和面向应用的DBMS,最后到90年代至21世纪初的数据挖掘和数据仓库。这些技术的演进...

    数据挖掘在计算机网络安全领域的应用价值.pdf

    一、数据挖掘技术简介 数据挖掘(Data Mining)是指从大量数据中提取或挖掘出未知的、有价值的模式或知识的过程。它涉及统计学、机器学习、数据库技术等多个学科领域。数据挖掘在不同行业和领域具有广泛的应用价值...

    应用数据挖掘技术实现远程个性化教育

    #### 二、数据挖掘技术简介及其在远程教育中的应用 数据挖掘是一种从大量数据中提取有价值信息的技术,它可以帮助我们发现隐藏在数据背后的模式和趋势。数据挖掘技术主要包括以下几个方面: 1. **关联规则分析**:...

    数据挖掘技术及其应用简介

    ### 数据挖掘技术及其应用 #### 一、数据挖掘概述 数据挖掘作为一种交叉学科,结合了数据库、人工智能、统计学等多个领域的理论和技术。其主要任务包括关联规则、决策树、聚类分析以及基于案例的学习等。此外,还...

    数据挖掘技术在网络游戏客户关系管理中的应用.docx

    #### 三、数据挖掘技术简介 数据挖掘是从大量数据中自动发现有用知识的过程。它包括了多种技术和方法,如分类、聚类、关联规则学习等。在网络游戏CRM中,数据挖掘技术主要用于以下几个方面: 1. **决策树**:决策...

    大数据分析与数据挖掘课程 医疗数据挖掘课程 临床数据挖掘线下课程 第2章 临床大数据的数据挖掘思路及R语言简介共87页.pptx

    临床大数据挖掘线下课程 第2章 临床大数据的数据挖掘思路及R语言 R软件简介 共87页.pptx 临床大数据挖掘线下课程 第3章 数据挖掘方法-分类与聚类 共134页.ppt 临床大数据挖掘线下课程 第4章 数据挖掘方法-关联规则与...

    数据挖掘技术在高速铁路SCADA中的应用研究

    #### 数据挖掘技术简介 数据挖掘是从海量数据中提取有价值信息和知识的过程,这些信息和知识往往是隐藏的、之前未知的,但对于实际应用却十分有用。数据挖掘涉及多种技术和方法,如分类、聚类、关联规则学习等,并...

    利用数据挖掘的绝缘油色谱分析故障建模初探

    #### 三、数据挖掘技术简介 为了克服上述局限性,本文提出了一种基于数据挖掘技术的新方法。数据挖掘是一种从大量数据中提取有价值信息的技术,它能够处理不完整、有噪声、模糊和随机的数据,从中发现隐藏的规律。...

    视频数据挖掘技术综述.pdf

    视频数据挖掘技术是当今信息技术和数据分析领域的重要研究方向。随着数字视频内容的爆炸式增长,如何从海量的视频资源中快速有效地提取有用信息,成为一个亟待解决的问题。视频数据挖掘技术综述的文章为我们详细地...

    基于数据挖掘的移动通讯业客户流失管理

    #### 数据挖掘技术简介 数据挖掘是一种从大量数据中提取出有价值的信息和知识的过程。通过使用统计学方法、机器学习算法等工具,数据挖掘能够帮助分析人员发现数据之间的潜在关联,从而为企业决策提供科学依据。在...

Global site tag (gtag.js) - Google Analytics