`

数据挖掘之分类和预测学习笔记

阅读更多

分类和预测

数据库内容丰富,蕴藏大量信息,可以用来作出智能的商务决策。分类和预测是两种数据分析形式,可以用于提取描述重要数据类的模型或预测未来的数据趋势。然而,分类是预测分类标号(或离散值),而预测建立连续值函数模型

 

数据分类是一个两步过程。第一步,建立一个模型,描述预定的数据类或概念集。通过分析由属性描述的数据库元组来构造模型。假定每个元组属于一个预定义的类,由一个称作类标

号属性的属性确定。对于分类,数据元组也称作样本、实例或对象。为建立模型而被分析的数据元组形成训练数据集。训练数据集中的单个元组称作训练样本,并随机地由样本群选取。由于提供了每个训练样本的类标号,该步也称作有指导的学习

 

无指导的学习(或聚类),那里每个训练样本的类标号是未知的,要学习的类集合或数量也可能事先不知道

 

通常,学习模型用分类规则、判定树或数学公式的形式提供

 

第二步使用模型进行分类。首先评估模型(分类法)的预测准确率

 

评估分类准确率的多种方法。保持(holdout)方法是一种使用类标号样本测试集的简单方法。这些样本随机选取,并独立于训练样本。模型在给定测试集上的准确率是正确被模型分类的测试样本的百分比。对于每个测试样本,将已知的类标号与该样本的学习模型类预测比较。

 

 

如果认为模型的准确率可以接受,就可以用它对类标号未知的数据元组或对象进行分类

 

“预测和分类有何不同?”预测是构造和使用模型评估无标号样本,或评估给定样本可能具有的属性值或值区间。在这种观点下,分类和回归是两类主要预测问题;其中,分类是预测离散或标称值,而回归用于预测连续或有序值。然而,我们的观点是:预测类标号为分类,预测连续值(例如,使用回归方法)为预测。这种观点在数据挖掘界广泛接受。

 

可以对数据使用下面的预处理,以便提高分类和预测过程的准确性、有效性和可规模性。

n 数据清理:是旨在消除或减少数据噪音(例如,使用平滑技术)和处理遗漏值(例如,用该属性最常出现的值,或根据统计,用最可能的值替换遗漏值)的数据预处理。尽管大部分分类算

法都有处理噪音和遗漏值的机制,但该步骤有助于减少学习时的混乱。

n 相关性分析:数据中许多属性可能与分类和预测任务不相关。例如,记录银行贷款星期几签署的数据可能与应用的成功不相关。此外,其它属性可能是冗余的。因此,可以进行相关分析,删除学习过程中不相关或冗余属性。在机器学习,这一过程称为特征选择。包含这些属性将减慢和误导学习步骤。

理想地,用在相关分析上的时间,加上从“压缩的”结果子集上学习的时间,应当少于由

原来的数据集合上学习所花的时间。因此,这种分析可以帮助提高分类的有效性和可规模性。

n 数据变换:数据可以泛化到较高层概念。概念分层可以用于此目的。对于连续值属性,这一步非常有用。例如,属性income的数值值可以泛化为离散的区间,如low, mediumhigh。类似地,标称值,如street,可以泛化到高层概念,如city。由于泛化压缩了原来的训练据,学习时的输入/输出操作将减少。

数据也可以规范化,特别是在学习阶段使用神经网络或涉及距离度量的方法时。规范化涉

及将属性的所有值按比例缩放,使得它们落入较小的指定区间,如-1.01.0,或0.01.0

例如,在使用距离度量的方法中,这可以防止具有较大初始域的属性(如income)相对于具有较小初始域的属性(如二进位属性)权重过大。

 

 

分类和预测方法可以根据下列标准进行比较和评估:

n 预测的准确率:这涉及模型正确地预测新的或先前未见过的数据的类标号的能力。

n 速度:这涉及产生和使用模型的计算花费。

n 强壮性:这涉及给定噪音数据或具有遗漏值的数据,模型正确预测的能力。

n 可规模性:这涉及给定大量数据,有效地构造模型的能力。

n 可解释性:这涉及学习模型提供的理解和洞察的层次。

 

用判定树归纳分类

每个内部结点表示在一个属性上的测试,每个分枝代表一个测试输出,而每个树叶结点代表类或类分布。树的最顶层结点是根结点。内部结点用矩形表示,而树叶用椭圆表示。

 

判定树归纳的基本算法是贪心算法,它以自顶向下递归的划分-控制方式构造判定树

 

 

当判定树创建时,由于数据中的噪音和局外者,许多分枝反映的是训练数据中的异常。剪枝方法处理这种过分适应数据问题。通常,这种方法使用统计度量,剪去最不可靠的分枝,这将导致较快的分类,提高树独立于测试数据正确分类的可靠性。

 

贝叶斯分类

贝叶斯分类是统计学分类方法。它们可以预测类成员关系的可能性,如给定样本属于一个特定类的概率。

 

朴素贝叶斯分类假定一个属性值对给定类的影响独立于其它属性的值。该假定称作类条件独立。做此假定是为了简化所需计算,并在此意义下称为“朴素的”。贝叶斯信念网络是图形模型。不象贝叶斯朴素分类,它能表示属性子集间的依赖。贝叶斯信念网络也可以用于分类。

 

 

朴素贝叶斯分类,或简单贝叶斯分类的工作过程如下:

1. 每个数据样本用一个n维特征向量X ={x1 , x2 ,..., xn}表示,描述由属性A1 , A2 ,..., An对样本的n个度量。

2. 假定有m个类C1 ,C2 ,...,Cm。给定一个未知的数据样本X(即,没有类标号),分类法将预测X属于具有最高后验概率(条件X下)的类。即,朴素贝叶斯分类将未知的样本分配给类Ci ,当且仅当:

P(Ci | X ) > P(C j | X ) 1£ j £ m j ¹i.

 

 

这样,我们最大化P(Ci | X )。其P(Ci | X )最大的类Ci称为最大后验假定。

 

3. 由于P(X) 对于所有类为常数,只需要P(X |Ci )P(Ci )最大即可。如果类的先验概率未知,则通常假定这些类是等概率的;即,P(C1 ) = P(C2 ) = ... = P(Cm )。并据此对只P(Ci | X )最大化

 

 

贝叶斯信念网络说明联合概率分布。它允许在变量的子集间定义类条件独立性。它提供一种因果关系的图形,可以在其上进行学习。这种网络也被称作信念网络、贝叶斯网络和概率网络。为简洁计,我们称它为信念网络。

 

后向传播分类

后向传播是一种神经网络学习算法。神经网络最早是由心理学家和神经学家提出的,旨在寻求开发和测试神经的计算模拟。粗略地说,神经网络是一组连接的输入/输出单元,其中每个连接都与一个权相相联。在学习阶段,通过调整神经网络的权,使得能够预测输入样本的正确类标号来学习。由于单元之间的连接,神经网络学习又称连接者学习。

神经网络需要很长的训练时间,因而对于有足够长训练时间的应用更合适。它需要大量的参数,这些通常主要靠经验确定,如网络拓扑或“结构”。

 

 

k-最临近分类

最临近分类基于类比学习。训练样本用n维数值属性描述。每个样本代表n维空间的一个点。

这样,所有的训练样本都存放在n维模式空间中。给定一个未知样本,k-最临近分类法搜索模式空间,找出最接近未知样本的k个训练样本。这k个训练样本是未知样本的k个“近邻”。“临近性”用欧几里德距离定义

 

预测

连续值的预测可以用回归统计技术建模

 

在线性回归中,数据用直线建模。线性回归是最简单的回归形式。双变量回归将一个随机变量Y(称作响应变量)视为另一个随机变量X(称为预测变量)的线性函数。

分享到:
评论

相关推荐

    《数据挖掘技术》课程学习笔记

    本篇学习笔记主要涵盖了数据挖掘的基础概念、常用算法以及实践应用。 首先,我们需要理解数据挖掘的定义:它是从大量数据中通过运用专门的算法和技术,提取出有用信息并进行模式识别的过程。数据挖掘的目标通常分为...

    《数据挖掘概念与技术》-思维导图学习笔记,第一章。

    在金融领域,数据挖掘有助于风险预测和欺诈检测。 7. 数据挖掘面临的挑战:数据的质量、规模、复杂性、实时性以及隐私保护等问题是数据挖掘实践中需要克服的挑战。例如,大数据的处理需要高效的算法和计算资源;...

    机器学习与数据挖掘学习笔记.zip

    《机器学习与数据挖掘学习笔记》是一份综合性的学习资料,涵盖了这两个领域的重要概念、算法和技术。这份笔记的目的是为了帮助读者深入理解机器学习和数据挖掘的基础知识,并提供实际操作的指导。 首先,我们来探讨...

    数据挖掘读书笔记.pdf

    数据挖掘读书笔记 数据挖掘是一种从大型数据库中提取有用信息的技术,通过对数据的分析和处理,挖掘出有价值的模式和关系。数据挖掘的应用非常广泛,包括商业、金融、医疗、科学研究等领域。 数据挖掘可以挖掘的...

    数据挖掘入门与实战笔记

    ### 数据挖掘入门与实战笔记 #### 一、数据挖掘概览 数据挖掘是一种从大量数据中提取出有用的信息和知识的过程。在这个过程中,利用各种算法和技术来发现隐藏于数据内部的模式、趋势和关联,从而帮助企业或组织...

    数据挖掘学习笔记(一)

    数据挖掘利用各种算法,如分类、聚类、关联规则学习、回归分析等,来发现知识和模式,这些知识可能对决策制定有着重大影响。在现代社会,数据源多样化且增长迅速,涵盖了商业、科学、社会和个人生活的各个层面。数据...

    机器学习&数据挖掘笔记_16(常见面试之机器学习算法思想简单梳理)1

    掌握机器学习和数据挖掘中的各种算法思想,不仅是构建高效预测模型的基础,也是在求职面试中展现专业素养的关键。 在机器学习领域,面试中经常会出现对经典算法理解深度的考察。其中,朴素贝叶斯算法、决策树和逻辑...

    斯坦福大学CS345A 数据挖掘 课程所有课件(pdf+ppt)

    接着,课程会涉及不同的数据挖掘方法,比如分类、聚类、关联规则学习和回归。分类算法如决策树、随机森林和支持向量机,用于将数据分成不同的类别。聚类方法如K-means和层次聚类则用于无监督学习,帮助发现数据的...

    数据挖掘笔记思维导图1

    数据挖掘的任务主要分为三类:分类、预测型任务和描述型任务。分类任务是根据已有特征将数据对象归入预定义的类别;预测任务涉及预测未知变量,如回归分析,用于预测连续值,而异常发现则是寻找数据中的不寻常模式。...

    数据挖掘资料(吐血汇总).rar

    "数据挖掘笔记"这部分内容可能是学习者对所学知识的整理,包括关键概念的总结、公式解析、算法实现步骤等,对于初学者来说,这是一份极具价值的参考资料,能帮助他们更好地理解和记忆复杂的知识点。 "习题"则提供了...

    北京大学北京大学软件与微电子学院莫同老师数据挖掘课程复习资料.doc

    数据挖掘与机器学习、统计、数据管理的区别与联系是,机器学习为数据挖掘提供理论方法,统计学要求有数据分布模型的先验假设,数据挖掘没有上述要求,数据库是演绎推理,数据挖掘是归纳推理。 数据属性的类别有标称...

    基于C4.5决策树的大学生笔记本电脑购买行为的数据挖掘.pdf

    大学生笔记本电脑购买行为的数据挖掘是以大学生为研究对象,通过问卷调查的方式收集数据,利用数据挖掘技术对大学生的笔记本电脑购买行为进行分析和特征规则提取。这项研究的主要目的是为了帮助笔记本电脑经销商和...

    《数据挖掘》读书笔记.pdf

    《数据挖掘》读书笔记主要涵盖了数据可视化、建模方法、数据挖掘技术和预测分析的应用。作者Philipp K. Janer凭借其在物理学和软件工程领域的深厚背景,为读者提供了丰富的数据分析和数学建模知识。 在全书中,作者...

    清华出版的数据仓库和数据挖掘陈志泊等的讲义

    数据仓库和数据挖掘是信息技术领域的两个重要分支,它们在大数据分析和商业智能中扮演着核心角色。这份由陈志泊等作者编写的讲义详细介绍了这两个主题,为学习者提供了丰富的理论基础和实践指导。 首先,让我们从...

    大数据学习笔记_学习《Python数据分析与挖掘实战》关键知识点和心得笔记

    本文将基于《Python数据分析与挖掘实战》这本书的学习笔记,深入探讨几个关键知识点:分类与预测、聚类分析、关联规则以及时序模式。 **一、分类与预测** 分类与预测是数据分析中的核心任务,它通过历史数据来预测...

    海南大学数据挖掘入土笔记.pdf

    随着技术的发展,数据挖掘融合了数据库、人工智能、机器学习、统计学、高性能计算、模式识别、神经网络、数据可视化、信息检索和空间数据分析等多领域的理论和技术。它的应用范围十分广泛,如电子商务、金融市场分析...

    数据挖掘课件(ETL工具)

    朱建秋教授在数据挖掘领域有深厚的理论基础和实践经验,他的研究可能涵盖了多种数据挖掘方法,如分类、聚类、关联规则、序列模式、预测模型等。这些方法广泛应用于商业智能、推荐系统、市场分析、客户关系管理等多个...

    数据挖掘数据分析资料.zip

    这份名为“数据挖掘数据分析资料.zip”的压缩包文件,显然是一份为初学者和爱好者准备的学习资源,旨在帮助他们踏入数据分析的世界。 首先,让我们详细探讨一下“6数据挖掘导论(完整版).Introduction.To.Data.Min....

    哈工大研究生数据挖掘课程

    这些课件可能涵盖预处理、分类、聚类、关联规则、序列挖掘、预测等主题,并会通过实例演示如何使用各种数据挖掘工具。 2. **文档**:可能包括课堂笔记、参考资料、研究论文等,帮助学生深化理解,扩展知识面,了解...

Global site tag (gtag.js) - Google Analytics