数据挖掘,最困难的是什么? 我感觉是定义一个目标。数据挖掘的主要任务是对数据的预测、分类。当然目标设定后,数据模型的建立,分类算法的选取,特征的选择等等也都非常难。但不能定义出一个有意义,有可行性的目标,使得想经历那些困难都难。
这话别人能看懂吗?。。 下面转个数据挖掘九律,大家看看。
http://spss-market.r.blog.163.com/blog/static/731422682011116105231563/?suggestedreading
##############################################################
有位挖掘专家tom khabaza提出了挖掘九律,挺好的东西,特别是九这个数字,深得中华文化精髓,有点独孤九剑的意思:
第一,目标律。数据挖掘是一个业务过程,必须得有业务目标。无目的,无过程。
第二,知识律。业务知识贯穿在挖掘这个业务过程的各环节。
第三,准备律。数据获取、数据准备等数据处理耗时占整个挖掘过程的一半。
第四,NFL律。NFL,没有免费的午餐。没有一个固定的算法适用所有的业务问题,特定应用适合的模型只能通过经验发现。
第五,大卫律。要相信,数中必有业务规律。大卫?沃尔金斯最早提出的,故此名。
第六,洞察律。数据挖掘本质上是增强对业务领域的认知。
第七,预测律。数据挖掘基于过去得出模式,并泛化到类似新事物上,这就是预测,但这是统计概念的。
第八,价值律。挖掘模型的最终价值并非模型精度或稳定性,而是驱动业务行动或通过新洞察导致策略改善。
第九,变化律。人不会两次踏入同一条河流。业务在变,目标在变,认识也在变,甚至规律本身也在变,挖掘模型也得与时俱进。
很好, 挖掘者习此九律,必将功力大增,杀敌于无形之中,乃升迁加薪必备胸器。咱可以设想一些场景,看看这九律是怎么灵活运用的。运用这九律的心法是,敌不动我不动,见招拆招,以无招胜有照。
故事开始........:S,挖掘新手,M为其导师,挖掘高手。一日,S接到任务,走一趟挖掘。过了段时间,他找到M,M正在闭目打坐。发生一场对话。
S:师傅,徒儿接到任务,已经开始干了,不出一个月就可大功告成。
M:嗯,不错,什么进展了?
S:我已经安排下去,现在数据准备已经完成,并且建了一个小模。哎呀,您是不知道啊,那个数据太烂,一堆问题,到处是空值,很多信息也是假的,balabala….
M:先别说你的数据,数据准备干了多长时间了?
S:干了一个多月,还蛮符合准备率的吧!
M:这个任务到底要干什么?
S:嗨,就是要找出想搞破坏的人,放心,第一律我牢记于胸。现在还有两个人帮我一起做,一个准备数据,一个建模。
M:那你干什么?
S:我搞业务理解啊,并且运用知识律,搞了一个挖掘过程模板,我们三个就用这个模板进行过程交互,挺好的,什么时候给您瞅瞅。
M:嗯,听起来不错,那你今天来此打扰我清修作甚?
S:您是不知道啊。不是跟你说了,我们还建了一个小模嘛。唉,效果不太好。用分类预测训练了数据,但那个数据实在太差了,感觉那个模型一点都不靠谱,没反应出来什么规律。我们用那个结论在我们三个身上试了一下,结果大家都觉得不对,我们都成了想搞破坏的人,一点都不符合实际情况。
M:你忘了大卫律了?要相信。还有预测律,你这个模型在你们三个身上试验,能证明什么?
S:是啊,我没忘啊。不过要找到规律还需要时间啊。我们要计划在找更多的样本去验证。不过…今天来…确实是无事不登三宝殿…有个事儿…
M:啥事?
S:您前年不是搞了一个犯罪预测嘛,现在很多地方都在用,我想跟这次任务的目标类似,我想能不能就直接把您的模型拉过来训练一下就行了…您那个模型实在是太绝了…
M:哈哈,看来你想偷懒啊,但你怎么能够知道这个模型适用你的任务呢?
S:您的模型我还担心什么啊。主要是这次任务时间紧,我也没办法,先解决了问题吧,能精确定位目标人群就行了,您的模型,肯定很准的。
M:虽然你拍我马屁,但我还是对你很失望啊。挖掘的本质是什么?
S:呃…洞察…我也知道天下没有免费的午餐...但时间太紧,任务太重啊,没您不行啊,您的模型就是我们的法宝啊。
M:唉,不说那是两年前的模型,现在你遇到的情况跟我遇到的情况不一样,现在的犯罪手段也变了各种花样,变化率怎么说的?再说,你为什么如此看重模型的精度,那并非挖掘的终极价值啊!醒悟吧!我代表客户鄙视你!
S:老家伙,你到底是给还是不给?你是想看着我死吗?
M:(仰天长叹)唉,师徒一场,罢了罢了,拿去吧。但你此一去,我们师徒恩断义绝,以后再也不要来见我,再也不要叫我师傅,也不要再别人面前妄称我是你的师傅。走吧,走吧…
分享到:
相关推荐
九、数据挖掘在高送转预测中的应用 数据挖掘技术能够通过算法模型从历史数据中发现模式和关联性,帮助投资者和企业更好地理解和预测高送转行为,从而为股票投资决策提供依据。 十、模型的局限性和改进方向 虽然研究...
数据挖掘是一种从海量数据中提取有价值知识的过程,它在信息技术领域扮演着至关重要的角色。"常用数据挖掘数据集"这个标题暗示了我们讨论的主题是关于数据挖掘过程中经常使用的数据资源,这些资源通常用于训练和测试...
数据挖掘在各行业的应用论文 数据仓库与数据挖掘.caj 空间数据挖掘技术.caj 数据仓库与数据挖掘技术及其在科技情报业的应用前景.caj 相关案件的数据挖掘.caj 数据挖掘技术.caj 一种实时过程控制中的数据挖掘算法研究...
### 数据分析与数据挖掘的基本概念 1. 数据分析(Data Analysis)是为了提取有用信息和形成结论,通过适当的统计分析方法对收集来的大量数据进行分析,以理解和消化数据集的过程。 2. 数据挖掘(Data Mining)是利用...
数据挖掘技术概述、数据仓库与 OLAP 技术、数据挖掘应用、数据挖掘工具、数据挖掘实例 数据挖掘技术概述 ------------------- 数据挖掘技术是近年来出现的客户关系管理(Customer Relationship Management,CRM)...
数据挖掘是一种从海量数据中提取有价值知识的过程,它结合了计算机科学、统计学和机器学习等领域的技术。在这个“数据挖掘项目源码”中,我们可以深入理解如何在实践中运用这些技术。源码通常包含了项目的完整流程,...
数据挖掘是一种从海量数据中提炼出有价值信息和知识的过程,它是信息技术、数据库技术、机器学习、统计学和可视化等多个领域的交叉学科。北京大学的这门数据挖掘与数据分析教程深入讲解了这个领域的核心概念和技术。...
数据挖掘是利用算法从大量数据中提取信息和发现模式的科学领域,它不仅包括了数据库中的知识发现,还包括了对数据进行分析与理解的一系列过程。数据挖掘的技术和方法已经成为了多个领域,如商业智能、网络安全、生物...
数据挖掘可行性研究报告是深入探讨如何在现实环境中实施数据挖掘项目的关键文档。这份报告全面地涵盖了数据挖掘的背景、现状、发展趋势、需求分析和技术分析等多个重要方面,为决策者提供了宝贵的指导。 1. 背景及...
数据挖掘系统是信息技术领域中的一个重要组成部分,主要用于从大量数据中发现有价值的信息和知识。DMS(Data Mining System)就是这样一个专门用于数据挖掘的系统。在这个案例中,我们讨论的是一个用Java编程语言...
《数据挖掘导论》全面介绍了数据挖掘的理论和方法,旨在为读者提供将数据挖掘应用于实际问题所必需的知识。《数据挖掘导论(完整版)》涵盖五个主题:数据、分类、关联分析、聚类和异常检测。除异常检测外,每个主题...
数据挖掘是信息技术领域中一个关键的研究方向,它涉及到从海量数据中发现有价值的、未知的、可理解的模式和知识。本资源"数据挖掘导论 完整版"显然是对这一主题的深入探讨,旨在为学习者提供全面的理论基础和实践...
本课程适合所有需要学习临床大数据挖掘知识的同学,课件内容制作精细,由浅入深,适合入门或进行知识回顾。 本章为该课程的其中一个章节,如有需要可下载全部课程 全套资源下载地址:...
第2讲_MATLAB数据挖掘基础 共44页.pdf 第3讲_MATLAB数据挖掘算法(上) 共42页.pdf 第4讲_MATLAB数据挖掘算法(下) 共45页.pdf 第5讲_MATLAB高级数据挖掘技术 共23页.pdf 第6讲_MATLAB数据挖掘项目实例 共25页.pdf ...
本课程适合所有需要学习临床大数据挖掘知识的同学,课件内容制作精细,由浅入深,适合入门或进行知识回顾。 本章为该课程的其中一个章节,如有需要可下载全部课程 全套资源下载地址:...
### 数据仓库与数据挖掘课程实验知识点解析 #### 一、数据仓库基础知识 **1.1 数据仓库的概念** 数据仓库是一种用于存储和管理大量历史数据的系统,主要用于支持业务决策过程。它通过收集、整理和组织来自不同源...
《数据挖掘技术及其应用》是刘同明撰写的一本深入探讨数据挖掘理论与实践的书籍。数据挖掘,作为信息技术领域的重要分支,旨在从海量数据中发现有价值的信息和知识,为决策提供支持。这本书全面介绍了这一领域的核心...
高级数据挖掘课程-大数据挖掘之互联网金融风控模型 本资源为高级数据挖掘课程,主要讲解大数据挖掘在互联网金融风控模型中的应用。以下是相关知识点: 1. 数据挖掘的定义和应用前景:数据挖掘是指从大量数据中挖掘...
《数据挖掘导论(完整版)》全面介绍了数据挖掘的理论和方法,旨在为读者提供将数据挖掘应用于实际问题所必需的知识。《数据挖掘导论(完整版)》涵盖五个主题:数据、分类、关联分析、聚类和异常检测。除异常检测外...