数控小J
- 浏览: 66983 次
-
最新评论
文章列表
数据实时复制任务的成与败，取决于多方面的因素，例如：被复制数据本身情况，源系统和目标系统的自身运行状况，网络通讯方面，系统架构设计和实施人员专业技术水平等等。面对复杂而艰巨的任务，IBM 公司专业化实施团队积累了丰富的经验，以下是我们这次分享的 IBM InfoSphere CDC性能调优的重点内容。
1. 明白数据复制的需求和使用场景
改善并提升数据复制作业性能是双向互动的操作，以满足业务需求和目标为根本出发点，其原因是：
当对某个运行进程作了调优，并解决了该方面的性能瓶颈后，可能在该进程的上游或下游地方，又产生了新的性能瓶颈，让你很难能做到调整某一部分，就能解决性能上存在的全部问题 ...
如今，大多数营销人员都说，他们的挑战不是缺少数据，而是数据太多，无法有效地加以利用或者辨别哪些是真正重要的数据。
营销人员非常希望知道消费者何时想要购物。要是能准确地知道每位消费者在任何指定时间处于购 ...
C&R Tree全称是Classification and Regression Tree,即分类及回归树，它是由美国斯坦福大学和加州大学伯克利分校的Breiman等人于1984年提出的，从名称中不难理解，它包含了分类树和回归树，分类树用于目标变量是分类型的，回归树用于目标变量是连续型的。
该算法分割的核心技术取决于目标变量的类型，如果是分类变量，可以选择使用Gini或者是Twoing.如果是连续变量，会自动选择LSD(Least-squared deviation)。
C&R Tree的生长是二叉树， 前面我们讲过的C5.0和CHAID分别是以信息增益率和卡方为标准来选择 ...
IBM Big Replication V2.0 在今年中刚发布，是面向 Hadoop 和 Cloud 的大数据复制以及灾难备份解决方案。该产品前身是 WANdisco 公司拳头产品，WANdisco Fusion 是该公司在全球唯一能在广域网上进行实时交易数据复制的技术，适用于所有行业 ...
文本数据分析的价值
文本数据在我们的生活中无处不在：在微信朋友圈、微博中发表的感想；在论坛上发表的评价商品的帖子；由应用后台自动生成的机器日志等。这类数据本身包含了大量有用的信息，但由于文本表达方式可以很灵活，在不需要严格遵循语法的情况下也能准确表达信息。比如下图中表达人物年龄就有三种不同的说法。
例子中，关于年龄最重要的信息是姓名和岁数，图中右侧的的结构化数据才是表达这些核心信息、应用可以处理的主要形式。怎样把非结构化文本数据转换成可以准确表达信息的结构化数据是文本数据分析的一大难题。
文本数据分析的办法
通常实现文本数据分析主要有两种模式：基于语法分析的模式，和基于语义关联的模式 ...
每日健身、跑步、快走，然后在微信打卡已经是很多人的习惯。除了关心自己今天的排名外，能否运动的更健康？是否可以更方便和更多的运动专家或健身营养专家互动或接受其指导？出差到了陌生的环境，是否方便得到合适的 ...
Cognos Analysis Studio是Cognos用于数据多维分析和探查的基于Web的工具。我们可以在交互式的环境中通过拖放的方式浏览、分析以及比较维度数据，以查找业务问题的答案。例如，可以从产品属性和销售属性对销售情况进行分析，通 ...
想迁移现有的数据仓库到Hadoop平台？想在Hadoop上重用其他RDMBS的SQL技能？有何方案能帮助您解决这类问题，答案是IBM Big SQL。
Big SQL是IBM的SQL on Hadoop解决方案，它充分利用了IBM在RDBMS领域数十年的经验，是业界最成熟、最完善，性能最好的SQL引擎。除此之外，Big SQL还具有其他产品无法比拟的的SQL兼容性。正是这种兼容性，Big SQL成为Offload和整合RDBMS的终极平台。
在BigInsights 4.2中，Big SQL能兼容DB2、Oracle、Netezza的绝大部分语法。这意味着，您可以轻松地利用BigInsi ...
大数据思维是客观存在，大数据思维是新的思维观。用大数据思维方式思考问题，解决问题是当下企业潮流。大数据思维开启了一次重大的时代转型。
大数据思维原理是什么?笔者概括为10项原理。
一、数据核心原理
从“流程”核心转变为“数据”核心
大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。
例如：IBM将使用以数据为中心的设计，目的是降低在超级计算机之间进行大量数据交换的必要性。大数据下，云计算找到 ...
随着大数据分析市场快速渗透到各行各业，哪些大数据技术是刚需?哪些技术有极大的潜在价值?根据弗雷斯特研究公司发布的指数，这里给出最热的十个大数据技术。
预测分析：预测分析是一种统计或数据挖掘解决方案，包含 ...
随着大数据应用越来越广泛，应用的行业也越来越低，每天都可以看到大数据的一些新奇的应用，从而帮助人们从中获取到真正有用的价值。很多组织或者个人都会受到大数据分析影响，但是大数据是如何帮助人们挖掘出有价 ...
在前两周的文章 “IBM SPSS Modeler 18.0新版本强劲推出”中，提到IBM 数据挖掘平台SPSS Modeler最新版本于2016年3月15日推出，当天同时推出的还有SPSS家族中最元老级的产品------IBM SPSS Statistics 最新版本 24.0， 它是世界上最早的统计分 ...
IBM SPSS Modeler 简介
作为 IBM 分析与预测解决方案的重要组成部分，IBM SPSS Modeler 是一组数据挖掘工具，通过这些工具可以采用商业技术快速建立预测性模型，并将其应用于商业活动，从而改进决策过程。随着于 2010 年其新版本 14.1 的发布，名字也由 PASW Modeler 更名为现在的 IBM SPSS Modeler 。
SPSS Modeler 提供了各种借助机器学习、人工智能和统计学的建模方法。通过建模选项板中的方法，您可以根据数据生成新的信息以及开发预测模型。每种方法各有所长，同时适用于解决特定类型的问题。
初次上手
典型的 SPSS M ...
8月14日凌晨的微博被王宝强离婚的事件给爆了，那天晚上整个娱乐圈记者和广大夜猫子网友肯定都没睡好觉。这件事经过持续发酵9个小时后，大数据给出了一份结果，可以证明王宝强离婚事件到底有多热
王宝强离婚时间，9个小时后：
1、王宝强近24小时热议度309304较昨日同期增长20348%。—来自：微博指数;
2、根据新浪CEO提供的数据显示：王宝强发布微博一个小时后，QPS(每秒查询率，即最大吞吐能力)瞬间增长2倍之多;
3、根据百度指数显示：王宝强和马蓉搜索指数均增长3倍以上;
4、根据Google Trends数据显示，王宝强关键词在一度达到热度100最高峰值。
SparkBench简介
SparkBench是Spark的基准性能测试项目，由来自IBM Watson研究中心的五位研究者（Min Li, Jian Tan, Yandong Wang, Li Zhang, Valentina Salapura）发起，并贡献至开源社区。
SparkBench的测试项目覆盖了Spark支持的四种最主流的应用类型，即机器学习、图计算、SQL查询和流数据计算。每种类型的应用又选择了最常用的几个算法或者应用进行比对测试，测试结果从系统资源消耗、时间消耗、数据流特点等各方面全面考察，总体而言是比较全面的测试。
所有的研究结果以论文的形式公开发布，原文可在Spar ...