xiaobian
- 浏览: 587891 次
- 来自: 北京
-
最新评论
-
lidi2011：
很通俗易懂的文章，很形象。
同步synchronized方法和代码块 -
inuyasha027：
领教了，谢谢。
Hadoop安装， Hive 安装。 -
xbmujfly：
好文 ，本人发现晚了
学习笔记 - java.util.concurrent 多线程框架 -
hanazawakana：
学习学习！
ANT-build.xml文件详解 -
david.org：
似乎还忽略一点，那就是cassandra不同数据中心的同步，H ...
Cassandra Vs HBase
文章列表
From: http://www.ibm.com/developerworks/cn/linux/l-cn-pexpect1/index.html
探索 Pexpect，第 1 部分：剖析 Pexpect
吕 学良 (lvxuel@cn.ibm.com), 软件工程师, IBM
丁 钦浩 (dingqinh@cn.ibm.com
DEBUG [main] Configuration.<init>(211) | java.io.IOException: config()
at org.apache.hadoop.conf.Configuration.<init>(Configuration.java:211)
at com.netqin.hdfs.MyHdfs.isExists(MyHdfs.java:20)
at com.netqin.hdfs.MyHdfs.main(MyHdfs.java:41)
在客户端使用API访问HDFS的时候保了一个这样的错误。
通过定 ...
HBase vs Cassandra: 我们迁移系统的原因
原文: http://ria101.wordpress.com/2010/02/24/hbase-vs-cassandra-why-we-moved/原作者：Dominic Williams原文发布日期：February 24, 2010 at 7:27 pm译者：王旭（http://wangxu.me/blog/ , @gnawux）翻译时间：2010年3月21-25 ...
hbase 介绍
一、简介
history
started by chad walters and jim
2006.11 G release paper on BigTable
2007.2 inital HBase prototype created as Hadoop contrib
2007.10 First useable Hbase
2008.1 Hadoop become Apache top-level project and Hbase becomes subproject
2008.10 Hbase 0.18,0.19 released
hbase ...
From:http://www.searchtb.com/2011/01/understanding-hbase.html
HBase简介
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hado ...
知，HBase是Google的BigTable架构的一个开源实现。但是我个人觉得，要做到充分了解下面两点还是有点困难的：一 HBase涵盖了BigTable规范的哪些部分？二 HBase与BigTable仍然有哪些区别？下面我将对这两个系统做些比较。在做比较之前，我要指出一个事实：HBase是非常接近BigTable论文描述的东西。撇开一些细微的不同，比如HBase 0.20使用ZooKeeper做它的分布式协调服务，HBase已经基本实现了BigTable所有的功能，所以我下面的篇幅重点落在它们细微的区别上，当然也可以说是HBase小组正在努力改进的地方上。比较范围本文比较的是基于 ...
Cassandra vs HBaseBy Vaibhav Puranik Translated By Jametong我们是一家广告网络公司.我们需要存储展示与点击信息.我们在为我们的新项目评估多个不同的大批量数据(或nosql,或任何你喜欢的称呼)系统.过去8个月中,我们一直在一个测试产品上使用HBase,并且满意它的表现,但是,最近Cassandra的风头很高,因此,我们决定对它做个测试.我认为,从某些角度讲,Cassandra团队的推广做的很不错.你将发现,在Santa Monica，哪怕是非技术人员(诸如风险投资商、CEO以及产品经理)也会相互推荐使用Cassandra.Cassandr ...
推荐系统最早在亚马逊的网站上应用，根据以往用户的购买行为，推荐出购买某种产品同时可能购买的其他产品，国内做的不错的当当网,有时候买书，它总能给我推荐出我感兴趣的其他书来，也算是技术极大的促进了销售。
一般的协同过滤算法，首先是收集用户对事物（产品）的评分情况，一种直接对某本书，或者某个歌曲打分，另种是隐性的打分，比如商务系统中，购买了表示打2分，浏览了打1分，其他的0分。我比较看好隐性打分，因为直接打分需要用户的参与程度比较高，很多网站都在内容页中留一个打分的按钮，从1～5选一个，我可能喜欢这篇文章，可我哪里知道我喜欢的程度是几分啊，还要我去思考，而网站设计中一条很重要的原则是:Do no ...
http://hi.baidu.com/ops_bd/blog/item/5f39abde48a10f3f10df9b12.html
Apache 的开源项目 hadoop， 作为一个分布式存储和计算系统，已经被业界广泛应用。很多大型企业都有了各自基于 hadoop 的应用和相关扩展。当 1000+ 以上个节点的 hadoop 集群变得常见时，集群自身的相关信息如何收集和分析呢？针对这个问题， Apache 同样提出了相应的解决方案，那就是 chukwa。
概述 chukwa 的官方网站是这样描述自己的： chukwa 是一个开源的用于监控大型分布式系统的数据收 ...
Hadoop安装指南 / Hive安装指南
Hadoop集群需要一个机器作为Master节点，其余的机器都是slave节点。
HIVE只需在Master节点中安装和配置即可。
配置Hadoop
Hadoop的配置比较简单，下面详»
Hive 的扩展特性
文章分类:Java编程
Hive 是一个很开放的系统，很多内容都支持用户定制，包括：
文件格式：Text File，Sequence File
内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text
用户提供的 map/reduce 脚本：不管什么语言，利用 stdin/stdout 传输数据
用户自定义函数: Substr, Trim, 1 – 1
用户自定义聚合函数: Sum, Average…… n – 1
File Format
1：怎样导入文本文件（格式是怎样的？），2：怎样查询数据，已经能否在join中使用？在子查询中使用？等等知道怎么在hive中导入数组不？例如：我想把 数组[1,2,3] 和 数组
["a","b","c"]导入到table1中
create ...
From: http://blog.csdn.net/dajuezhao/archive/2010/07/21/5753001.aspx
一、UDF
1、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：
a）文件格式：Text File，Sequence File
...
From: http://blog.csdn.net/dajuezhao/archive/2010/07/21/5753791.aspx
一、背景
1、当进程在进行远程通信时，彼此可以发送各种类型的数据，无论是什么类型的数据都会以二进制序列的形式在网络上传送。发送方需要把对象转化为字节序列才可在网络上传输，称为对象序列化；接收方则需要把字节序列恢复为对象，称为对象的反序列化。
2、Hive的反序列化是对key/value反序列化成hive table的每个列的值。
3、Hive可以方便的将数据加载到表中而不需要对数据进行转换，这样在处理海量数据时可以节省大量的时间。
二、技 ...
做事遵循一个好的习惯
- 博客分类：
- 其他
Habit 1:积极主动
Habit 2:以终为始
Habit 3:重者先行
Habit 4:互惠互利
Habit 5:知彼知己
Habit 6：团结协作
Habit 7:坚持不懈