`
xiaobian
  • 浏览: 587911 次
  • 来自: 北京
社区版块
存档分类
最新评论
文章列表
Hive是為簡化編寫MapReduce程序而生的,使用MapReduce做過數據分析的人都知道,很多分析程序除業務邏輯不同外,程序流程基本一樣。在這種情況下,就需要Hive這樣的用戶編程接口。Hive本身不存儲和計算數據,它完全依賴於HDFS和MapReduce,Hive中的表純邏輯表,就是些表的定義等,也就是表的元數據。使用SQL實現Hive是因為SQL大家都熟悉,轉換成本低,類似作用的Pig就不是SQL。HBase為查詢而生的,它通過組織起節點內所有機器的內存,提供一個超大的內存Hash表,它需要組織自己的數據結構,包括磁盤和內存中的,而Hive是不做這個的,表在HBase中是物理表,而不是 ...
  package com.netqin.hive.kpi; import org.apache.hadoop.hive.service.HiveClient; import org.apache.hadoop.hive.service.HiveServerException; import org.apache.log4j.Logger; import org.apache.thrift.TException; import org.apache.thrift.protocol.TBinaryProtocol; import org.apache.thrift.protoco ...
  安装Hive 安装Hive是非常简单的,前提是你已经在你的机器上安装好了Java 1.6   Hive 可以从 http://hive.apache.org/releases.html 下载到,最新版为0.6.0(2010-10-19)   Hive的目录结构为   README.txt: readme 文件 bin/: directory 包含所有Shell脚本 lib/: directory 包含所有必需的jar文件 conf/: directory 配置文件存在的目录 examples/: 示例 do
Hive日志存储在什么地方呢?   打开Hive安装目录的 conf /hive-log4j.properties 文件。   hive.log.dir=/tmp/${user.name} hive.log.file=hive.log   这两行就表示了你的Hive中日志的存储目录,${user.name}是你在 服务器中启动Hive使用的用户名。   以后使用Hive中有什么错误,或者是你怀疑出现了什么错误,都可以去这个目录下看看日志。
    Google MapReduce中文版        译者:alex   http://blademaster.ixiezi.com/2010/03/27/google-mapreduce%e4%b8%ad%e6%96%87%e7%89%88/   The Google File System中文版  译者:alex   http://blademaster.ixiezi.com/2010/03/27/the-google-file-system%e4%b8%ad%e6%96%87%e7%89%88/  
LRU算法实现: package com.javaeye.xiaobian.jgroups; import java.util.LinkedHashMap; import java.util.Set; import java.util.concurrent.locks.Lock; import java.util.concurrent.locks.ReentrantLock; public class LRUCache<K, V> extends LinkedHashMap<K, V> { private final int maxCapacity ...
1.大家都知道https://mail.google.com 和 http://mail.google.com 的区别吧。https的方式就是从你的电脑中传递到网络上的数据是经过加密的。 http的方式是未进行加密的,如果有人拦截到你发送出的信息的话就可以以明文的方式显示进而可能被别人所利用。所以大家以后上网浏览信息的时候能用https:// 方式的绝不要用http:// 方式。   2. 访问https://mail.google.com 可以看在浏览器的状态栏有一个小的锁的图标,猛击打开。 可以看到 连接已加密:强加密 (RC4 128位) 的字样. 这说明我的https通过rc ...
http://www.blogjava.net/Unmi/archive/2007/12/04/165035.html Unsupported major.minor version 49.0 一:要解决的问题 我 们在尝鲜 JDK1.5 的时候,相信不少人遇到过 Unsupported major.minor version 49.0 错误,当时定会茫然不知所措。因为刚开始那会儿,网上与此相关的中文资料还不多,现在好了,网上一找就知道是如何解决,大多会告诉你要使用 JDK 1.4 重新编译。那么至于为什么,那个 major.minor 究竟为何物呢?这就是本篇来讲的内容,以使未错而 ...
http://www.blogjava.net/Unmi/archive/2009/05/14/270708.html   Apache Commons Logging 像 SLF4J 一样,是个通用日志框架,广泛应用在各个开源组件中。说其通用,是因为它本身只提供了简单的日志输出的实现 (org.apache.commons.logging.impl.SimpleLog和 org.apache.commons.logging.impl.NoOpLog),主要是为你统一使用其他专业日志实现(Log4j、jdk1.4 Logger、aavalon-Logkit)的方式,让你在程序中看不到具体日志 ...
 演唱:迈克尔·杰克逊      专辑:《Dangerous》、《History》      歌:迈克尔·杰克逊      曲:迈克尔·杰克逊   被誉为“世界上最动听的歌曲”拯救世界(Heal the world)是一首呼唤世界和平的歌曲,十分优秀,歌词倡导人们保护和珍 惜我们的环境,让战争远离,世界和平,我们的心中都有一个地方,那就是爱,让我们营造一个没有战争、没有荒地,生机勃 勃,到处充满了温暖和欢乐。  歌词导语:Child:Think about the generations and say that we want to make it a bette ...
要执行的任务类:CronTask package com.xiaobian.javaeye.timer; import java.util.Date; public class CronTask { public void execute() { System.out.println("\n++++++++++++++++++++++"); System.out.println("开始执行清理数据库的操作"); System.out.println(new Date().toString()); ...
1. 大师级程序员(Visionary/Artist Programmer/) 大师级程序员是软件界绝对的稀有种族,他们可以创造出99.9%的程序员所创造不出来的东西。他们发明新的应用和软件模式来驱动软件产业的发展。 Napster, Netscape以及World Wide Web都是大师级程序员创造的。对他们而言,软件更多的是艺术而非科学。在这个级别,速度和质量不是最重要的,他们创造出的财富才是最重要的。许多开发团队或者公司顶多也就一个大师级程序员,通常是这个公司的技术创始人或者CTO。     2. 开拓者程序员(Trailblazer Programmer) 开拓者程序员通常带 ...
来自:http://www.wujianrong.com/archives/2009/06/post-1677.html   http://people.sina.com.cn/forum.html 新浪网论坛000015 002 http://club.sohu.com/ 搜狐社区000020 003 http://bj.163.com/ 网易北京社区000043 004 http://bbs.tom.com/bbs.php TOM海云天论坛000143 005 http://bbs.china. ...
有一个网站列表,我们分别使用单线程和多线程来测试这个网站是否允许Ping,既是否ping这些网站能得到回应。   单线程,与使用了线程池的多线程之间的对比:   package com.concurrent.demo; import java.io.BufferedReader; import java.io.InputStreamReader; import java.util.ArrayList; import java.util.List; import java.util.concurrent.ExecutorService; import java.util.c ...
写一下Siege,webbench,ab这几种压力测试工具的使用方法,心得 Filed under: 运维管理, 运维辅助 | <!--<span class="comments"></span>--> Posted on 5月 12th, 2009 作者 admin 注:压力测试要区分基准测试,应用测试, 不同的应用 ...
Global site tag (gtag.js) - Google Analytics