zz_19830103
- 浏览: 15333 次
- 性别:
- 来自: 北京
-
最新评论
-
缘来是你：
您好！我也想问一下请问下，一般在生产环境上，hadoop都是怎 ...
hadoop自己的例子 -
zz_19830103：
可以参照http://www.cnblogs.com/spor ...
hadoop自己的例子 -
ydpup：
你好，我刚接触hadoop，请问这些代码要怎么样才能用呢？
hadoop自己的例子
文章列表
hadoop常见问题解答
- 博客分类：
- hadoop
以下是转发文章，原文见http://blog.csdn.net/zyj8170/article/details/6037934
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out
Answer：
程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使 ...
- 2011-07-11 17:53
- 浏览 1346
- 评论(0)
从今天开始做一个自己的hadoop的例子，例子的目标是完成如下任务。
任务目标：
有一个informix数据库，其中有一个表有100万的数据，任务完成通过MapRed的方式将这100万数据导入到HDFS中，可以使用informix的分页sql达到并发查询数据库的目的。
任务开始：
1、编写MapRed的实现类起名称为InformixLoader。
大致代码如下
LOG.info("SqlMapper");
String url = context.getConfiguration().get("informix.url");
...
hadoop使用过程的问题
- 博客分类：
- hadoop
在这两天的研究与使用过程中，发现了几个比较重要的问题，也是困扰我两天的问题：
1、使用本地代码提交任务
问题由来：
通过对hadoop的学习，发现hadoop目前的工作方式是你自己开发的程序需要打包好，然后使用hadoop的命令 ...
hadoop的wordcount例子
- 博客分类：
- hadoop
下面我们来做一下wordcount的例子。
1、通过hadoop的命令在HDFS上创建/tmp/workcount目录，命令如下：bin/hadoop fs -mkdir /tmp/wordcount
2、通过copyFromLocal命令把hadoop_home下的ivy.xml复制到HDFS上，命令如下：bin/hadoop fs -copyFromLocal ivy.xml /tmp/wordcount/ivy.xml
3、通过命令运行例子，使用命令如下：bin/hadoop jar hadoop-examples-0.20.203.0.jar wordcount ...
由于工作需要开始研究测试hadoop，记录一下学习过程，大家一起交流一下。
1、hadoop的介绍我就不多说了，google一下有很多。
2、下载hadoop相关软件，包括了hadoop-0.20.203.0rc1.tar.gz、hive-0.7.0.tar.gz、pig-0.8.1.tar.gz，由于我们暂时不使用Hbase，所以没有下载Hbase，有兴趣的童鞋可以自己下载玩一玩。
3、安装部署，测试的部署结构如下:
10.0.2.49 NameNode JobNode
10.0.2.47 DataNode TaskNode
10.0.2.50 DataNode ...