suxain
- 浏览: 18916 次
- 性别:
- 来自: 广州
-
最新评论
文章列表
Hadoop mapreduce原理学习
- 博客分类：
- hadoop
转自 http://blog.csdn.net/thomas0yang/article/details/8562910
最近整了很长一段时间才了解了map reduce的工作原理，shuffle是mapreduce的心脏，了解了这个过程，有助于编写效率更高的mapreduce程序和hadoop调优。自己画了一幅流程图（点击查看全图）：
另外，还找到一篇文章，很好，引用一下。
Hadoop
是Apache 下的一个项目，由
文章来自：http://www.dataguru.cn/article-3269-1.html
一、 控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文 ...
本文主要介绍了 HADOOP HDFS JAVA API 对HDFS中的文件操作，如：创建文件，将文件上传到HDFS，从HDFS下载文件到本地，HDFS文件删除等
话不多说，上代码：
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStream;
import java.net.URI;
import org.apa ...
前面讲到了hadoop的安装，今天将hbase的安装过程记录下来：
前提环境，hadoop 1.1.1已安装好并能正常运行。
主机网络环境:
master 192.168.1.60
slave1 192.168.1.61
slave2 192.168.1.62
三台主机的用户名均为 hadoop。
下面开始讲hbase的安装
1、http://mirror.b ...
由于学习hadoop，集群之间需要SSH无密码登录，那么，在安装hadoop之前，就必须得配置好机器之间的无密码的SSH登录。如何配置无密码SSH登录呢？
我们以在A机器上无密码登录到B机器上为例：
1、切换到需要用 ...
中缀表达式转后缀表达式以及后缀表达式合法性验证
- 博客分类：
- J2EE
最近由于一项需求，需要用户自己来组合表达式，然后做运算，对于计算机处理数学计算，一般是先将中缀表达式，也就是我们平常见到的数学表达式转化为后缀表达式，
如 (2+3)*6 转换成 2 3 + 6 *，
后缀表达式中，是不含有括号的，计算机在运算的时候，从左向右读取，若遇到运算符，则取运算符左边的两个操作数来计算，并将计算结果作为下一次计算的一个操作数。
下面分享一个用JAVA实现的中缀转后缀并实现后缀表达式合法性的验证
/**
* 中缀表达式转后缀表达式
*
* @param formula
* 中缀表达式
...
本来是用word写的，里面有一些截图，可是iteye的编辑器上传图片不方便，所以，附件中是原版word文档
一、 Hadoop安装
1.1 hosts文件修改
在每个结点修改hosts文件，配置节点IP与别名
Vi /etc/hosts
1.2 建立hadoop用户
Useradd username //添加用户
Passwd username //为用户生成密码
1.3 生成公私钥密钥对
用hadoop 用户登录
在各个节点上，分别使用 ssh-keygen –t rsa –f ~/.ssh/id_rsa来生成密钥
Cd ~/.ssh
cat id_rsa.pub & ...
hadoop 是工作在linux下的分布式系统，做为一个开发者，对于手里资源有限，不得不使用只有终端的虚拟机来运行hadoop集群。但是，在这种环境下，开发，调试就变得那么的不容易了。那么，有没有办法在windows下发调试呢。答案是肯定的。
hadoop为我们提供了一个Eclipes插件，使用我们可以在Eclipse环境下开发，调试hadoop程序，那么，应该如何安装eclipse-hadoop插件呢。下面把我的研究结果分享给大家（附上我自己编译的插件）。
1、编译eclipse-hadoop-plugins
在hadoop目录下的找到/ ...