dzhxie
- 浏览: 2599 次
- 性别:
- 来自: 苏州
-
最新评论
文章列表
环境准备和计划：
5台 Centos 7 虚拟机， 规划如下：
HostName
Softwares
Process
comments
kencentos1
JDK, hadoop
namenode, zkfc (active), resourceManager
namenode 1, resourceManger
kencentos2
JDK, hadoop
namenode, zkfc (active), resourceManager
namenode 2, r ...
hadoop hdfs 基本操作
- 博客分类：
- 大数据
我用的是hadoop 2.8.3 在 Centos 7 上面，所以下面的一些命令也是针对这个版本的。 因为不同的版本之间命令有可能是不一样的。
安装好hadoop 以后，就是看下怎么样往上面放文件了。目前主要是两种方式，一种是shell，也就是用hdfs 的命令方式，另外就是Java。
Shell 方式。
1.首先要cd 到hadoop 的bin 目录下，下面有hdfs 的命令。然后第一步是创建文件夹。下面会创建一个 kentest 文件夹 和 testdata001 子文件夹。
2. 然后在本地创建一个文件 test123.txt。 注意我是在 /root 下面创建 ...
因为公司项目需要，开始搭建hadoop的集群环境。在这个过程中，主要参考了 http://blog.csdn.net/pucao_cug/article/details/71698903。非常感谢此文的作者。
基本按照这个走下来是没有问题的。这里只是加一些注意事项。
平台：
JDK: 1.8.60
Hadoop: 2.8.3.
Centos 7 64 位： 3 个。
需要注意的点。
1. Centos7 里面的hosts 要配置好，否则到后面会导致datanode 无法连到namenode，组成不了cluster。
2. 在hadoop 集群搭建过程中，在做三个节点xm ...
关于CDI 的 inject。
在java 官方的陈述中， 要用inject， 需要满足以下的条件：
1.To use @Inject, the first thing you need is a META-INF/beans.xml file in the module or jar。
注意的是，所谓的inject， 只有在container 中谈才有意义，离开容器，就没有用武之地了。
关于 CDI Interceptor。
CDI Interceptor 注解的基本用法：
1.创建注解
@InterceptorBinding
@Target({ TYPE, METHOD })
@ ...