icetea
- 浏览: 8933 次
- 性别:
- 来自: 武汉
-
最新评论
文章列表
1.测试环境：
1ns+1secondaryns+4ds
操作系统：Red Hat 4.1.2-46
CPU： 16 Intel(R) Xeon(R) CPU E5620 @ 2.40GHz
MEM： 12 GB
网卡： 1000Gb/s
2.测试准备：
ulimit -n 655350（临时生效）
ulimit -u 65535 （临时生效）
3.iops测试：
3.1测试代码
import org.apache.hadoop.conf.*;
import org.apache.hadoop.fs.*; ...
hdfs集群安装与配置
准备
1.1创建新用户
sudo useradd hadoop //新建hadoop用户
sudo passwd hadoop //输入密码
sudo vi /etc/sudoers //添加hadoop的sudo权限; 新增一行：hadoop ALL=(ALL) ALL
1.2安装JAVA
下载 java 包，jdk1.6 以上
有很多下tar.gz 包的不能正常安装，建议用apt-get 或者下载bin 格式的安装包。
2.配置hosts与hostname
s ...
JAVA JVM运行参数设置
在运行jvm运行运行较为复杂，规模较大的程序时，可能会出现heap space不足之类的问题，这时需要配置jvm的运行参数：
1.参数的含义-vmargs -Xms128M -Xmx512M -XX:PermSize=64M -XX:MaxPermSize=128M-vmargs 说明后面是VM的参数，所以后面的其实都是JVM的参数了-Xms128m JVM初始分配的堆内存-Xmx512m JVM最大允许分配的堆内存，按需分配-XX:PermSize=64M JVM初始分配的非堆内存-XX:MaxPermSize=128M JVM最大允许分配的 ...
import java.io.*;
import java.net.*;
public class upload {
private static byte[] readFile(String file)throws Exception
{
FileInputStream fis = new FileInputStream(file);
byte[] b = new byte[256];
int l;
ByteArra ...