chengjianxiaoxue
- 浏览: 1310785 次
- 性别:
- 来自: 北京
-
最新评论
-
jaingbei：
可以通过继承FileOutputFormat来简化相关代码
自定义OutputFormat -
star12396：
楼主，那hbase结合hive使用，这种架构稳定不？机器的内存 ...
hbase+hive结合使用 -
atMe0804：
...
kafka集群搭建和使用Java写kafka生产者消费者 -
ztao2333：
thanks
eclipse 设置自动补全快捷键 -
Will_forme：
你好 最近在使用kylin的时候有点疑问，我安装这些都没问题 ...
kylin 搭建和简单测试结果
文章列表
win7下如何展现文件扩展名
- 博客分类：
- 杂记
1 打开我的电脑。然后按ALT键 或者按ALT+T键
2 此时出现菜单框，选择 工具(T)
3 在弹出的下拉菜单选择文件夹选项O4 在点击查看 在高级设置里往下面拉 ,其中有一行 隐藏件已知文件类型的扩展名 把前面的钩取消掉就可以
自定义有序数组_用二分法查找数据
- 博客分类：
- 数据结构基础
/**
* java 模拟有序数组
* @author zm
*/
public class MyOrderArray {
private int size; // 实际个数
private int[] arr;
private int max; // 数组最大长度
public MyOrderArray(){
arr = new int[10];
max = 10;
}
public MyOrderArray(int size){
arr = new int[size];
max = size;
}
...
jvm_0_JVM运行机制
- 博客分类：
- jvm
0 虚拟机：
a) 概念： 通过软件模拟具有完整硬件系统功能，并运行在一个完整隔离环境中的完整计算机系统
b) 有哪些虚拟机：
vmware,visual box: 此两者都是使用软件模拟物理CPU的指令集（即模拟的东西都是现实存在的 ...
hdfs设计原则
1.非常大的文件：
这里的非常大是指几百MB,GB,TB.雅虎的hadoop集群已经可以存储PB级别的数据
2.流式数据访问：
基于一次写，多次读。
3.商用硬件：
hdfs的高可用是用软件来解决，因此不需要昂贵的硬件来保障高可用性，各个生产商售卖的pc或者虚拟机即可。
hdfs不适用的场景
1.低延迟的数据访问
hdfs的强项在于大量的数据传输，递延迟不适合他，10毫秒以下的访问可以无视hdfs，不过hbase可以弥补这个缺陷。
2.太多小文件
namenode节点在内存 ...
hadoop_hdfs_架构图
- 博客分类：
- hadoop1
0 架构图如下：
问题1: 为何拆分，拆分后读写时是怎么读写的
a) 空间利用率上升，eg:传一个10G文件，但是datanode只有9G，那么按块存放最起码还能放9G，
b) 便于管理维护，你传一个10G文件，按块上传，突 ...
/**
* java 模拟数组
* @author zm
*/
public class MyArray {
private int size; // 实际个数
private int[] arr;
private int max; // 数组最大长度
public MyArray(){
arr = new int[10];
max = 10;
}
public MyArray(int size){
arr = new int[size];
max = size;
}
// 尾部插入数据
...
原码, 反码, 补码的基础概念和计算方法
- 博客分类：
- jvm
原文出自： http://blog.csdn.net/pud_zha/article/details/7815109
在探求为何机器要使用补码之前, 让我们先了解原码, 反码和补码的概念.对于一个数, 计算机要使用一定的编码方式进行存储. 原码, 反码, 补码是机器存储一个具体数字的编码方式.
1. 原码
原码就是符号位加上真值的绝对值, 即用第一位表示符号, 其余位表示值. 比如如果是8位二进制:
[+1]原 = 0000 0001
[-1]原 = 1000 0001
第一位是符号位. 因为第一位是符号位, 所以8位二进制数的取值范围就是:
[11 ...
hadoop配置文件含义解释:
1 hdfs-site.xml 和 hdfs-default.xml 的区别：
上图明确指出： hdfs的核心文件hdfs-default.xml禁止修改，如果想要自定义内容，请在hdfs-site.xml 内修改， 看单机版hadoop配置时的 hdfs-site.xml，其中对参赛fs.default.name和hadoop.tmp.dir进行了重写：
[root@master conf]# cat core-site.xml
<?xml version="1.0"?> ...
0_数据结构基础_基本概念和内存
- 博客分类：
- 数据结构基础
1.0 数据结构概述:
我们如何把现实中大量而复杂的问题以特定的数据类型和特定的存储结构保存到主存储器中，
以及在此基础上为实现某个功能（eg:查找/删除某个元素，对所有元素排序）而执行的相应操作（即算法）
eg: 存储100000个元素 （用链表结构保存）
eg: 公司人事架构 （用树表示）
eg: 车站交通站点之间最短行车路线 (用图表示)
数据结构 = 复杂问题的数据和数据之间关系以何种方式保存到计算机内存中
算法 = 对存储数据的操作，依附于数据，数据结构不一样，算法就不一样
程序 = 数据的存储 + 数据的操作 + ...
将hadoop源码关联到eclipse
- 博客分类：
- hadoop1
0 目的仅仅是为了以后查看Hadoop源码方便而已，不做别的用途
1 新建java工程 hadoop0
2 解压hadoop-1.1.2.tar，将hadoop-1.1.2\src下的mapred hdfs core拷贝到src内
3 修改工程build path: 将下图的 ahdoop0/src 代码源做如下修改
修改为如下：
4 增加jar包如下
增加jar如下：
1 hadoop-1.1.2\lib下所有包
2 hadoop-1.1.2\lib\jsp-2.1下所有包
3 ant.jar 可以去http ...
0 写法类似于linux命令
[root@hadoop0 hadoop]# hadoop
Warning: $HADOOP_HOME is deprecated.
Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
namenode -format format the DFS filesystem
secondarynamenode run the DFS secondary namenode
namenode run the DF ...
hadoop_ssh简介
- 博客分类：
- hadoop1
背景:
1 在hadoop分布式集群的机器之间，务必关闭防火墙，因为开启下，仅仅放开很少的几个端口，这个给集群见的通讯带来很不方便
2 ssh简介:
a) 是加密协议，完成加密通讯的一个协议,
对远程登陆和远程执行命令加密，防止网络监听而出现的密码泄漏
b) 主要使用了rsa算法（不对称加密算法），通过执行ssh-keygen -t rsa
来生成公钥id_rsa.pub，私钥id_rsa 这一对密钥对
c) 生成的id_rsa.pub需要拷贝到目标服务器中，以保持到此机器时免密码登陆的目的
...
远程链接后不能拷贝本地文件到远程服务器处理方式
- 博客分类：
- 工作杂项
背景: 通过本机(win7系统)远程到服务器(win2003)后，不能将本地文件拷贝 粘贴到远程服务器
处理方式1： 服务端安装ftp服务器，本机安装客户端
处理方式2： 修改本机远程桌面连接，如下图，勾选红线区域即可：
前言: 了解对象，数据在内存的细节， 有助于程序员设计出更加合理地结构。
指针和对象的关系：指针指向对象在内存中首地址的位置
指针之间赋值:
1 指针间的赋值与基本类型赋值一样，它并不会引起对对象的操作。
2 指针之间赋值是将 指针的内容赋值到另一个指针中，后者的内容将会丢失。
对象的内存表示:
字符串的内存表示:
串的内存表示 串是最常用的类，也是Java特殊对待的类型之一（另一个是数组）。 串是定常的。无论一个串存储在哪里，它所包含内容是不可改变的。 字面常量表 ...
参考连接： http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html
1.0环境说明
a) VMware8
b) CentOS-5.8-i386
c) win7-32位-旗舰 4G内存
d) hadoop-1.1.2.tar
e) jdk-6u24-linux-i586.bin
f）SSHSecureShellClient-3.2.9
g) 如下操作都是用root用户
1.1设置ip地址
在创建虚拟机时，使用网卡桥接方式，如下图
在安装好的虚拟机上，设置 ...