18901888895
- 浏览: 6738 次
- 性别:
- 来自: 上海
-
最新评论
文章列表
HDFS磁盘调度策略
- 博客分类：
- hadoop
callstack:
FsVolumeList.getNextVolume(StorageType,long)----->FsVolumeList.chooseVolume(List,long)----->RoundRobinVolumeChoosingPolicy.chooseVolumn(List,long)
OR
FsVolumeList.getNextVolume(StorageType,long)----->FsVolumeList.chooseVolume(List,long)----->AvailableSpaceVolumeCho ...
1. 标准输入stdin文件描述符为0，标准输出stdout文件描述符为1，标准错误stderr文件描述符为2
2. /dev/null 空设备，相当于垃圾桶
3. 重定向符号：>
3. 2>1 与 2>&1 的区别 2>1, 把标准错误stderr重定向到文件1中 2>&1,把标准错误stderr重定向到标准输出stdout
4. 举例: 假设有脚本test.sh，内容如下，t是一个不存在的命令，执行脚本进行下面测试。 # cat test.sh t date
标准输出重定向到log，错误信息输出到 ...
文件系统操作命令：
1. cat：可以显示文件的内容（经常和more搭配使用），或将多个文件合并成一个文件。
2. chgrp：用来改变文件或目录所属的用户组，命令的参数以空格分开的要改变属组的文件列表，文件名支持通配符， ...
Client写入 -> 存入MemStore，一直到MemStore满 -> Flush成一个StoreFile，直至增长到一定阈值 -> 出发Compact合并操作 -> 多个StoreFile合并成一个StoreFile，同时进行版本合并和数据删除 -> 当StoreFiles Compact后，逐步形成越来越大的StoreFile -> 单个StoreFile大小超过一定阈值后，触发Split操作，把当前Region Split成2个Region，Region会下线，新Split出的2个孩子Region会被HMaster分配到相应的HRegionSe ...
HBase中的Client如何路由到正确的RegionServer
在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的 RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并 不知道哪个RegionServer管理哪个Region，那么它是如何找到相应的RegionServer的？本文就是在研究
1. 两者分别是什么？
Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。
Apache HBase是一种Key/Value系统，它运行在HDFS之上。和Hive不一样，Hbase的能够在它的数据库上实时运行，而不是运行MapReduce任务。Hive被分区为表格，表格又被进一步分割为列簇。列簇必须使用schema ...
转载：http://blog.csdn.net/osg_yanglinping/article/details/25702333
一、准备工作
下载插件源码地址：https://github.com/winghc/hadoop2x-eclipse-plugin
下载ANT：http://www.apache.org/dist/ant/binaries/apache-ant-1.9.4-bin.zip
二、修改源码
1、修改ivy配置文件（hadoop2x-eclipse-plugin\src\ivy目录下）
2、修改ant 编译所用的buding.xml配置 ...
1. 实验环境：
1) 三台主机，IP地址和记住名称如下：
IP：132.129.31.36 主机名：ossitsp3 用途：主节点（Master）
IP：132.129.31.37 主机名：ossitsp4 用途：从节点（Slaver）
IP：132.129.31.38 主机名: ossitsp5 用途：从节点（Slaver）
其中36主机作为主节点，37和38作为从节点。
2) Hadoop版本：hadoop-2.4.1
2. 安装步骤概览
3. 操作过程
1) 检查前置软件JDK。
Hadoop是基于JVM的，因此安装前必须先安装JDK。检查linux主机是否已经安装JD ...