博客首页 → hadoop入门

最新文章列表

start-all.sh究竟做了什么？

  当搭建好了hadoop环境，我们迫不及待的就开始执行start-all.sh脚本，那么这个脚本具体做什么呢   Java代码   
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有2058人浏览 2012-04-19 16:26

查看fsimage edits的小技巧

为了大家方便在hadoop目录和其他目录之间跳转，我建议定一个变量叫HADOOP_INSTALL 然后放在.bashrc里，这样每次想去hadoop的目录只需要输入   Python代码   
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有1095人浏览 2012-04-18 21:00

hdfs-default配置说明等

为方便查询故在此列出 Xml代码    <? xml  
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有827人浏览 2012-04-18 20:59

core-default配置说明等

为了以后查找方便，故将配置说明等列在这里 Xml代码    <? xml
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有1176人浏览 2012-04-18 20:59

hadoop core-default hdfs-default默认配置

Java代码    dfs.replication.interval= 3 ,   fs.hsftp.impl=org.apache.hadoop.hdfs.HsftpFileSystem,  
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有1551人浏览 2012-04-18 20:58

namenode任务线程之HeartbeatMonitor

上篇分析了PendingReplicationMonitor   这次分析HeartbeatMonitor   看到这个类名，给我的第一印象就是server端定时心跳client端，其实在以前的话都是这么来做的，但是当client端太多的时候就不适合这种心跳检测模式了，改而换成client给server端发送心跳信息，server端只是负责接收心跳而已，他只是需要在一个端口listen心 ...
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有883人浏览 2012-04-17 23:52

namenode任务线程之PendingReplicationMonitor

这里描述下PendingReplicationMonitor 这个后台线程的任务   PendingReplicationBlocks$PendingReplicationMonitor   首先来看下PendingReplicationBlocks 这个类的作用
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有932人浏览 2012-04-17 23:52

namenode启动开启了那些任务线程

第一类：后台任务线程   Java代码   
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有760人浏览 2012-04-17 23:52

hadoop jmx

本地起了namenode以后就会注册一些Metrics 到本地的MBeanServer上去，这样你随时可以查看当前namenode上那些Metrics状态了，例如NamenodeActivity 和RpcActivity等等。   0.20.2版本的hadoop还没提供原生的访问jmx的接口出来，不过这个倒是留了一些可配置参数在hadoop-env.sh里，例如jmxremote的port，这里 ...
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有866人浏览 2012-04-17 23:52

hadoop-metrics配置说明

hadoop提供了各种运行时指标数据  默认的监测配置如下   Java代码   
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有1391人浏览 2012-04-17 23:52

检测hadoop程序的小技巧

这里总结一些检测hadoop是否正常启动的一些小技巧   1：查看hadoop的进程，利用java自带的jps 例如在master上执行后的输出  
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有1021人浏览 2012-04-16 21:26

搭建hadoop集群时的注意项

在这篇文章里讲述了一些配置的注意事项，我这里再补充一点自己的（如有不对恳请指出） Hadoop中的集群配置和使用技巧  分布式计算开源框架Hadoop入 ...
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有580人浏览 2012-04-16 21:25

调试hadoop的小技巧

在调试hadoop的时候，你第一点需要明确需要调试哪个类，然后调试时的上下文参数大概是什么样的，在上一篇里我讲了如何设置hadoop的调试，这里分享一点小的调试技巧。      例如我需要知道调试的类和上下文参数，那其实在启动脚本里就有的，我们不妨在启动时将这些输出来看，例如在hadoop的  
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有799人浏览 2012-04-16 21:25

hadoop debug设置

要学习hadoop 那debug源码学习是最好的方式了，那如何debug呢       首先找hadoop启动脚本，位于HADOOP_INSTALL_HOME下的bin目录中的hadoop文件      在HADOOP_OPT 列表上增加这么一行即可
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有1047人浏览 2012-04-16 21:25

hadoop一些学习文章

1：使用 Linux 和 Hadoop 进行分布式计算 入门和架构   http://www.ibm.com/developerworks/cn/linux/l-hadoop/       2：Running Hadoop On Ubuntu Linux (Multi-Node Cluster)  
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有802人浏览 2012-04-16 21:25

hadoop passphraseless ssh

在本机（fedora11）来配置hadoop的伪分布模式:       使用的hadoop的版本是 0.20.2     openssh 版本 ： 5.2p1    
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有715人浏览 2012-04-15 22:59

hadoop的1TB排序

1、1TB（或1分钟）排序的冠军   作为分布式数据处理的框架，集群的数据处理能力究竟有多快？或许1TB排序可以作为衡量的标准之一。 
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有884人浏览 2012-04-15 22:58

hadoop中RPC的使用方法

public class UseRPC { //hadoop配置信息 private static Configuration conf=new Configuration(); //定义接口 public interface Serverif{ public String method(String args); public static class ServerImpl implemen ...
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有934人浏览 2012-04-15 22:58

hadoop cluster配好了

下班回来有开始投入。进一步验证了，nutch运行在hadoop分布式之上时，使用的配置文件是build目录下面的conf，够折腾的。还有就是不要想着使用telnet去验证redhad企业版linux是否连通，因为默认情况下telnet是被关闭的。把配置文件里面的所有hostname改成ip地址，运行，一切ok。抓了depth5的，完了后用luke看的时候发现内容好像太少，只有一个document，看 ...
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有844人浏览 2012-04-15 22:58

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics