`
臻是二哥
  • 浏览: 190788 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
博客专栏
Group-logo
Java技术分享
浏览量:0
社区版块
存档分类
最新评论
文章列表
代码如下: import java.io.IOException; import java.util.StringTokenizer;   import org.apache.hadoop.conf.*; import org.apache.hadoop.mapreduce.*; import org.apache.hadoop.util.*; import org.apache.hadoop.io.*;
首先说明一下环境:我在前面的博客中搭建的hadoop平台,具体为运行在win7上的eclipse3.3连接到位于ubuntu14.04的hadoop集群,至于具体的搭建方法请参见以前的博客。下面开始在eclipse中调试WordCount程序: 打开eclipse,新建一个Map/Reduce Project   
HDFS可靠性措施 一、冗余备份:数据存储在这些HDFS中的节点上,为了防止因为某个节点宕机而导致数据丢失,HDFS对数据进行冗余备份,至于具体冗余多少个副本,在dfs.replication中配置。 二、副本存放:仅仅对数据进行冗余备 ...
Win7上的Eclipse3.3远程连接ubuntu14.04中的hadoop0.20.2 小编最近发了几篇hadoop环境搭建的博文,读者一定要注意,所有的搭建方法中必须使用完全一样的软件版本,否则会出现各种意想不到的错误。 这篇博文的环境是: 位于win7上的e ...
hadoop0.20.2软件下载http://pan.baidu.com/s/1kTurQJH jdk7u71-linux-i586下载http://pan.baidu.com/s/1pJyT1OZ 在搭建集群之前需要作如下准备工作, (博文使用hadoop0.20.203.0作为例子讲解,推荐使用hadoop0.20.2更加稳定,两者配置过程相同)1 配置好静态IP,并且在所有的机器上建立相同的用户名和密码,这里我的用户名
  环境说明: 打在ubuntu系统的两台计算机master和slave1 两台计算机均已安装ssh服务 两台机器上都存在用户xuyizhen    下面开始配置: 在master
Ubuntu14.04安装jdk1.7.0_71 将位于~下的安装包移动到/usr目录下  切换到root身份进入到/usr文件夹下  解压安装包 tar -zxvf jdk-7u71-linux-i586.tar.gz  建立目录/usr/java并把解压的文件移动到其中  接下来配置环境变量,由于linux是多用户操作系统,所以我们仅仅为需要的用户配置环境变量: 首先切换到要配置环境变量的用户,比如我想配置xuyizhen用户,那么切换到xuyizhen用户:  打开~/.bashrc文件  在底部加入以下内容 #set java environment export JAVA_HOME ...
附件中有一个并行计算框架,使用该框架时候,需要在jar包所在目录下创建一个config.xml文件,内容如下,leader的值为集群中master的值,单机情况下运行时leader为本地的值127.0.0.1 <park> <leader>192.168.0.124:1889</leader> </pa ...
ps -ef | grep 用户名 | grep -v root | grep -v avahi | cut -c 9-15 | xargs kill -9 首先使用ps -ef | grep 用户名 ,看看除了指定用户名的进程还有那些进程被搜索出来,比如还有用户名为root和avahi用户的进程被搜索出来,那么就是用grep -v root | grep -v avahi从结果集中去掉这些线程,紧接着使用cut -c 9-15选取被删除进程的PID号,然后使用xargs kill -9删除。 其中 | 是一个管道命令,就是对前面的结果集进行进一步的处理。
最近写代码竟然烦了一个很低级的错误,写出来供大家参考: 在涉及到map或者list删除的时候,我们经常写出如下错误代码: LinkedHashMap<String,String> lhm=new LinkedHashMap<String,String>(); lhm.put("a","a"); lhm.put("b","b"); lhm.put("c","c"); lhm.put("d","d ...
用java实现AOP主要用到了java反射机制,java动态代理,java注释。分别对应java.lang.reflect;java.lang.annotation包。关于自定义注释这里不再讲,请看代码: 定义Aop注释 import java.lang.annotation.*; @Target(ElementType.METHOD) @Retention(RetentionPolicy.RUNTIME) @Documented public @interface Aop { String className(); String methodName(); Strin ...
import java.lang.reflect.*; class Person { public void sayBye(){System.out.println("bye bye");} public void sayHello(String name){System.out.println("hello "+name);} public void sayWelcome(String name,String address){System.out.println("welcome "+name+" to ...
import java.lang.annotation.*; import java.lang.reflect.*; @Retention(RetentionPolicy.RUNTIME) @Target(ElementType.METHOD) @interface MyAnn { String name() ; String event(); // 方法执行前的事件 public static final String METHOD_BEFORE = "METHOD_BEFORE"; // 方法执行后的事件 public st ...

SAX

    博客分类:
  • JAVA
java中提供了一系列的接口用于自定义解析xml的文件,中DefaultHandler是SAX事件处理程序的基类,通过重写SAX类,可以自定义对xml文件的解析。 在重写defaultHandler类时候,有一个重点是设立tag标记位,这个标记为用于记录当前处理的元素是哪一个,因为xml解析是一个嵌套的结构,character中可能还会调用startElement,因此必须设立一个标记位teg用于标记当前startElement解析到哪个标签了,然后character才能根据不同的tag定义不同的方法。 import org.xml.sax.helpers.DefaultHandler; ...

compareTo

    博客分类:
  • JAVA
以前,一直使用compareTo的从小到大排序,实际上compareTo可以选择从小到大还是从大到小: 设接口I,T是实现了接口I的类,则类T实现Comparable的话,如下 //从小到大排序:当前比外来户小返回负值,当前比外来户大返回正值 public int compartTo(I i) { T t=(T)i; if(age<t.getAge()) return -1; else if(age>t.getAge()) return 1; else return 0; } //从大到 ...
Global site tag (gtag.js) - Google Analytics