黄国甫
- 浏览: 46474 次
- 性别:
- 来自: 南昌
-
最新评论
文章列表
#!/bin/bash
# Here, I am assuming that you want to run your Spark program in "Spark Cluster"
# Assuming that your Spark master is running on server "myserver100"
# This script is a kind of template ...
# -------------------------------------------------------------------------- ...
一、hadoop 本机安装：
1）复制文件hadoop,jdk
2）配置变量java_home,path,hadoop_home ,conf/hadoop-env.sh 中的JAVA_HOME
3）运行如下命令测试安装是否成功
bin/hadoop jar hadoop-0.20.0-examples.jar grep input output 'dfs[a-z.]+'
二、伪分布模式（在本机的基础上增加步骤）：
1）配置：core-site.xml,hdfs-site.xml,mapred-site.xml; 参考地址：http://blog.csdn.net/inkfish ...
一、利用TreeMap做排序，代码如下：
java.util.SortedMap<Double, scala.Tuple2<String,String>> topN = new java.util.TreeMap<Double, scala.Tuple2<String,String>>();
topN.put(-0.223,new scala.Tuple2<String,String>("1","1"));
topN.put(-0.5239,new scala.Tu ...