FeiNiBukeZyh
- 浏览: 12918 次
- 性别:
- 来自: 沈阳
-
最新评论
文章列表
软件要求
Java 1.7.x 或者更高
ssh sshd必须运行起来，因为flink用来管理远程的组件
如果集群不满足全部上述要求，必须进行更新，否则无法搭建flink集群. 如果已经配置了ssh免密和在所有的节点创建了一样的目录结构，那么就可以使用flink脚本来管理一切fink集群事务了。 安装过程如下：
环境信息
机器三台：IP是192.168.1.6/192.168.1.7/192.168.1.8
系统版本：Centos 7
java版本：java version "1.8.0_162"
准备工作
...
import java.util.ArrayList;
import java.util.List;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFlatMapFunc ...
基于CDH5部署Spark记录
- 博客分类：
- Spark
1、Scala 安装
http://www.scala-lang.org/files/archive/scala-2.10.3.tgz
# tar xvzf scala-2.10.3.tgz -C /usr/lib/
环境变量配置
export SCALA_HOME=/usr/lib/scala-2.10.3
export PATH=$SCALA_HOME/bin:$PATH
# scala -v
2、Maven 安装
SELECT day(LAST_DAY('2012-09-01'))
外部包：
jackson-all-1.7.6
使用样例代码：
ObjectMapper mapper = new ObjectMapper();
String result = "[]";
try {
result=mapper.writeValueAsString(list);
} catch (JsonProcessingException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}//把map或者是list转换成
Syste ...