流氓阿飞
- 浏览: 18625 次
-
最新评论
文章列表
一、先贴Word Count的程序；这里用的是java版本
public final class JavaWordCount {
private static final Pattern SPACE = Pattern.compile(" ");
public static void main(String[] args) throws Exception {
// if (args.length < 1) {
// System ...
基于前一篇：Spark2.x安装配置http://liumangafei.iteye.com/blog/2322672
1、修改spark-env.sh
export SCALA_HOME=/usr/scala/scala-2.11.8
export JAVA_HOME=/usr/java/jdk1.8.0_91
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop2:2181,hadoop3 ...
1、安装Hadoop集群
详情请看以下安装教程
Hadoop配置与安装：http://liumangafei.iteye.com/blog/2303359
Hadoop基于Quorum Journal Manager的高可用配置：http://liumangafei.iteye.com/blog/2322063
因为安装hadoop的时候肯定要安装jdk，所以就不在这里赘述了
2、安装scala
下载scala：http://downloads.lightbend.com/scala/2.11.8/scala- ...
基于前一篇：Hadoop安装与配置进行修改 http://liumangafei.iteye.com/blog/2303359
修改：core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<p ...
工作环境：Windows10
Hadoop版本：hadoop-2.6.4
开发工具：IDEA
测试代码为Hadoop权威指南书上的代码具体不细说，直接贴代码：
MaxTemperatureMapper.java
public class MaxTemperatureMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
private static final int MISSING = 9999;
@Override
public vo ...
Hadoop文件的拥有者改为指定的hadoop1用户
1、修改配置文件 hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_77
2、修改配置文件 yarn-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_77
3、编辑slaves文件
hadoop1
hadoop2
1、关闭防火墙（保证几台linux之间连接顺畅），建立相关文件夹（安装路径、data数据保存路径），下载并放入相关的文件夹下
$:mv /home/liumangafei/Downloads/zookeeper-2.4.6 /app
2、修改hosts（可选）
$: vi /etc/hosts
192.168.178.130 master
192.168.178.132 slave1
192.168.178.133 slave2
3、在zookeeper目录/conf中 zoo_sample.cfg拷贝一份改名 ...
网上有很多MyBatis物理分页插件，基本都是围绕拦截指定分页对象来处理的；网上分页逻辑为，先查出总的列表数，使用分页插件查出分页后列表集合，封装总列表数和分页列表集合到Page结果对象；用起来还要自己封装结果类，相对比较麻烦；我想省去这些复杂的步骤，直接传递分页对象，返回结果对象。
需求：
这里我想像JPA一样传递Pagination分页对象进去，返回Page结果对象。
逻辑：
MyBatis预处理拦截器拦截指定的Pagination，并重写当前的SQL为分页SQL
MyBatis结果集拦截器拦截指定的Pagination，根据分页SQL ...