muruiheng
- 浏览: 98793 次
- 性别:
- 来自: 北京
-
最新评论
-
ghostband：
sqoop:000> start job -j 3 -s ...
sqoop2 常见问题 以及处理方式
文章列表
SpringBoot入门
- 博客分类：
- spring boot
一、什么是Spring Boot
Spring Boot是由Pivotal团队提供的全新框架，设计目的是用来简化新Spring应用的初始搭建以及开发过程。Spring Boot使用“习惯由于配置”的理念让项目快速运行起来，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spring Boot致力于在蓬勃发展的快速应用开发领域（rapid application development）成为领导者。
由此可见
1）Spring Boot是在Spring基础之上的，因此SpringBoot依赖于Spring框架
2）Spring Boot不需要再使用大量的xml配置文件，但是 ...
Redis Java API编程
- 博客分类：
- Redis
Redis 目前已经成为最流行的内存数据库之一，Java版本的API使用起来也非常方便；配合Spring-data 的项目可以很方便的使用redis的内存功能，将dao与redis整合。今天我们只介绍Redis的Java API, 借助jdk的序列化工具，我们可以将对象存存储到内存中；
package com.techstar.cache;
import java.util.ArrayList;
import java.util.Collection;
import java.util.List;
import java.util.Map;
import java.ut ...
Netty-入门Netty编码
- 博客分类：
- netty
在学习Netty编程之前，我们先了解一下为什么要使用Netty， 通过前几篇的代码，大家发现JDK的NIO API太不好用了。JDK自带的API主要有一下4个贴点：
1) NIO的类库和API繁杂，使用麻烦，你需要熟练掌握Selector、ServerSocketChannel ...
Netty-入门AIO编程
- 博客分类：
- netty
在介绍Netty编程之前， 我们不得不限介绍一下Unix系统下的事件驱动IO模型；在JDK1.7之后出现的NIO2.0也引入了这个异步非阻塞通道，他不需要通过多路复用器对注册通道进行轮询操作即可实现异步读写，从而简化了NIO的编程模型；NIO2.0提供的异步的套接字通道是真正的异步I/O，在异步I/O操作的时候可以传递信号变量，当操作完成之后回调相关的方法。
异步I/O也被称作AIO。
下面介绍一下AIO程序，类图如下：
源码：
package com.techstar.aio;
public class AIOTimeServ ...
Netty -入门NIO初级编程
- 博客分类：
- netty
接上篇，今天主要讲解NIO的编程入门，借用上一篇的例子，这次试用NIO进行一次升级。
一、 TimeServer端，步骤如下
1、打开ServerSocketChannel，用于监听用户端的连接，他是所有客户端连接的父管道
2、绑定监听端口，设置连接为非阻塞模式
3、创建Reactor线程，创建多路复用器并启动线程
4、将ServerSocketChannel注册到Reactor线程多路复用器Selector上，监听ACCEPT事件
5、多路复用器在线程run方法的无限循环体内轮询准备就绪的Key
6、多路复用器监听到有新的客户端接入，处理新的接入请求，完成TCP三次握手 ...
Netty -入门IO与NIO
- 博客分类：
- netty
1、什么是Netty
Netty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。 也就是说，Netty 是一个基于NIO的客户，服务器端编程框架，使用Netty 可以确保你快速和简单的开发出一个网络应用，例如实现了某种协议的客户，服务端应用。Netty相当简化和流线化了网络应用的编程开发过程，例如，TCP和UDP的socket服务开发。
2、什么是NIO
Java NIO（New IO）是从Java 1.4版本开始引入的一个新的IO API，可 ...
install 到本地
mvn deploy:deploy-file -Dfile=TrendDB_RDF.jar -DgroupId=com.techstar.trenddb -DartifactId=trenddb_rdf -Dversion=1.0 -Dpackaging=jar
deploy到远程私服库
mvn deploy:deploy-file -DgroupId=com.techstar.trenddb -DartifactId=trenddb_rdf -Dversion=1.0 -Dpackaging=jar -Dfile=TrendDB_API.jar ...
netty 默认的数据包传输大小为1024Byte
ServerBootstrap bootstrap = new ServerBootstrap();
bootstrap.group(bossGroup, workerGroup).channel(NioServerSocketChannel.class)
.childHandler(new ChannelInitializer<SocketChannel>() {
@Override
public void initChannel(SocketChannel ...
maven管理子项目版本编号
- 博客分类：
- maven
最近遇到一个很麻烦的事情，一个用maven构建的项目有好几个模块，而且还要频繁的更新版本以保证开发进度。每次修改版本号就成了我最头疼的事情，后来想想我遇到的问题那些大牛们肯定也遇到过呀，网上一搜还真是，不少前辈们贡献的帖子！
项目目录：
使用一下命令
mvn versions:set -DnewVersion=0.0.4-SNAPSHOT
或者使用
mvn -N versions:update-child-modules
一切就都搞定了，maven会自动安装一个versions的插件帮你完成一系列的工作。
在修改完成后你后悔了，还可以用mvn ver ...
mysql的乱码问题主要出现在， 以下4方面：
1、jdbc 的url设定的字符编码问题
2、Mysql server编码问题
3、table 设定的编码问题
4、Mysql Client编码问题
一、 规避出现乱面的方式：
1、在创建数据库时制定编码集
CREATE DATABASE `zkcfg`
CHARACTER SET 'utf8'
COLLATE 'utf8_general_ci';
2、创建数据表时制定数据集
CREATE TABLE tb_datacfg (
dataId Varchar (200) not nu ...
CentOS7默认的防火墙不是iptables,而是firewalle；
#先检查是否安装了iptables
service iptables status
#安装iptables
yum install -y iptables
#升级iptables
yum update iptables
#安装iptables-services
yum install iptables-services
禁用/停止自带的firewalld服务
#停止firewalld服务
systemctl stop firewalld
#禁用firewalld服务
sy ...
Tomcat 集群 使用Redis实现Session共享
优点
1、tomcat重启Session不会丢失
2、不在占用tomcat的内存
3、可以很方便的统计当前在线人数
使用方式
修改tomcat /conf/context.xml
<Valve className="com.orangefunction.tomcat.redissessions.RedisSessionHandlerValve" />
<Manager className="com.orangefunction.tomcat.redissessi ...
RPC 轻量级框架高并发处理
- 博客分类：
- RPC
RPC（远过程调用）在分布式系统中是很常用的基础通讯方式，核心思想是将不同进程之间的通讯抽象为函数调用。
基本的过程是：
1、调用端将参数序列化到流中并发送给服务端
2、服务端从流中反序列化出参数并完成实际的处理
3、将结果序列化后返回给调用端。
通常的RPC由接口形式来定义，接口定义服务的名字，接口方法定义每个请求的输入参数和返回结果，并且RPC内部的序列化、网络通讯等实现细节则由框架来完成，对开发人员来说是完全透明的。
RPC结构的一个轻量级框架结构图：
根据上图的结构，描述一下rpc的详细过程：
一、启动过程
1、Rpc-server ...
1、源码编译
源码下载地址
http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.5.1-src.tar.gz
mvn clean package -Phadoop-2 -Pdist -DskipTests -Dtar
编译完成之后的gz文件在hive-1.1.0-cdh5.5.1/packaging/target/目录下
三，安装hive1，解压安装包cd ~tar -zxvf apache-hive-1.1.0-bin.tar.gz2，建立软连接ln -s apache-hiv ...
Hive 1.1.0配置见《hive 安装部署》
这篇文章介绍hiveserver2的配置及使用，以及后台守护进程的配置实用
1、 基础配置，hiveserver2 启动时会检查Hadoop的环境变量是否配置，因此Hive必须安装在Hadoop集群里，并且配置好Hadoop的环境变量
export JAVA_HOME=/usr/jdk1.7.0_71
export CLASSPATH=/usr/jdk1.7.0_71/lib
export HIVE_HOME=/usr/hadoop/apache-hive-1.1.0-cdh5.5.1-bin
export HA ...