bit1129
- 浏览: 1067585 次
- 性别:
- 来自: 北京
-
最新评论
-
jchubby：
关于第一个reduceByKey对应的cache，shuffl ...
【Spark三十七】Spark Cache机制 -
bo_hai：
看了你的文章，updateStateByKey 这个方式的使用 ...
【Spark八十八】Spark Streaming累加器操作（updateStateByKey) -
bo_hai：
棒极啦，解决了我的问题。
【Spark七十二】Spark的日志配置 -
tivan：
你好，这个代码生成主要在，那个地方使用。
【Spark105】Spark SQL动态代码生成一 -
zxsz4085：
看楼主这么厉害的样子，请问楼主如何知道类库的版本呢？比如g++ ...
【Thrift一】Thrift编译安装
文章列表
如何把如下简单的JSON字符串反序列化为Java的POJO对象?
{"data":{"IM":["MSN","QQ","Gtalk"]}}
下面的POJO类Model无法完成正确的解析：
import com.google.gson.Gson;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
clas ...
什么是Spring Data Mongo
Spring Data MongoDB项目对访问MongoDB的Java客户端API进行了封装，这种封装类似于Spring封装Hibernate和JDBC而提供的HibernateTemplate和JDBCTemplate，主要能力包括
1. 封装客户端跟MongoDB的链接管理
2. 文档-对象映射，通过注解:@Document(collection="collectionName")
3.对模版式的代码，进行了封装，类似于JDBCTemplate和HibernateTemplate
Spring Data Mo ...
父类
package inheritance.test2;
import java.util.Map;
public class Model {
private String field1;
private String field2;
private Map<String, String> infoMap;
public String getField2() {
return field2;
}
public void setField2(String field ...
[CSS]CSS浮动十五条规则
- 博客分类：
- css
这些浮动规则，主要是参考CSS权威指南关于浮动规则的总结，然后添加一些简单的例子以验证和理解这些规则。
1. 所有的页面元素都可以浮动 2. 一个元素浮动后，会成为块级元素，比如<span>,a, strong等都会变成块级元素 ...
当要将JSON数据串反序列化自身为非泛型的POJO时，使用Gson.fromJson(String, Class)方法。自身为非泛型的POJO的包括两种：
1. POJO对象不包含任何泛型的字段
2. POJO对象包含泛型字段，例如泛型集合或者泛型类
Data类
a.不是泛型类，
b.Data中的集合List和Map都是泛型的
c.Data中不包含其它的POJO
POJO
package gson.test2;
import java.util.ArrayList;
import java.util.HashMap;
import java.uti ...
MongoDB的副本集(Replica Set)一方面解决了数据的备份和数据的可靠性问题，另一方面也提升了数据的读写性能。MongoDB分片(Sharding)则解决了数据的扩容问题，MongoDB作为云计算时代的分布式数据库，大容量数据存储，高效并发的数据存取，自动容错等是MongoDB的关键指标。
本篇介绍MongoDB的切片(Sharding)
1.何时需要分片
1)数据量非常大，单个磁盘无法完成存储，例如SNS数据等
2)单台服务器不能满足高并发写操作的性能要求(副本集仅仅允许有一台服务器)
3)MongoDB是内存数据库和文件数据库，如果要尽可能的提升读写操作 ...
1. 副本集的特性
1)一台主服务器(Primary),多台从服务器(Secondary)
2)Primary挂了之后，从服务器自动完成从它们之中选举一台服务器作为主服务器，继续工作，这就解决了单点故障，因此，在这种情况下，MongoDB集群能够继续工作
3)挂了的主服务器恢复到集群中只能以Secondary服务器的角色加入进来
2. 副本集环境搭建
2.1副本集闭环配置(以三台机器配置为例)
port=27017
bind_ip=127.0.0.1
dbpath=/home/tom/development/mongoDBdata/replic ...
MongoDB称为分布式数据库，主要原因是1.基于副本集的数据备份， 2.基于切片的数据扩容。副本集解决数据的读写性能问题，切片解决了MongoDB的数据扩容问题。
事实上，MongoDB提供了主从复制和副本复制两种备份方式，在MongoDB的主从复制和副本复制集群环境中，只有一台作为主服务器，另外一台或者多台服务器作为从服务器。
本文介绍MongoDB的主从复制模式，需要指明的是因为在这种模式下，主从复制集群存在单点故障，即主服务器挂了，则整个复制集群就挂了，因为客户端只能往主服务器上写数据，而不能往从数据上写数据，这种读写模式称为读写分离
Master/Slave主从复制 ...
LInux启停重启常用服务器的脚本
- 博客分类：
- Linux
启动，停止和重启常用服务器的Bash脚本，对于每个服务器，需要根据实际的安装路径做相应的修改
#! /bin/bash
Servers=(Apache2, Nginx, Resin, Tomcat, Couchbase, SVN, ActiveMQ, Mongo);
Ops=(Start, Stop, Restart);
currentDir=$(pwd);
echo "What do you want to do?"
select op in Start Stop Restart;
do
break;
done
echo &qu ...
什么是Maven Profile
Maven Profile的含义是针对编译打包环境和编译打包目的配置定制，可以在不同的环境上选择相应的配置，例如DB信息，可以根据是为开发环境编译打包，还是为生产环境编译打包，动态的选择正确的DB配置信息
Profile的激活机制
1.Profile可以手工激活，比如在Intellij Idea的Maven Project视图中可以选择一个Profile作为当前Active的Profile，在编译处理资源文件时，即使用这个Profile
2.条件自动激活
2.1 根据操作系统自动激活，如下配置后那么当在Windows家族的操纵系统上编 ...
基于Maven的web项目的标准项目结构
user-project
user-core
user-service
user-web
src
main
java
Java源代码包括Servlet等
webapp //名字必须是webapp且在src目录下
WEB-INF
web.xml
javascript
...
[Maven学习笔记八]Maven常用插件应用
- 博客分类：
- Maven
常用插件及其用法位于：http://maven.apache.org/plugins/
1. Jetty server plugin
2. Dependency copy plugin
3. Surefire Test plugin
4. Uber jar plugin
5. Maven Source Plugin
1. Jetty Plugin
<plugin>
<groupId>org.mortbay.jetty</groupId>
...
[Maven学习笔记七]Maven插件和目标
- 博客分类：
- Maven
插件(plugin)和目标(goal)
Maven，就其本质而言，是一个插件执行框架，Maven的每个目标的执行逻辑都是由插件来完成的，一个插件可以有1个或者几个目标，比如maven-compiler-plugin插件包含compile和testCompile，即maven-compiler-plugin提供了源代码编译和测试源代码编译的两个目标
使用插件和目标使得我们可以干预Maven构建框架的构建过程
Maven提供的插件列表
Plugin
Type*
Version
Release Date
Description
Source Repository
Issue ...
[Maven学习笔记六]Maven生命周期
- 博客分类：
- Maven
从mvn test的输出开始说起
当我们在user-core中执行mvn test时，执行的输出如下：
/software/devsoftware/jdk1.7.0_55/bin/java -Dmaven.home=/software/devsoftware/apache-maven-3.2.1 -Dclassworlds.conf=/software/devsoftware/apache-maven-3.2.1/bin/m2.conf -Didea.launcher.port=7532 -Didea.launcher.bin.path=/software/devsoftwa ...
Maven聚合
在实际的项目中，一个项目通常会划分为多个模块，为了说明问题，以用户登陆这个小web应用为例。通常一个web应用分为三个模块：
1. 模型和数据持久化层user-core,
2. 业务逻辑层user-service以
3. web展现层user-web，
user-service依赖于user-core
user-web依赖于user-core和user-service
这三个模块都是Maven项目(在Intellij Idea中称为Module)，都有各自的pom.xml,如果我们单独管理这些模块，单独的编译、运行单元测试和打包，不仅很繁琐，而且不 ...