xiamizy
- 浏览: 90651 次
- 性别:
- 来自: 南京
-
博客专栏
-
-
spring framew...
浏览量：4899
最新评论
-
wangyh_87：
博主好，请问速率（百条/s）这个是怎么测出来的？最近也在测es ...
elasticsearch 性能测试 -
silent1：
明白了，这两个是独立的。Fsync实际上与ElasticSea ...
ElasticSearch大批量数据入库 -
silent1：
index.gateway.local.sync缺省是5秒，那 ...
ElasticSearch大批量数据入库 -
silent1：
谢谢！准备抄一遍。
ElasticSearch大批量数据入库 -
zhuchao_ko：
共勉 .
关于面试
文章列表
近期对两个应用进行改造，在上线过程中出现一系列问题（其中一部分是由于ObjectId误区导致的）
先来了解下ObjectId：
TimeStamp
前 4位是一个unix的时间戳，是一个int类别，我们将上面的例子中的objectid的前4位进行提取“4df2dcec”，然后再将他们安装十六进制 专为十进制：“1307761900”，这个数字就是一个时间戳，为了让效果更佳明显，我们将这个时间戳转换成我们习惯的时间格式（精确到秒)
MonitorLogging改造(消息接入)
改造前架构：
可以看出原来的流程中，大量业务分析，业务接入耦合在web服务层。大量操作，导致线程线性的挂起线程。
改造后：
将业务通讯抽象成为MonitorQueueManager，并将业务主题抽象放到各自的collection中。
形如：
大家先从ThreadPoolExecutor的总体流程入手：
针对ThreadPoolExecutor代码，我们来看下execute方法：
public void execute(Runnable command) {
if (command == null)
throw new NullPointerException();
//poolSize大于等于corePoolSize时不增加线程，反之新初始化线程
if (poolSize >= corePoolSize || !addIfUnderCorePoolSi ...
前面写了几篇spring 的介绍文章，感觉与主题不是很切合。重新整理下思路，从更容易理解的角度来写下文章。
spring 的骨架
spring 的骨架，也是spring 的核心包。主要包含三个内容
1.context：spring 的上线文-------导演
2.core：spring的核心包，主要包括spring所以用到的工具-------道具
3.beans：spring的bean实例 -------演员
导演负责安排演出，演员负责按照导演的指示来演出，演出过程中需要使用道具。
Application初始化日志
15:23:12.790 [main] DEBUG o.s.core.env.StandardEnvironment - Adding [systemProperties] PropertySource with lowest search precedence
15:23:12.797 [main] DEBUG o.s.core.env.StandardEnvironment - Adding [systemEnvironment] PropertySource with lowest search precedence
15:23:12.7 ...
在开始看代码之前，需要做的第一件事是下载代码。
在这里：https://github.com/spring-projects/spring-framework
下载完成了发现使用gradle做的源代码的构建管理工具的。
值得庆幸的事情，spring为导入eclipse写了脚本工具，包解压后结构如下：
发现了一个脚本文件：import-into-eclipse.bat，今天负责导入的就是他了，
等待漫长的编译，这里有个问题，在没有安装gradle的时候，脚本会自动下载gradle
执行完成后是这样的：
多了eclipse的几个配置，现在可以正常导入了
...
最近在系统的学习hadoop
课程第一步是安装hadoop1.x，具体安装步骤如下：
一、系统安装
本文使用centos6.5安装，具体安装步骤省略
二、jdk安装
下载jdk1.7.0_51解压，在环境中
设置环境变量：
vi /etc/profile,添加如下行：
export JAVA_HOME=/usr/local/jdk1.7.0_51export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HO ...
heritrix作为一个比较经典的开源爬虫，写这篇文章目的是因为，3.X之后的heritrix的介绍以及配置的文章比较少了。
heritrix 3.x 以后使用maven 2配置jar包引用，但是总是有好多包没法从maven库下载。所以，这里讲的环境搭建直接使用了编译好的工程来做，heritrix-3.2.0-dist.tar.gz以及源码压缩包heritrix-3.2.0-src.tar.gz
具体方法如下：
新建java工程（非maven）
将heritrix-3.2.0-dist.tar.gz解压放到工程目录
添加源代码引用，使用heritrix-3.2.0-src ...
优化原因
环境中部署两个程序：
web应用 tomcat 10G（webservice服务端，前端web服务）
java应用 5G（webservice客户端，socket客户端）
之前的设计思路是打算web应用作为前端不做业务处理，后端使用webservice做能力接入。
1天能力处理量大概在150W次到两百万次左右：
并发数量web端口在12tps
应用端在20tps左右（能力聚合的时候可能会调用几个能力做聚合操作）。
jvm优化
之前的应用服务的启动参数
-Xss1024k -Xms1g -Xmx3g ...
由于archive.org屏蔽，编译完成版本
http://builds.archive.org/maven2/org/archive/heritrix/heritrix/3.2.0/ 无法下载。
现将dist版本放到github，方便大家下载学习
github地址如下：
https://github.com/xiamizy/heritrix-package
heritrix-3.2.0-dist.tar.gz
最近花很大的经历来做性能测试，把结果整理到了ppt中，可能有个别地方不准，但是可以看看一个趋势。
主要分为两部分，一部分是写入elasticsearch性能，一部分是查询测试，elasticsearch的查询性能。
当然在elasticsearch1.3.0之后elasticsearch会提供benchmark来评估服务器性能实用情况。
硬件配置
主机
cpu
mem
disk
system
192.168.32.243
POWER7 4228MHz*12
24G swap:1G
IBMsas 600G
Red Hat Enterprise Linux ...
最近对系统进行改造，发现在泛型实例初始化的时候，得不到想要的泛型。或者需要强制转换。
spring 4 开始支持泛型对象初始化，初始化方法如下：
注：使用配置文件的方法暂时还没有发现，下面是使用java annotation的方法：
package com.mitchz..toolkit.chain;
import java.util.List;
import java.util.Map;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.b ...
近期一直在折腾着elasticsearch，需要对硬件进行评估
大概几方面 内存 cpu 硬盘 网络。
iostat
vmstat
top
几个命令用了一堆，其实需要关注的几个点只要都列出来就可以了
[root@cloud-15 tsar-master]# tsar -l -i 1
Time ---cpu-- ---mem-- ---tcp-- -----traffic---- --sda--- --sr0--- ---load-
Time util util retran bytin by ...
最近对负载均衡进行搭建具体方法如下：
haproxy 修改部分(haproxy-cfg.cfg)
global
daemon
maxconn 4500
defaults
mode http
timeout connect 5000ms
timeout client 50000ms
timeout server 180000ms
stats enable
stats uri /stats
stats auth admin:linkag ...
最近需要对流量图进行重构，
<%@ page language="java" contentType="text/html; charset=UTF-8"
pageEncoding="UTF-8"%>
<%@ taglib prefix="s" uri="/struts-tags"%>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http ...