xiamizy
- 浏览: 92708 次
- 性别:
- 来自: 南京
-
博客专栏
-
-
spring framew...
浏览量：4954
最新评论
-
wangyh_87：
博主好，请问速率（百条/s）这个是怎么测出来的？最近也在测es ...
elasticsearch 性能测试 -
silent1：
明白了，这两个是独立的。Fsync实际上与ElasticSea ...
ElasticSearch大批量数据入库 -
silent1：
index.gateway.local.sync缺省是5秒，那 ...
ElasticSearch大批量数据入库 -
silent1：
谢谢！准备抄一遍。
ElasticSearch大批量数据入库 -
zhuchao_ko：
共勉 .
关于面试
文章列表
由于lucene需要一定的io读写顾安装iostat来对磁盘io进行监控
iostat 属于sysstat下的功能
git路径如下：https://github.com/sysstat/sysstat
第一步，需要下载该文件
http://sebastien.godard.pagesperso-orange.fr/download.html
第二部，则需要开始编译了，与其他程序安装相似
./configure
make && make install
安装完成后就可以使用了.
[root@gather11 home]# iostat -x 1 10
Lin ...
lucene的介绍网上有好多，再写一遍可能有点多余了。
使用lucene之前，有一系列的疑问
为什么lucene就比数据库快？
倒排索引是什么，他是怎么做到的
lucene的数据结构是什么样的，cpu消耗，内存消耗主要因为什么
lucene的索引流程以及查询流程是什么样的
推荐两篇文章，更进一步了解lucene
可以参考lucene与数据库对比部分
http://www.chedong.com/tech/lucene.html
可以参考第一篇和第二篇部分对lucene有一部分了解
http://blog.csdn.net/forfuture1978/article/d ...
今天接到阿里的电话面试了，接到的时候爸爸刚到南京。刚接到电话的时候听成面试，我还在犯嘀咕，不用电话面试直接要我去杭州了？后来才知道是电话面试，约好时间是三点。
三点的时候准时接到电话，这一点很 ...
用了近两个礼拜的摸索终于搭建好了hadoop集群，测试性能也符合预期。
centos6.4下hadoop2.3集群总结如下：
关于环境的设置：
1.关闭selinux （反复折腾了好多次）
vi /etc/selinux/config
SELINUX=disabled
2.关闭防火墙
service iptables status
service ip6tables status
service iptables stop
service ip6tables stop
c ...
为了安装hadoop废了好大的劲才把esxi5.5给装好。
同时装了centos6.5，由于hadoop里面有个免密码登陆所以这里讲的就是免密码登陆。
看了大家的博客文章发现转发的一部分，写ubuntu的一部分，写centos的又有一部分。
可能自己理解的程度有限，现把解决的部分问题列出来，供大家参考:
1.我装好了centos却发现没有网卡了，大家记住检查下：
vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
UUID=217b80bd-e082-4b3f-97b8-e73a0 ...
尝试在vmware workstation上安装hadoop，感觉太慢了。
好在家里的台式机配置还可以，所以就想在它上面虚拟出几台服务器出来。
台式机配置如下：
虚拟出来三个应该没问题了吧。
第一步，下载esix5.5（去官网上看是需要注册，然后就是无尽的等待）
网盘地址：
http://pan.baidu.com/s/1kTG5w0J
里面有个问题，就是针对realtek网卡不能支持
vmware esxi 5.5 install no network adapters were detected ...
参考http://www.bussink.ch/?p=1228 ...
最近着手处理大批量数据的任务。
现状是这样的，一个数据采集程序承载大批量数据的存储和检索。后期可能需要对大批量数据进行统计。
数据分布情况
13个点定时生成采集结果到4个文件（小文件生成周期是5分钟）
名称 大小（b）
gather_1_2014-02-27-14-50-0.txt 568497
gather_1_2014-02-27-14-50-1.txt 568665
gather_1_20 ...
看着文档感觉一头雾水，文档中一直教我该怎么编写代码，注意配置使用的细节，以及介绍功能，那到底该怎么用呢。github中的使用说明是针对git下载代码，再基于maven对版本进行构建。下代码各种折腾不如直接有个使用包，我只是想测试下dubbo到底是什么。
没资料，还是从群入手，找到了群共享，不知道哪位好心人提供了打包好的版本。
先从三个应用开始：
dubbo-demo-provider-2.5.3-assembly.tar.gz 消息提供者
dubbo-registry-simple-2.5.3-assembly.tar.gz 消息注册中心 ...
最近需要开发部门中某个大数据量的提取的功能，加到了一个ElasticSearch的群。在群里听说到一个框架叫dubbo，阿里系开源软件。听到群友谈的神乎其神的，什么什么功能切分多协议栈，高并发等等等。最最重要的一点，还有一个控制台，计数器。于是联想到了手头的一个功能的优化。现状是这样的：
功能高度冗余，新研发功能使用效率很低，所以在不停的新研发功能
功能集中到一份代码中，每次重新编译痛苦的不得了。
陈旧的代码维护度很低，不停的修修补补
想要避免这些遗留问题，也想了很多。要不困难度很高，要么修改过后更不理想。思前想后，决定拆分出来，看到dubbo之后感觉可以一用 ...
由于定时刷新程序的启用，导致catalina.out配置文件中打入大量日志，致使程序调试困难。
无法正常查看日志。所以客户要求将性能流量配置日志迁移出catalina.out目录。修改log4j配置文件后，发现
分文件中有了日志输出，但是，catalina.out文件中依然有性能流量日志输出。
原始配置方法如下：
log4j.logger.com.test.cao.snmpgather = INFO, snmpgather
log4 ...
近期需要一个汇总统计，由于数据太多，数据量太大所以在java程序中实现比较困难。若用后台程序统计，数据不能保证实时，同时实现周期比较长。顾使用函数返回结果集的方式，在不增加临时表的情况下实时获取数据。需求为：多个端口流量每五分钟累计汇总一次。如果用程序实现则为讲所有数据取出做每五分钟统计，元数据获取带来的数据量将是10万条以上。
在数据库中做汇总统计只需要24*12=288条记录。
具体实现方式如下：
/*打开日志输出*/
Set serveroutput on ;
/*创建类型*/
create or replace type type_flux_data ...
看了网上好多文章讲矩形排样，自己也想了很多。总结了一下：
1，矩形如何排列
目标矩形的1,2,3,4脚点可能分别排列3个不与目标矩形重叠的3个矩形。
2，判断待排列矩形与画面中其他矩形的关系
2.1 是否超出画面大小
2.2 是否与画面内其他矩形重叠
3，取最优解
模拟退火算法，遗传算法，可获得最优解
算法优化：
适合的解数量太多，导致程序执行效率不高。
准备增加线程的方式，来提高执行效率。
- 2011-04-02 14:20
- 浏览 739
- 评论(0)
用了3年的时间，想明白了，我该干什么。懒懒散散的过了3年，感觉什么都没得到。
什么叫享受生活，享受生活就是天天闲在那什么都不做。享受生活就是下班玩着魔兽，看看能不能多拿一件装备。结果什么都得不到，完全没有追求。 值得炫耀的大学中大家都在玩，但是我在那学java，我的目标是找到工作，但是当我找到工作的时候，发现我现在一点目标没有了，混日子等着下班。其他的什么事情都不管了。缺少了2个字 执着，不想过混吃等死的日子了，每天这样感觉多活一年，跟少活一年没区别。当不了富二代，我这样我的孩子，估计会混的更加痛苦。一边在骂这个社会，一边什么事情都不做。该改改了。
- 2011-03-26 23:23
- 浏览 479
- 评论(0)
转自 http://walsh.iteye.com/blog/314941
log4j.properties
log4j.rootLogger=DEBUG,CONSOLE,DATABASE,FILE
log4j.addivity.org.apache=true
# 应用于控制台
log4j.appender.CONSOLE=org.apache.log4j.ConsoleAppender
log4j.appender.CONSOLE.Threshold=INFO
log4j.appender.CONSOLE.Target=Syst ...
转载自 http://hiok.blog.sohu.com/66253191.html
applicationContext-datasource-jdbc.xml
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE beans PUBLIC "-//SPRING//DTD BEAN//EN" "http://www.springframework.org/dtd/spring-beans.dtd">
<beans ...