- 浏览: 15986 次
最新评论
-
jandyfish:
matianyi0307 写道您好,能问一下你的性能测试是用的 ...
storm性能测试文档 -
matianyi0307:
您好,能问一下你的性能测试是用的什么工具吗?十分感谢!
storm性能测试文档
文章列表
从13年初,开始搞hadoop的时候,是采用hadoop-eclipse插件来进行开发mapreduce,发现使用这个插件,其实也就是把相关的jar,class文件提交到远程的hadoop集群。
而实际上要部署应用的时候,如果不在远程提交,就得把任务代码打包成JAR,ftp到集群机器上进行执行。当然也可以在一个client机器上部署一套hadoop环境,把任务JAR放在这里,再提交到JobTracker。
对于想在web应用中触发远程mapreduce任务(或者是本地java应用触发远程mapreduce任务),就比较麻烦,上述插件方式/打包JAR后ftp也并不可取。
...
Storm性能测试方案与结果
1. 目的
测试twitter storm的运行性能以及数据处理的延迟。
2. 环境
2.1服务器A
Cpu型号 E3-1230 V2
Cpu核数 8
Cpu主频 3.30GHZ
Cpu MHZ 1600
内存 8G
网卡 千兆
带宽 千兆
IP
hostname Node0
service Nimbus,ui,supervisor
2.2服务器B
Cpu型号 E5620
Cpu核数 8
Cpu主频 2.40GHZ
Cpu MHZ 1600
内存 8G
网卡 千兆
带宽 千兆
IP
hostname ubuntu
Service Supervisor,zook ...
最近打算做日周月的质量分析报告,以便于发送给相应负责人查看质量现状。希望是可以生成pdf,并发送邮件的形式。
此处采用itext来进行实现,demo代码中,table定义以及表头如下代码所示:
public static Table getInitTable() throws DocumentException {
Table t = new Table(10, 2);
int width[] = { 50, 50,20,40, 80, 50, 50, 50, 50, 60 };
t.setWidths(width);
t.setWidth(100); // ...
在rsync同步数据后,因业务需要以及文件大小限制,需要对数据做增量分析,而每次都需要拿出文件的增量部分。
linux有差异计算命令diff以及补丁工具patch,都不是很符合预期。这两种工具都是需要对两个文件进行对比,而若如此做的话,其一计算增量耗时,其二需要有一个原数据的副本文件。多余的副本文件会导致额外的存储开销,以及数据移动成本。
又因同步过来的数据是多个application的数据,需要针对不同的app进行增量计算,提交给相应的计算任务。希望每次在rsync后直接做增量计算,这里就考虑到直接使用python脚本编写。
#! /usr/bin/env ...
在用spring定时任务时,配置如下:
<task:executor id="executor" pool-size="5" />
<task:scheduler id="scheduler" pool-size="10" />
<task:annotation-driven executor="executor" scheduler="scheduler" />
配置 ...