`
jandyfish
  • 浏览: 15986 次
社区版块
存档分类
最新评论
文章列表
    从13年初,开始搞hadoop的时候,是采用hadoop-eclipse插件来进行开发mapreduce,发现使用这个插件,其实也就是把相关的jar,class文件提交到远程的hadoop集群。     而实际上要部署应用的时候,如果不在远程提交,就得把任务代码打包成JAR,ftp到集群机器上进行执行。当然也可以在一个client机器上部署一套hadoop环境,把任务JAR放在这里,再提交到JobTracker。     对于想在web应用中触发远程mapreduce任务(或者是本地java应用触发远程mapreduce任务),就比较麻烦,上述插件方式/打包JAR后ftp也并不可取。   ...
Storm性能测试方案与结果 1. 目的 测试twitter storm的运行性能以及数据处理的延迟。 2. 环境 2.1服务器A Cpu型号 E3-1230 V2 Cpu核数 8 Cpu主频 3.30GHZ Cpu MHZ 1600 内存 8G 网卡 千兆 带宽 千兆 IP hostname Node0 service Nimbus,ui,supervisor 2.2服务器B Cpu型号 E5620 Cpu核数 8 Cpu主频 2.40GHZ Cpu MHZ 1600 内存 8G 网卡 千兆 带宽 千兆 IP hostname ubuntu Service Supervisor,zook ...
  最近打算做日周月的质量分析报告,以便于发送给相应负责人查看质量现状。希望是可以生成pdf,并发送邮件的形式。   此处采用itext来进行实现,demo代码中,table定义以及表头如下代码所示:   public static Table getInitTable() throws DocumentException { Table t = new Table(10, 2); int width[] = { 50, 50,20,40, 80, 50, 50, 50, 50, 60 }; t.setWidths(width); t.setWidth(100); // ...
    在rsync同步数据后,因业务需要以及文件大小限制,需要对数据做增量分析,而每次都需要拿出文件的增量部分。     linux有差异计算命令diff以及补丁工具patch,都不是很符合预期。这两种工具都是需要对两个文件进行对比,而若如此做的话,其一计算增量耗时,其二需要有一个原数据的副本文件。多余的副本文件会导致额外的存储开销,以及数据移动成本。     又因同步过来的数据是多个application的数据,需要针对不同的app进行增量计算,提交给相应的计算任务。希望每次在rsync后直接做增量计算,这里就考虑到直接使用python脚本编写。     #! /usr/bin/env ...
在用spring定时任务时,配置如下: <task:executor id="executor" pool-size="5" /> <task:scheduler id="scheduler" pool-size="10" /> <task:annotation-driven executor="executor" scheduler="scheduler" /> 配置 ...
Global site tag (gtag.js) - Google Analytics