- 浏览: 147386 次
- 性别:
- 来自: 杭州
最新评论
-
luoshi0801:
重0.9.1开始就不需要了
jstorm -
java.jianan:
请问哪个版本开始 完全基于java, 不需要安装 zoreM ...
jstorm -
luoshi0801:
嗯,netty也是基于nio的,出于简单原则没有考虑过多依赖, ...
日志agent解决方案 -
cssuger:
建议使用NIO吧如果没有用过nio,使用netty网络通信组件 ...
日志agent解决方案 -
adofu:
赞!!的很
jstorm
文章列表
好的开源框架、工具应该广泛分享,不仅可以大大提高企业效率,反过来也能促进这些工具的优化升级~
自动化部署: rundeck
http://rundeck.org/
简单数据分析/报表工具: easyreport
https://github.com/xianrendzw/EasyReport/
层级
特征描述
技能
初级
能在一定的指导下完成日常工作。
1、程序设计和开发(I)2、工作中需用到的Java开发的技术点(I)3、工作中需用到的Web开发的技术点(I)4、工作中需要用到的数据库技术点(I)
中级
能独立完成日常工作,并能够对一些方案提出自己的建议。
1、程序设计和开发(II)2、工作中需用到的Java开发的技术点以及相关的其他技术点(II)3、工作中需用到的Web开发的技术点以及相关的其他技术点(II)4、工作中需要用到的数据库技术点以及相关的其他技术点(II)5、运维能力(I)
Java技术人员岗位模型 *I为了解;II为熟练;III为精通
岗位设置目的
岗位职责
初级工程师
中级工程师
高级工程师
资深工程师
架构师
项目管理
给自己的开发工作内容制定细分的的开发计划
√
logagent是部署在每台服务器上的一个deamon进程,起着日志数据的传输通道。对外提供http服务拉取日志,结构如下: 其中,
filter:请求过滤器,负责访问源解析统计,权限认证等
container:包含了正在访问的文件句柄集合,当日志滚动文件名变更发生时可以防止错误定位
handler:获取日志数据的处理器,采用偏移量随机读取的方式
storer:保存用户成功获取的文件位点信息
1.长链接 vs 短链接
http1.1默认支持长链接,避免重复建立连接带来的性能消耗。但长链接会占用系统资源,在大量请求时存在隐患,故选择 ...
redis3开始支持cluster集群模式,解决单点的瓶颈问题,本文以3.0.3为例搭建并测试cluster集群
搭建步骤
一.安装ruby
a) wget https://cache.ruby-lang.org/pub/ruby/2.2/ruby-2.2.3.tar.gz
b) tar -xvzf ruby-2.2.3.tar.gz
c) cd ruby-2.2.3
d) ./configure
...
Disruptor封装
- 博客分类:
- 开源框架
在数据交换场景,disruptor受到越来越多的欢迎。下面是将原生disruptor封装成queue模型的代码,供参考
抽象类Disruptor,提供pull、take等接口
import com.lmax.disruptor.EventHandler;
import com.lmax.disruptor.InsufficientCapacityException;
import com.lmax.disruptor.WaitStrategy;
import com.lmax.disruptor.dsl.ProducerType;
public abst ...
最近为公司整理了下技术编码规范,主要是统一下研发风格并从长远看提高整个团队的工作效率。如下:
一、Git工程
1.1 使用maven创建依赖工程,上传到公司git库http://10.1.xx.xx:8080/groups/koudai,初创者拥有owner权限,相关开发d ...
最近在公司调研消息中间件,参考metaq设计总结了需要focus的点
1 项目背景
消息队列作为中间件核心的产品,在电商平台体系中扮演着异构系统解耦、数据同步等极其重要的作用,目前公司采用了开源的rabbitMq,存在以下几个问题:
(1) erlang语言,学习成本高,出现问题难以把控,基本是黑盒
(2) 消息数据的完整性、实时性无法得到保障
(3) 不支持批量操作,吞吐量不高
(4) 对事务支持薄弱,难以使用
(5)
Jstorm是参考storm的实时流式计算框架,在网络IO、线程模型、资源调度、可用性及稳定性上做了持续改进,已被越来越多企业使用
作为commiter和user,我还是非常看好它的应用前景,下面是在团队内的分享介绍,更多请参考https://github.com/alibaba/jstorm
一、jstorm是什么
jstorm可以看作是storm的java增强版本,除了内核用纯java实现外,还包括了thrift、python、facet ui。从架构上看,其本质是一个基于zk的分布式调度系统
Jstorm主要应用场景有:
1.信息 ...
年初加入搜索组到现在快一年过去了,期间有幸经历了团队由小变大、系统从若变强的原始积累过程,回顾下走过来的技术体系,也算是年终总结
搜索支撑的业务线包括商品、店铺、订单、用 ...
solrcloud的xmind思维图
- 博客分类:
- java技术
基于solr4.9.0开源版本,恢复这块待完善。原始xmind可参考附件
http://dl2.iteye.com/upload/attachment/0093/6776/433dc11e-4df4-3776-b75d-e7f0f26d01f8.swf
groovy是基于JVM的一种敏捷动态语言,可以在不改动正在运行着程序的情况下为系统动态增加特性
方法一:通过类加载
import groovy.lang.Binding;
import groovy.lang.GroovyClassLoader;
import groovy.lang.Script;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.HashMap;
import java ...
hadoop如何封装shell脚本
- 博客分类:
- hadoop相关
package com.taobao.hsf.tlog.config.shell;
import java.io.BufferedReader;
import java.io.File;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.Map;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
abstract class Shell {
public static class She ...