luoshi0801
- 浏览: 147269 次
- 性别:
- 来自: 杭州
-
最新评论
-
luoshi0801：
重0.9.1开始就不需要了
jstorm -
java.jianan：
请问哪个版本开始 完全基于java， 不需要安装 zoreM ...
jstorm -
luoshi0801：
嗯，netty也是基于nio的，出于简单原则没有考虑过多依赖， ...
日志agent解决方案 -
cssuger：
建议使用NIO吧如果没有用过nio，使用netty网络通信组件 ...
日志agent解决方案 -
adofu：
赞！！的很
jstorm
文章列表
好的开源框架、工具应该广泛分享，不仅可以大大提高企业效率，反过来也能促进这些工具的优化升级~
自动化部署: rundeck
http://rundeck.org/
简单数据分析/报表工具: easyreport
https://github.com/xianrendzw/EasyReport/
层级
特征描述
技能
初级
能在一定的指导下完成日常工作。
1、程序设计和开发（I）2、工作中需用到的Java开发的技术点（I）3、工作中需用到的Web开发的技术点（I）4、工作中需要用到的数据库技术点（I）
中级
能独立完成日常工作，并能够对一些方案提出自己的建议。
1、程序设计和开发（II）2、工作中需用到的Java开发的技术点以及相关的其他技术点（II）3、工作中需用到的Web开发的技术点以及相关的其他技术点（II）4、工作中需要用到的数据库技术点以及相关的其他技术点（II）5、运维能力（I）
Java技术人员岗位模型 *I为了解；II为熟练；III为精通
岗位设置目的
岗位职责
初级工程师
中级工程师
高级工程师
资深工程师
架构师
项目管理
给自己的开发工作内容制定细分的的开发计划
√
logagent是部署在每台服务器上的一个deamon进程，起着日志数据的传输通道。对外提供http服务拉取日志，结构如下： 其中，
filter：请求过滤器，负责访问源解析统计，权限认证等
container：包含了正在访问的文件句柄集合，当日志滚动文件名变更发生时可以防止错误定位
handler：获取日志数据的处理器，采用偏移量随机读取的方式
storer：保存用户成功获取的文件位点信息
1.长链接 vs 短链接
http1.1默认支持长链接，避免重复建立连接带来的性能消耗。但长链接会占用系统资源，在大量请求时存在隐患，故选择 ...
redis3开始支持cluster集群模式，解决单点的瓶颈问题，本文以3.0.3为例搭建并测试cluster集群
搭建步骤
一.安装ruby
a) wget https://cache.ruby-lang.org/pub/ruby/2.2/ruby-2.2.3.tar.gz
b) tar -xvzf ruby-2.2.3.tar.gz
c) cd ruby-2.2.3
d) ./configure
...
Disruptor封装
- 博客分类：
- 开源框架
在数据交换场景，disruptor受到越来越多的欢迎。下面是将原生disruptor封装成queue模型的代码，供参考
抽象类Disruptor，提供pull、take等接口
import com.lmax.disruptor.EventHandler;
import com.lmax.disruptor.InsufficientCapacityException;
import com.lmax.disruptor.WaitStrategy;
import com.lmax.disruptor.dsl.ProducerType;
public abst ...
最近为公司整理了下技术编码规范，主要是统一下研发风格并从长远看提高整个团队的工作效率。如下：
一、Git工程
1.1 使用maven创建依赖工程，上传到公司git库http://10.1.xx.xx:8080/groups/koudai，初创者拥有owner权限，相关开发d ...
最近在公司调研消息中间件，参考metaq设计总结了需要focus的点
1 项目背景
消息队列作为中间件核心的产品，在电商平台体系中扮演着异构系统解耦、数据同步等极其重要的作用，目前公司采用了开源的rabbitMq，存在以下几个问题：
（1） erlang语言，学习成本高，出现问题难以把控，基本是黑盒
（2） 消息数据的完整性、实时性无法得到保障
（3） 不支持批量操作，吞吐量不高
（4） 对事务支持薄弱，难以使用
（5）
Jstorm是参考storm的实时流式计算框架，在网络IO、线程模型、资源调度、可用性及稳定性上做了持续改进，已被越来越多企业使用
作为commiter和user，我还是非常看好它的应用前景，下面是在团队内的分享介绍，更多请参考https://github.com/alibaba/jstorm
一、jstorm是什么
jstorm可以看作是storm的java增强版本，除了内核用纯java实现外，还包括了thrift、python、facet ui。从架构上看，其本质是一个基于zk的分布式调度系统
Jstorm主要应用场景有：
1.信息 ...
年初加入搜索组到现在快一年过去了，期间有幸经历了团队由小变大、系统从若变强的原始积累过程，回顾下走过来的技术体系，也算是年终总结
搜索支撑的业务线包括商品、店铺、订单、用 ...
solrcloud的xmind思维图
- 博客分类：
- java技术
基于solr4.9.0开源版本，恢复这块待完善。原始xmind可参考附件
http://dl2.iteye.com/upload/attachment/0093/6776/433dc11e-4df4-3776-b75d-e7f0f26d01f8.swf
groovy和java结合的常用两种使用方式
- 博客分类：
- java技术
groovy是基于JVM的一种敏捷动态语言，可以在不改动正在运行着程序的情况下为系统动态增加特性
方法一：通过类加载
import groovy.lang.Binding;
import groovy.lang.GroovyClassLoader;
import groovy.lang.Script;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.HashMap;
import java ...
hadoop如何封装shell脚本
- 博客分类：
- hadoop相关
package com.taobao.hsf.tlog.config.shell;
import java.io.BufferedReader;
import java.io.File;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.Map;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
abstract class Shell {
public static class She ...