如何构建一个基于netty的后端服务器

 

如何构建一个基于netty的后端服务器，先打个标题

 

直接上干货，这个是前奏，比较山寨的实现，大家可先自行看下

https://github.com/xiaotutiger/miyue-music-service/tree/master/miyue-music-service

 

下面将分析手头上一个项目，运用的技术很全，值得学习，先做一个简单介绍，当然业务部分代码就不讲了。

整个工程采用maven来管理，主要的技术是spring+jedis+netty+disruptor.看这个组合，这个服务器端性能应该很不错。

 

这个工程又引发我对技术无限热爱 ，哈哈。

 

这个工程，目前主要是针对一些基于json/xml/text格式的请求，同时也是支持标准手机请求的，当然，可以自定义一些其他格式或者pc端的请求，而且针对不同URI，后面挂了不同的handler,这些可能都是一些web处理的基本思想，只是脱离了常规的web容器或者应用服务器。

 

xml工具采用xstram来处理，两个字，方便。

json工具采用jackson\不知道和业界出名的fastjson\gson\sf.json有何区别，待鉴定。

 

客户端的请求，统一继承ClientRequestModel，经过编码统一转化为domainMessage，交由disruptor来处理，其实oop里什么继承，实现，封装思想，大部分都在围绕一个东西在走，一句话，把看似各有棱角的东西如何转化为共同的东西，求同存异啊（比如，水，石头，空气等，如果在这一层，我们没法统一用一个特征来表示，我们可以先把它转化为分子，那是不是可以用同一个东西来表示呢？如何高度抽象封装，这真是一门艺术）。

 

看这个工程对客户端请求，是如何一步步处理的，message->request->event 交由disruptor来处理，很美妙的思想。在了解这些之前，我们有必要深入学习一下disruptor,很特别的一个框架，宣言很牛逼，中文文档在这里（http://ifeve.com/dissecting-disruptor-whats-so-special/），E文好的同学请移步到这里（http://mechanitis.blogspot.com/2011/06/dissecting-disruptor-whats-so-special.html）

 

了解disruptor之前，先学习下ringbuffer是如何实现的？

1、ringbuffer的特别之处：

 只有一个指针，没有尾指针，基于数组，且不会删除元素，元素会覆盖，充分利用缓存行，减少垃圾回收。

2、如何从ringbuffer读取数据：

 

------------------------------------------2013-9-9 补充-----------------------------------------------------

下面主要讲一下请求如何处理这块架构吧，其实架构这个东西，说简单一点，就是一种简单可扩展的实现方式，在某些程度上，不要太在意性能。

 

底层通信建立在netty之上，基本没做任何改动

 

public class HttpServerPipelineFactory implements ChannelPipelineFactory {
    private ChannelUpstreamHandler channelUpstreamHandler;

    public ChannelPipeline getPipeline() throws Exception {
        // Create a default pipeline implementation.
        ChannelPipeline pipeline = pipeline();

        // Uncomment the following line if you want HTTPS
        //SSLEngine engine = SecureChatSslContextFactory.getServerContext().createSSLEngine();
        //engine.setUseClientMode(false);
        //pipeline.addLast("ssl", new SslHandler(engine));

        pipeline.addLast("decoder", new HttpRequestDecoder());
        // Uncomment the following line if you don't want to handle HttpChunks.
        pipeline.addLast("aggregator", new HttpChunkAggregator(1048576));
        pipeline.addLast("encoder", new HttpResponseEncoder());
        // Remove the following line if you don't want automatic content compression.
        pipeline.addLast("deflater", new HttpContentCompressor());
        //pipeline.addLast("handler", new HttpRequestHandler());
        pipeline.addLast("handler", channelUpstreamHandler);
        return pipeline;
    }

    public void setChannelUpstreamHandler(ChannelUpstreamHandler channelUpstreamHandler) {
        this.channelUpstreamHandler = channelUpstreamHandler;
    }
}

 

   相关spring配置

   

<bean id="httpServerPipelineFactory" class="com.yunchao.cm.network.http.HttpServerPipelineFactory">
        <property name="channelUpstreamHandler" ref="httpRequestHandler"/>
    </bean>

   

<bean id="httpRequestHandler" class="com.yunchao.cm.network.http.HttpRequestHandler">
        <property name="urlMaps">
            <map>
                <entry key="/payorder">
                    <ref bean="payOrderCodecFactory"/>
                </entry>
                <entry key="/question">
                    <ref bean="questionCodecFactory"/>
                </entry>
                <entry key="/sms">
                    <ref bean="smsCodecFactory"/>
                </entry>

   代码太多，不全部贴出来，后面整理一下放到我的github上去。

 

   基如此，我们还是得定义一个handler，继承simpleChannelUpstreamHander，并重写了messageReceied方法，具体在这里。

QueryStringDecoder queryStringDecoder = new QueryStringDecoder(request.getUri());
        String url = queryStringDecoder.getPath();

        CodecFactory codecFactory = urlMaps.get(url);


        if (null == codecFactory) {
            logger.error("unsupported url:{} request.", url);
            //sendError(ctx, BAD_REQUEST);
            e.getChannel().close();
            return;
        }

        //获取cmwap网络中的手机号码
        String phone = PhoneUtils.getPhone(request.getHeader("x-up-calling-line-id"));

        if (request.getMethod().equals(HttpMethod.POST)) {
            ChannelBuffer content = request.getContent();
            String postParams = content.toString(CharsetUtil.UTF_8);

            logger.debug("request content:{}", postParams);

            ClientRequestModel model = (ClientRequestModel) codecFactory.decode(postParams);
            model.setProperty(model.MESSAGE_EVENT_KEY, e);
            model.setProperty(model.HTTP_REQUEST_KEY, request);
            model.setProperty(model.HTTP_PHONE_KEY, phone);

            InetSocketAddress remoteAddress = (InetSocketAddress) e.getRemoteAddress();
            model.setProperty(model.IP_KEY, remoteAddress.getAddress().getHostAddress());

            logger.info("user request model:{}", model);

            model.fireSelf();

    

@Override
    public DomainMessage fireSelf() {
        DomainMessage em = new DomainMessage(this);
        EventUtils.fireEvent(em, "alipayNotifyState");
        return em;
    }

 

  看到这里基本上能够清楚了，是如何把客户端请求包装成ClientRequestModel了，且后面涉及到处理的对象，全部继承它，在整个架构之中，has a 优于 is a，对于客户端netty的一些对象，也是存储在ClientRequestModel中，codec无非也是采用了xml/json/kv，如斯，实现了字节与对象之间的转换。

 

除此之外，突然想到刚来杭州工作的第一家公司，基于此，采用的架构师servlet充当服务器，因为这是一个公司内部的server,而不是一个平台，采用的数据格式也比较单一，就是xml，但是采用的外部类库也是xstream来处理的，但是整个系统维持的日调用量也是在百万级别，运用的client则是采用httpclient，对于不同请求后面挂的handler，是在容器启动时加载到内存中，其余也没有什么亮点了。

 

 

   

 

 

 

 

 

 

 

 

 

 

 

 

 

评论

7 楼 小灯笼 2018-06-06  

Netty源码剖析视频教程
网盘地址：https://pan.baidu.com/s/1MFV_uq4PvdPHdrOJpuLFIA 密码: h3if
备用地址（腾讯微云）：http://url.cn/5R2xYI4 密码：OmbopD

6 楼 kongdong88 2017-08-16  

Netty简单应用与线上服务器部署
课程学习地址：http://www.xuetuwuyou.com/course/198
课程出自学途无忧网：http://www.xuetuwuyou.com

一、开发环境
4.1.11.Final 
jdk1.8
maven 3.2
Spring 4.3.9


二、适合人群
①想深入学习java ClassLoader
②想在线上linux服务器上运行netty或Springboot服务

三、课程目标
①掌控ClassLoader
②学会编写shell脚本
③了解jvm内存分配
④熟悉线上服务器部署


四、课程目录
1、系统架构技术介绍
2、netty服务器编写
3、netty的编码和解码
4、Netty客户端编写
5、与spring整合
6、netty服务器待解决的问题
7、Classloader类加载器
8、自定义类加载器
9、第二种类加载器
10、热部署
11、类加载器加载外部配置文件
12、项目运行时加载依赖jar
13、项目运行时加载依赖jar第二种方案
14、linux服务器编写通用shell脚本启动JVM
15、优化Shell脚本
16、Shell脚本中加上JVM堆栈内存参数以及垃圾回收机制



Netty课程整合推荐：

Netty简单应用与线上服务器部署
课程观看地址：http://www.xuetuwuyou.com/course/198

深入浅出Netty源码剖析
课程观看地址：http://www.xuetuwuyou.com/course/157

Netty实战高性能分布式RPC
课程观看地址：http://www.xuetuwuyou.com/course/171

NIO+Netty5各种RPC架构实战演练
课程观看地址：http://www.xuetuwuyou.com/course/52

物联网核心技术之Netty入门到精通课程
课程观看地址：http://www.xuetuwuyou.com/course/14

Netty三部曲，夜行侠老师带你玩转netty
课程观看地址：http://www.xuetuwuyou.com/course/175

Netty物联网高并发系统第一季
课程观看地址：http://www.xuetuwuyou.com/course/178
17、Netty服务器加上配置信息

5 楼 zjwpw 2016-12-13  

楼主GitHub地址呢

4 楼 l_rambo 2016-01-29  

有Github的地址吗？

3 楼 icmilyc 2015-04-29  

楼主，请问下你的Github ID是什么？强烈欲望观摩下您的代码

2 楼 ivoter 2014-05-27  

   一直想这么架构个 用户中心。
前台使用（netty）接受用户验证请求。
服务层使用diruptor做业务并发处理。
数据库使用mysql（redis数据缓存） 读写分离、定时缓存。
spring管理依赖注入。

貌似netty不适用tomcat这类的web服务器啊，直接使用http连接了。

1 楼 xiaotuTiger 2014-03-31  

楼主 你是我的马甲还是替身？怎么做的项目和我的一样 还引用了我的github 神了