- 浏览: 1337937 次
- 性别:
- 来自: 湖南澧縣
文章分类
最新评论
-
虾米小尹:
不行啊!2.2-0.25=1.9500000000000002 ...
JavaScript浮点数运算 —— 精度问题 -
heluping000000:
引用String a= "abc",首先在 ...
String,到底创建了多少个对象? -
mack:
谢谢分享matcher.appendReplacement(s ...
string.replaceAll()中的特殊字符($ \)与matcher.appendReplacement -
wzt3309:
完全理解,比网上其他资料都要详细
String,到底创建了多少个对象? -
u014771876:
Java中十六进制转换 Integer.toHexString()
从JDK 1.4开始,Java的标准库中就包含了NIO,即所谓的“New IO”。其中最重要的功能就是提供了“非阻塞”的IO,当然包括了Socket。NonBlocking的IO就是对select(Unix平台下)以及 WaitForMultipleObjects(Windows平台)的封装,提供了高性能、易伸缩的服务架构。
说来惭愧,直到JDK1.4才有这种功能,但迟到者不一定没有螃蟹吃,NIO就提供了优秀的面向对象的解决方案,可以很方便地编写高性能的服务器。
话说回来,传统的Server/Client实现是基于Thread per request,即服务器为每个客户端请求建立一个线程处理,单独负责处理一个客户的请求。比如像Tomcat(新版本也会提供NIO方案)、Resin等Web服务器就是这样实现的。当然为了减少瞬间峰值问题,服务器一般都使用线程池,规定了同时并发的最大数量,避免了线程的无限增长。
但这样有一个问题:如果线程池的大小为100,当有100个用户同时通过HTTP现在一个大文件时,服务器的线程池会用完,因为所有的线程都在传输大文件了,即使第101个请求者仅仅请求一个只有10字节的页面,服务器也无法响应了,只有等到线程池中有空闲的线程出现。
另外,线程的开销也是很大的,特别是达到了一个临界值后,性能会显著下降,这也限制了传统的Socket方案无法应对并发量大的场合,而“非阻塞”的IO就能轻松解决这个问题。
下面只是一个简单的例子:服务器提供了下载大型文件的功能,客户端连接上服务器的8088端口后,就可以读取服务器发送的文件内容信息了。注意这里的服务器只有一个主线程,没有其他任何派生线程,让我们看看NIO是如何用一个线程处理N个请求的。
NIO服务器最核心的一点就是反应器模式:当有感兴趣的事件发生的,就通知对应的事件处理器去处理这个事件(channel可操作时通知selector,然后程序可以轮询selector就可知道哪此channel可操作,selector好比观察者,一个selector可以注册多个channel,channel有事件发生时就会主动通知selector),如果没有,则不处理。所以使用一个线程做轮询就可以了。当然这里这是个例子,如果要获得更高性能,可以使用少量的线程,一个负责接收请求,其他的负责处理请求,特别是对于多CPU时效率会更高。
关于使用NIO过程中出现的问题,最为普遍的就是为什么没有请求时CPU的占用率为100%?出现这种问题的主要原因是注册了不感兴趣的事件,比如如果没有数据要发到客户端,而又注册了写事件(OP_WRITE),则在 Selector.select()上就会始终有事件出现,CPU就一直处理了,而此时select()应该是阻塞的。
另外一个值得注意的问题是:由于只使用了一个线程(多个线程也如此)处理用户请求,所以要避免线程被阻塞,解决方法是事件的处理者必须要即刻返回,不能陷入循环中,否则会影响其他用户的请求速度。
具体到本例子中,由于文件比较大,如果一次性发送整个文件(这里的一次性不是指send整个文件内容,而是通过while循环不间断的发送分组包),则主线程就会阻塞,其他用户就不能响应了。这里的解决方法是当有WRITE事件时,仅仅是发送一个块(比如4K字节)。发完后,继续等待WRITE事件出现,依次处理,直到整个文件发送完毕,这样就不会阻塞其他用户了。
服务器的例子:
import java.io.FileInputStream; import java.io.IOException; import java.net.InetAddress; import java.net.InetSocketAddress; import java.nio.ByteBuffer; import java.nio.CharBuffer; import java.nio.channels.ClosedChannelException; import java.nio.channels.FileChannel; import java.nio.channels.SelectionKey; import java.nio.channels.Selector; import java.nio.channels.ServerSocketChannel; import java.nio.channels.SocketChannel; import java.nio.charset.CharacterCodingException; import java.nio.charset.Charset; import java.nio.charset.CharsetDecoder; import java.util.Iterator; //测试文件下载的NIOServer public class NIOServer { // 处理与客户端的交互 private class HandleClient { protected FileChannel channel; protected ByteBuffer buffer; public HandleClient() throws IOException { //文件通道 this.channel = new FileInputStream(filename).getChannel(); //缓冲器 this.buffer = ByteBuffer.allocate(BLOCK); } public ByteBuffer readBlock() { try { //清除缓冲,准备写 buffer.clear(); //注,文件是什么样的编码方式,读出来的主就是什么样的编码流 int count = channel.read(buffer); //读准备 buffer.flip(); //读取的字节数,可能为零,如果该通道已到达流的末尾,则返回 -1 if (count < 0) { System.out.println("文件已读完..."); //读完后关闭文件通道 close(); //读完后反回null return null; } else if (count == 0) { System.out.println("未读取到文件内容,继续..."); } } catch (IOException e) { e.printStackTrace(); } return buffer; } public void close() { try { //关闭文件通道 channel.close(); System.out.println("文件通道已关闭..."); } catch (IOException e) { e.printStackTrace(); } } } static int BLOCK = 1024 * 4;//块大小 protected Selector selector;//选择器 protected String filename = "E:\\_\\nio\\src\\pg1\\NIOServer.java"; //大文件 protected ByteBuffer clientBuffer = ByteBuffer.allocate(BLOCK);// protected CharsetDecoder decoder;//字符集解码器 public NIOServer(int port) throws IOException { selector = this.getSelector(port); //UTF-8字符集 Charset charset = Charset.forName("UTF-8"); decoder = charset.newDecoder(); } // 获取Selector protected Selector getSelector(int port) throws IOException { //打开服务器套接字通道 ServerSocketChannel server = ServerSocketChannel.open(); //打开一个选择器 Selector sel = Selector.open(); //把通道绑定到指定的IP与端口上 server.socket().bind(new InetSocketAddress(InetAddress.getLocalHost(), port)); //调整此通道的阻塞模式为异步 server.configureBlocking(false); //向指定的选择器注册此通道,感兴趣事件为套接字接受操作 server.register(sel, SelectionKey.OP_ACCEPT); return sel; } // 监听端口 public void listen() { while (true) { //已更新其准备就绪操作集的键的数目,该数目可能为零 try { if (selector.select() == 0) { continue; } } catch (IOException e1) { e1.printStackTrace(); } Iterator iter = selector.selectedKeys().iterator(); while (iter.hasNext()) { SelectionKey key = (SelectionKey) iter.next(); iter.remove();//处理后删除 try { handleKey(key); } catch (IOException e) { HandleClient handle = (HandleClient) key.attachment(); if (handle != null) { handle.close(); } key.cancel(); e.printStackTrace(); } } } } // 处理事件 protected void handleKey(SelectionKey key) throws IOException { if (key.isAcceptable()) { // 接收请求 doAccept(key); } else if (key.isReadable()) { // 读信息 doRead(key); } else if (key.isWritable()) { // 写事件 doWrite(key); } } private void doWrite(SelectionKey key) { //检索当前key的附加对象 SocketChannel channel = (SocketChannel) key.channel(); HandleClient handle = (HandleClient) key.attachment(); //从大文件中读取一小块再发往客户端 ByteBuffer block = handle.readBlock(); //如果读到了数据,则发往客户端 if (block != null) { try { if (block.limit() > 0) { channel.write(block); } } catch (IOException e) { //客户端通道出现异常,关闭客户端通道 try { channel.close(); System.out.println("客户羰通道异常,通道关闭..."); handle.close(); } catch (IOException e1) { e1.printStackTrace(); } e.printStackTrace(); } } else {//如果数据读完 try { //handle.close(); //读完文件后关闭所对应的客户端通道 channel.close(); System.out.println("文件读完,客户端通道关闭..."); } catch (IOException e) { e.printStackTrace(); } } } private void doRead(SelectionKey key) throws IOException, CharacterCodingException, ClosedChannelException { SocketChannel channel = (SocketChannel) key.channel(); //读取的字节数,可能为零,如果该通道已到达流的末尾,则返回 -1 int count = channel.read(clientBuffer); //如果读到数据 if (count > 0) { //准备读 clientBuffer.flip(); //使用字符解码器解码缓冲中的字节内容 CharBuffer charBuffer = decoder.decode(clientBuffer); System.out.println("Client >>" + charBuffer.toString()); //读到客户端内容后,注册可写事件,后面可以向客户端写数据 SelectionKey wKey = channel.register(selector, SelectionKey.OP_WRITE); //将给定的对象附加到此键。 之后可通过 attachment 方法检索已附加的对象。一次只能附加一个对象; //调用此方法会导致丢弃所有以前的附加对象。通过附加 null 可丢弃当前的附加对象。 wKey.attach(new HandleClient()); } else if (count < 0) { channel.close(); System.out.println("读取客户端数据异常,通道关闭..."); } else { System.out.println("未读取到数据..."); } clientBuffer.clear(); } private void doAccept(SelectionKey key) throws IOException, ClosedChannelException { ServerSocketChannel server = (ServerSocketChannel) key.channel(); //接收新连接的套接字通道,或者如果此通道处于非阻塞模式并且没有要接受的可用连接,则返回 null SocketChannel channel = server.accept(); if (channel == null) { return; } System.out.println("已发现一个客户端..."); //异步非阻塞客户端通道 channel.configureBlocking(false); //准备读 channel.register(selector, SelectionKey.OP_READ); //判断此通道上是否正在进行连接操作 if (channel.isConnectionPending()) { //完成套接字通道的连接过程 channel.finishConnect(); } } public static void main(String[] args) { int port = 8088; try { NIOServer server = new NIOServer(port); System.out.println("Listernint on " + port); while (true) { server.listen(); } } catch (IOException e) { e.printStackTrace(); } } }
该代码中,通过一个HandleClient来获取文件的一块数据,每一个客户都会分配一个HandleClient的实例。
下面是客户端请求的代码,也比较简单,模拟100个用户同时下载文件。然后将文件保存.
import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io.OutputStreamWriter; import java.net.InetAddress; import java.net.InetSocketAddress; import java.nio.ByteBuffer; import java.nio.CharBuffer; import java.nio.channels.SelectionKey; import java.nio.channels.Selector; import java.nio.channels.SocketChannel; import java.nio.charset.CharacterCodingException; import java.nio.charset.Charset; import java.nio.charset.CharsetDecoder; import java.nio.charset.CharsetEncoder; import java.util.Iterator; //模拟文件下载客户端 public class NIOClient { static int SIZE = 100; //编码器 static CharsetEncoder encoder = Charset.forName("UTF-8").newEncoder(); //解码器 static CharsetDecoder decoder = Charset.forName("UTF-8").newDecoder(); static class Download implements Runnable { protected int index;//当前线程编号 public Download(int index) { this.index = index; } public void run() { try { long start = System.currentTimeMillis(); //打开一个套接字通道 SocketChannel client = SocketChannel.open(); //通道使用非阻塞模式 client.configureBlocking(false); // 打开一个选择器 Selector selector = Selector.open(); //注册与服务器连接上的事件 client.register(selector, SelectionKey.OP_CONNECT); //连接此通道的套接字 client.connect(new InetSocketAddress(InetAddress.getLocalHost(), 8088)); //这里我们分三次才能读完服务器每次发过来的包 ByteBuffer buffer = ByteBuffer.allocate(40); //接收服务器发过来的文件二进制内容,要全部接收到后解码,不然会出现乱码 byte[] fileContentBin = new byte[1024*1024*2]; int total = 0; boolean flag = true; while (flag) { //已更新其准备就绪操作集的键的数目,该数目可能为零 if (selector.select() == 0) { continue; } Iterator iter = selector.selectedKeys().iterator(); while (iter.hasNext()) { SelectionKey key = (SelectionKey) iter.next(); iter.remove(); SocketChannel channel = (SocketChannel) key.channel(); if (key.isConnectable()) {//如果连上了服务器 //判断此通道上是否正在进行连接操作 if (channel.isConnectionPending()) { //完成套接字通道的连接过程 //channel.finishConnect(); } //与服务器连接上后向服务器发UTF-8的送消息,这里要注意的是,我们只需向服务器端发送一次 //消息,所以这里就直接发送了,而没有采用注册感兴趣的事件机制 channel.write(encoder.encode(CharBuffer.wrap("你好 from " + index))); //关注此通道上的可读写操作 channel .register(selector, SelectionKey.OP_READ | SelectionKey.OP_WRITE); } else if (key.isReadable()) {//通道上有数据可读时 //读取的字节数,可能为零,如果该通道已到达流的末尾,则返回 -1 int count = channel.read(buffer); while (count > 0) { //System.out.println("count1===" + count); buffer.flip(); buffer.get(fileContentBin, total, count); total += count; buffer.clear(); count = channel.read(buffer); } //System.out.println("count2===" + count); if (count == -1) { System.out.println("通道异常,关闭..."); client.close(); flag = false; //此处flag为最外面的for循环的终止标记 } if (count == 0) { //System.out.println("未读到内容,继续..."); } } else if (key.isWritable()) {//可以向通道写数据时 //与服务器连接上后向服务器发UTF-8的送消息, channel.write(encoder.encode(CharBuffer.wrap("你好 from " + index))); //发送信息后去掉写事件 key.interestOps(SelectionKey.OP_READ); } } } try { OutputStreamWriter ow = new OutputStreamWriter(new FileOutputStream(new File( "e:/tmp/" + this.index + ".txt")), "UTF-8"); //注:这里一定要等文件读完后解码,不然会出现异常,因为这是从网络流中读取的,可能一个字符的编码还没有补完全传过来,所以最 //好等文件全传过来后一起解码,当然也可以读一部分解一部分,但要判断是否是完整的流,较烦 ow.write(decoder.decode(ByteBuffer.wrap(fileContentBin, 0, total)).toString()); ow.close(); } catch (CharacterCodingException e) { e.printStackTrace(); } double last = (System.currentTimeMillis() - start) * 1.0 / 1000; System.out.println("Thread " + index + " downloaded " + total + "bytes in " + last + "s."); } catch (IOException e) { e.printStackTrace(); } } } public static void main(String[] args) throws IOException { for (int index = 0; index < SIZE; index++) { new Thread(new Download(index)).start(); } } }
发表评论
-
Java正则表达式
2014-03-14 10:16 1766Java正则表达式详解 作者:jzj 文 ... -
类的初始化与清理
2013-06-24 22:20 1456初始化时内存清零 当创建一个对象时,首先将在堆上为这个对象分 ... -
protected,这个错了吗?
2013-06-24 22:17 1251这几天对protected修饰符有点迷糊,随便找同事要了一本 ... -
Java中BigDecimal的8种舍入模式
2013-06-21 18:42 2185java.math.BigDecimal不可变的、任意精度的 ... -
Tomcat性能参数设置
2010-12-27 15:35 34802默认参数不适合生产环境使用,因此需要修改一些参数 1、 ... -
Java 6 JVM参数选项大全
2010-12-14 11:16 1638http://kenwublog.com/docs/java6 ... -
对象的安全构造
2013-06-21 18:43 1546在构造期间,不要公布“this”引用 一种可以将数据争用引 ... -
Java断言(assert)—— 转
2010-06-20 10:36 12101一、概述 在C和C++语言中都有assert关键,表示断言。 ... -
eclipse调试
2010-06-04 00:11 8083eclipse远程调试 在eclipse3.4前,远程调试时 ... -
protected,你真的理解了吗?
2010-05-09 17:56 2150Java中的访问控制修饰符有四个级别,但属protected最 ... -
利用反射进行深层克隆
2010-05-05 21:02 3670最近在看《effective java ... -
类与类之间的几种关系
2010-05-03 13:49 2419类和类、类和接口、接 ... -
运行java
2010-05-03 13:47 1054用javac命令编译一个打包的类时,如果没有加参数" ... -
Java内存模型与volatile
2010-04-25 13:21 18799内存模型描述的是程序 ... -
中断线程
2010-04-24 21:19 8998中断线程 线程的thread.i ... -
java中的关键字、保留字、标示符
2010-04-07 23:48 3377关键字 Java的关键字对java的编译器有特殊的意义, ... -
Java中的浮点数剖析
2010-04-07 23:27 4724定点数表达法的缺点在于其形式过于僵硬,固定的小数点位置决定了固 ... -
线程间的同步与互斥
2010-03-23 21:29 2305线程间的同步(实指线程间的通信):一般来说,一个线程相对于另 ... -
UTF-16、UTF-16BE、UTF-16LE编码方式的区别
2010-03-23 21:20 9824import java.io.IOException; ... -
final、finally、finalize
2010-01-22 01:15 2430final关键字 先看看final关键字,它可以被用于以下几个 ...
相关推荐
内容来源于网络分享,如有侵权请联系我删除。另外如果没有积分的同学需要下载,请私信我。
深圳建设施工项目安全生产奖惩管理制度
离散数学课后题答案+sdut往年试卷+复习提纲资料
04741计算机网络原理 2018(尚德).pdf 13年试题(2套).pdf 2015年10月自考计算机网络原理04741试题及答案解析.docx 2021年4月自考04741计算机网络原理真题及答案.docx 2021年4月自考04741计算机网络原理试卷.bak.docx 计算机网络原理 课后题答案 全 李全龙版 自考04741.zip.zip 计算机网络原理课件 计算机网络原理课件.rar
C++实现rpc,全程手写
前端拿到的列表数据里id都一样的处理办法.txt
最新仿720云全景制作源码|krpano仿720云全景网站源码(新增微信支付+打赏+场景红包等)是一款基于php+mysql开发制作的全景在线制作网站源码,包含全景图片,全景视频等。数据存储全部存于OSS云端或本地,源码完全开源可自行二次开发。 环境要求:PHP5.5.X+MYSQL5.6.X+伪静态 熟悉linux系统推荐使用LAMP,web服务器最好使用apache,不要使用nginx(发布大全景图需要时间可能需要20多分钟, nginx超时机制不好控制)。 Windows系统推荐使用phpstudy。Liunx推荐宝塔控制面板apache 前端为HTML5开发,自适应手机版! 1、支持VR虚拟现实、全景视频、环物全景、说一说、点赞评论、重力感应、智能视频嵌入、场景切换热点、加载进度条、 地图导航、光晕flash特效、物体全景嵌入、场景自播、场景解说、雷达导航等业内前沿功能。 2、支持windows、Linux、Mac、安卓、IOS等几乎所有的系统观看。支持CDN图片转存,极大的减轻的服务器流量费用。 3、支持用户权限分配。方便会员制收费。
YOLO系列算法目标检测数据集,包含标签,可以直接训练模型和验证测试,数据集已经划分好,包含数据集配置文件data.yaml,适用yolov5,yolov8,yolov9,yolov7,yolov10,yolo11算法; 包含两种标签格:yolo格式(txt文件)和voc格式(xml文件),分别保存在两个文件夹中,文件名末尾是部分类别名称; yolo格式:<class> <x_center> <y_center> <width> <height>, 其中: <class> 是目标的类别索引(从0开始)。 <x_center> 和 <y_center> 是目标框中心点的x和y坐标,这些坐标是相对于图像宽度和高度的比例值,范围在0到1之间。 <width> 和 <height> 是目标框的宽度和高度,也是相对于图像宽度和高度的比例值; 【注】可以下拉页面,在资源详情处查看标签具体内容;
环境监测系统源代码全套技术资料.zip
Matlab领域上传的视频均有对应的完整代码,皆可运行,亲测可用,适合小白; 1、代码压缩包内容 主函数:main.m; 调用函数:其他m文件;无需运行 运行结果效果图; 2、代码运行版本 Matlab 2019b;若运行有误,根据提示修改;若不会,私信博主; 3、运行操作步骤 步骤一:将所有文件放到Matlab的当前文件夹中; 步骤二:双击打开main.m文件; 步骤三:点击运行,等程序运行完得到结果; 4、仿真咨询 如需其他服务,可私信博主; 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作
四轮转向系统横摆角速度控制simulink仿真模型,利用滑模控制算法,基于八自由度车辆模型,控制有比较好的效果,附参考说明。
YOLO系列算法目标检测数据集,包含标签,可以直接训练模型和验证测试,数据集已经划分好,包含数据集配置文件data.yaml,适用yolov5,yolov8,yolov9,yolov7,yolov10,yolo11算法; 包含两种标签格:yolo格式(txt文件)和voc格式(xml文件),分别保存在两个文件夹中,文件名末尾是部分类别名称; yolo格式:<class> <x_center> <y_center> <width> <height>, 其中: <class> 是目标的类别索引(从0开始)。 <x_center> 和 <y_center> 是目标框中心点的x和y坐标,这些坐标是相对于图像宽度和高度的比例值,范围在0到1之间。 <width> 和 <height> 是目标框的宽度和高度,也是相对于图像宽度和高度的比例值; 【注】可以下拉页面,在资源详情处查看标签具体内容;
02142数据结构导论历年真题及答案(2012-2018共13套).rar 02331数据结构历年真题共267页2009.10-2019.4.rar 24数据结构201704_8.pdf 25数据结构201710_10.pdf 26数据结构201804_11.pdf 27数据结构201810_9.pdf 全国2021年04月高等教育自学考试02331数据结构试题及答案.docx 全国2022年04月高等教育自学考试02331数据结构试题及答案.docx 数据结构-课件.rar 第l六讲.ppt 第一讲.ppt 第七讲.ppt 第三讲.ppt 第九讲.ppt 第二讲.ppt 第五讲.ppt 第八讲.ppt 第四讲.ppt
验收确认单表格.docx
内存搜索工具(易).rar
饮食管理系统项目源代码全套技术资料.zip
【项目简介】 代码主干网络采用Swin-Transformer 家族系列,包括【tiny、small、base】三种模型。pretrained和freeze_layers参数为是否采用官方预训练模型和是否仅训练分类头。为了做对比消融试验,优化器采用了Adam和SGD、AdamW三种。损失函数采用多类别的交叉熵、学习率优化策略采用cos余弦退火算法 【评估网络】 评估的指标采用loss和准确率(accuracy),分别会在训练集和验证集上进行评估、输出、绘制曲线图像。同时会在训练集、验证集进行一系列评估,包含混淆矩阵、recall、precision、F1 score等等曲线图像,以及recall、precision、F1 score、特异度的输出信息等等。 【具体各类别的指标在json文件中查看】 【如果想要更换数据集训练,参考readme文件】 【本项目为8种番茄病害图片(约4k张数据),包含数据集和标签,可以一键运行】
windows电脑下载OpenHarmony鸿蒙命令行工具hdc_std。内容来源于网络分享,如有侵权请联系我删除。另外如果没有积分的同学需要下载,请私信我。
本项目可以作为小程序毕设项目,主要功能为音乐播放器,主要功能是:可以播放歌曲(采用mp3网络连接实现)、专辑封面播放时可以旋转,能够实现开始和暂停播放,可以点击下一首歌曲,主页面实现动态轮播图
考研学习分享功能的描述可以涵盖以下几个主要模块,旨在为考研学生提供一个互动、资源共享、经验交流的平台: 1. 用户注册与个人信息管理 学生可以通过邮箱或手机号注册账户,填写个人信息,如姓名、专业、目标院校等。 用户可设置学习目标和进度,方便记录自己的学习历程。 2. 学习资料共享 用户可以上传、下载考研相关学习资料,如教材、真题、笔记、复习计划等。 提供文件分类功能,按学科、院校、难度等进行整理,方便用户查找。 支持多种文件格式,如PDF、Word、Excel、图片等。 3. 复习经验分享 学生可以发布自己的复习经验文章,分享复习方法、备考心得、时间管理技巧等。 提供文章评论和互动功能,其他学生可以点赞、评论、提问,促进经验交流。 设置专栏或专题,帮助学生快速找到自己感兴趣的复习内容。 4. 考研小组与社交功能 学生可以创建或加入学习小组,组内成员可共享资料、讨论问题、互相鼓励。 提供私信、群聊功能,方便学员在小组内进行实时讨论和交流。 支持设置小组学习目标和定期检查进度,增加学习动力。 5. 在线课程与讲座 提供考研各科目(如英语、数学、政治等)的在线课程资源,用户可以报名参加。