- 浏览: 2651895 次
- 来自: 杭州
文章分类
- 全部博客 (1188)
- webwork (4)
- 网摘 (18)
- java (103)
- hibernate (1)
- Linux (85)
- 职业发展 (1)
- activeMQ (2)
- netty (14)
- svn (1)
- webx3 (12)
- mysql (81)
- css (1)
- HTML (6)
- apache (3)
- 测试 (2)
- javascript (1)
- 储存 (1)
- jvm (5)
- code (13)
- 多线程 (12)
- Spring (18)
- webxs (2)
- python (119)
- duitang (0)
- mongo (3)
- nosql (4)
- tomcat (4)
- memcached (20)
- 算法 (28)
- django (28)
- shell (1)
- 工作总结 (5)
- solr (42)
- beansdb (6)
- nginx (3)
- 性能 (30)
- 数据推荐 (1)
- maven (8)
- tonado (1)
- uwsgi (5)
- hessian (4)
- ibatis (3)
- Security (2)
- HTPP (1)
- gevent (6)
- 读书笔记 (1)
- Maxent (2)
- mogo (0)
- thread (3)
- 架构 (5)
- NIO (5)
- 正则 (1)
- lucene (5)
- feed (4)
- redis (17)
- TCP (6)
- test (0)
- python,code (1)
- PIL (3)
- guava (2)
- jython (4)
- httpclient (2)
- cache (3)
- signal (1)
- dubbo (7)
- HTTP (4)
- json (3)
- java socket (1)
- io (2)
- socket (22)
- hash (2)
- Cassandra (1)
- 分布式文件系统 (5)
- Dynamo (2)
- gc (8)
- scp (1)
- rsync (1)
- mecached (0)
- mongoDB (29)
- Thrift (1)
- scribe (2)
- 服务化 (3)
- 问题 (83)
- mat (1)
- classloader (2)
- javaBean (1)
- 文档集合 (27)
- 消息队列 (3)
- nginx,文档集合 (1)
- dboss (12)
- libevent (1)
- 读书 (0)
- 数学 (3)
- 流程 (0)
- HBase (34)
- 自动化测试 (1)
- ubuntu (2)
- 并发 (1)
- sping (1)
- 图形 (1)
- freemarker (1)
- jdbc (3)
- dbcp (0)
- sharding (1)
- 性能测试 (1)
- 设计模式 (2)
- unicode (1)
- OceanBase (3)
- jmagick (1)
- gunicorn (1)
- url (1)
- form (1)
- 安全 (2)
- nlp (8)
- libmemcached (1)
- 规则引擎 (1)
- awk (2)
- 服务器 (1)
- snmpd (1)
- btrace (1)
- 代码 (1)
- cygwin (1)
- mahout (3)
- 电子书 (1)
- 机器学习 (5)
- 数据挖掘 (1)
- nltk (6)
- pool (1)
- log4j (2)
- 总结 (11)
- c++ (1)
- java源代码 (1)
- ocr (1)
- 基础算法 (3)
- SA (1)
- 笔记 (1)
- ml (4)
- zokeeper (0)
- jms (1)
- zookeeper (5)
- zkclient (1)
- hadoop (13)
- mq (2)
- git (9)
- 问题,io (1)
- storm (11)
- zk (1)
- 性能优化 (2)
- example (1)
- tmux (1)
- 环境 (2)
- kyro (1)
- 日志系统 (3)
- hdfs (2)
- python_socket (2)
- date (2)
- elasticsearch (1)
- jetty (1)
- 树 (1)
- 汽车 (1)
- mdrill (1)
- 车 (1)
- 日志 (1)
- web (1)
- 编译原理 (1)
- 信息检索 (1)
- 性能,linux (1)
- spam (1)
- 序列化 (1)
- fabric (2)
- guice (1)
- disruptor (1)
- executor (1)
- logback (2)
- 开源 (1)
- 设计 (1)
- 监控 (3)
- english (1)
- 问题记录 (1)
- Bitmap (1)
- 云计算 (1)
- 问题排查 (1)
- highchat (1)
- mac (3)
- docker (1)
- jdk (1)
- 表达式 (1)
- 网络 (1)
- 时间管理 (1)
- 时间序列 (1)
- OLAP (1)
- Big Table (0)
- sql (1)
- kafka (1)
- md5 (1)
- springboot (1)
- spring security (1)
- Spring Boot (3)
- mybatis (1)
- java8 (1)
- 分布式事务 (1)
- 限流 (1)
- Shadowsocks (0)
- 2018 (1)
- 服务治理 (1)
- 设计原则 (1)
- log (0)
- perftools (1)
最新评论
-
siphlina:
课程——基于Python数据分析与机器学习案例实战教程分享网盘 ...
Python机器学习库 -
san_yun:
leibnitz 写道hi,我想知道,无论在92还是94版本, ...
hbase的行锁与多版本并发控制(MVCC) -
leibnitz:
hi,我想知道,无论在92还是94版本,更新时(如Puts)都 ...
hbase的行锁与多版本并发控制(MVCC) -
107x:
不错,谢谢!
Latent Semantic Analysis(LSA/ LSI)算法简介 -
107x:
不错,谢谢!
Python机器学习库
原文:http://blog.sina.com.cn/s/blog_616e189f0100s3px.html
Socket 缓冲区探讨
本文主要探讨 java 网络套接字传输模型,并对如何将 NIO 应用于服务端,提高服务端的运行能力和降低服务负载。
1.1 socket 套接字缓冲区
Java 提供了便捷的网络编程模式,尤其在套接字中,直接提供了与网络进行沟通的输入和输出流,用户对网络的操作就如同对文件操作一样简便。在客户端与服务端建立 Socket 连接后,客户端与服务端间的写入和写出流也同时被建立,此时即可向流中写入数据,也可以从流中读取数据。在对数据流进行操作时,很多人都会误以为,客户端和服务端的 read 和 write 应当是对应的,即:客户端调用一次写入,服务端必然调用了一次写出,而且写入和写出的字节数应当是对应的。为了解释上面的误解,我们提供了 Demo-1 的示例。
在 Demo-1 中服务端先向客户端输出了两次,之后刷新了输出缓冲区。客户端先向服务端输出了一次,然后刷新输出缓冲,之后调用了一次接收操作。从 Demo-1 源码以及后面提供的可能出现的结果可以看出,服务端和客户端的输入和输出并不是对应的,有时一次接收操作可以接收对方几次发过来的信息,并且不是每次输出操作对方都需要接收处理。当然了 Demo-1 的代码是一种错误的编写方式,没有任何一个程序员希望编写这样的代码。
Demo-1
package com.upc.upcgrid.guan.chapter02;
import java.io.IOException;
import java.net.ServerSocket;
import java.net.Socket;
import java.net.UnknownHostException;
import org.junit.Test;
public class SocketWriteTest {
public static final int PORT = 12123;
public static final int BUFFER_SIZE = 1024;
// 服务端代码
@Test
public void server() throws IOException, InterruptedException{
ServerSocket ss = new ServerSocket( PORT );
while ( true )
{
Socket s = ss.accept();
// 这里向网络进行两次写入
s.getOutputStream().write( "hello " .getBytes());
s.getOutputStream().write( "guanxinquan " .getBytes());
s.getOutputStream().flush();
s.close();
}
}
// 客户端代码
@Test
public void client() throws UnknownHostException, IOException{
byte [] buffer;
Socket s = new Socket( "localhost" , PORT ); // 创建 socket 连接
s.getOutputStream().write( new byte [ BUFFER_SIZE ]);
s.getOutputStream().flush();
int i = s.getInputStream().read(buffer = new byte [ BUFFER_SIZE ]);
System. out .println( new String(buffer,0,i));
}
}
Demo-1 可能输出的结果:
结果 1 :
hello
结果 2 :
hello guanxinquan
为了深入理解网络发送数据的流程,我们需要对 Socket 的数据缓冲区有所了解。在创建 Socket 后,系统会为新创建的套接字分配缓冲区空间。这时套接字已经具有了输入缓冲区和输出缓冲区。可以通过 Demo-2 中的方式来获取和设置缓冲区的大小。缓冲区大小需要根据具体情况进行设置,一般要低于 64K ( TCP 能够指定的最大负重载数据量, TCP 的窗口大小是由 16bit 来确定的),增大缓冲区可以增大网络 I/O 的性能,而减少缓冲区有助于减少传入数据的 backlog (就是缓冲长度,因此提高响应速度)。对于 Socket 和 SeverSocket 如果需要指定缓冲区大小,必须在连接之前完成缓冲区的设定。
Demo-2
package com.upc.upcgrid.guan.chapter02;
import java.net.Socket;
import java.net.SocketException;
public class SocketBufferTest {
public static void main(String[] args) throws SocketException {
// 创建一个 socket
Socket socket = new Socket();
// 输出缓冲区大小
System. out .println(socket.getSendBufferSize());
System. out .println(socket.getReceiveBufferSize());
// 重置缓冲区大小
socket.setSendBufferSize(1024*32);
socket.setReceiveBufferSize(1024*32);
// 再次输出缓冲区大小
System. out .println(socket.getSendBufferSize());
System. out .println(socket.getReceiveBufferSize());
}
}
Demo-2 的输出:
8192
8192
32768
32768
了解了 Socket 缓冲区的概念后,需要探讨一下 Socket 的可写状态和可读状态。当输出缓冲区未满时, Socket 是可写的(注意,不是对方启用接收操作后,本地才能可写,这是错误的理解),因此,当套接字被建立时,即处于可写如的状态。对于可读,则是指缓冲区中有接收到的数据,并且这些数据未完成处理。在 socket 创建时,并不处于可读状态,仅当连接的另一方向本套接字的通道写入数据后,本套接字方能处于可读状态(注意,如果对方套接字已经关闭,那么本地套接字将处于可读状态,并且每次调用 read 后,返回的都是 -1 )。
现在应用前面的讨论,重新分析一下 Demo-1 的 执行流程,服务端与客户端建立连接后,服务器端先向缓冲区写入两条信息,在第一条信息写入时,缓冲区并未写满,因此在第二条信息输入时,第一条信息很可能 还未发送,因此两条信息可能同时被传送到客户端。另一方面,如果在第二条信息写入时,第一条已经发送出去,那么客户端的接收操作仅会获得第一条信息,因为 客户端没有继续接收的操作,因此第二条信息在缓冲区中,将不会被读取,当 socket 关闭时,缓冲区将被释放,未被读取的数据也就变的无效了。如果对方的 socket 已经关闭,本地再次调用读取方法,则读取方法直接返回 -1 ,表示读到了文件的尾部。
对于缓冲区空间的设定,要根据具体情况来定,如果存在大量的长信息(比如文件传输),将缓冲区定义的大些,可能更好的利用网络资源,如果更多的是短信息(比如聊天消息),使用小的缓冲区可能更好些,这样刷新的速度会更快。一般系统默认的缓冲大小是 8*1024 。除非对自己处理的情况很清晰,否则请不要随意更改这个设置。
由于可读状态是在对方写入数据后或 socket 关闭时才能出现,因此如果客户端和服务端都停留在 read 时,如果没有任何一方,向对方写入数据,这将会产生一个死锁。
此外,在本地接收操作发起之前,很可能接收缓冲区中已经有数据了,这是一种异步。不要误以为,本地调用接收操作后,对方才会发送数据,实际数据何时到达,本地不能做出任何假设。
如果想要将多条输入的信息区分开,可以使用一些技巧,在文件操作中使用 -1 表示 EOF ,就是文件的结束,在网络传输中,也可以使用 -1 表示一条传输语句的结束。 Demo-3 中给出了一个读取和写入操作,在客户端和服务端对称的使用这两个类,可以将每一条信息分析出来。 Demo-3 中并不是将网络的传输同步,而是分析出缓冲中的数据,将以 -1 为结尾进行数据划分。如果写聊天程序可以使用类似的模式。
Demo-3
package com.upc.upcgrid.guan.chapter02;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.ServerSocket;
import java.net.Socket;
import java.net.UnknownHostException;
import java.nio.ByteBuffer;
import java.util.ArrayList;
import java.util.List;
import org.junit.Test;
public class SocketWriteTest {
public static final int PORT = 12123;
public static final int BUFFER_SIZE = 1024;
// 读取一条传入的,以 -1 为结尾的数据
public class ReadDatas{
// 数据临时缓冲用
private List<ByteBuffer> buffers = new ArrayList<ByteBuffer>();
private Socket socket ; // 数据的来源
public ReadDatas(Socket socket) throws IOException {
this . socket = socket;
}
public void read() throws IOException
{
buffers .clear(); // 清空上次的读取状态
InputStream in = socket .getInputStream(); // 获取输入流
int k = 0;
byte r = 0;
while ( true )
{
ByteBuffer buffer = ByteBuffer.allocate ( BUFFER_SIZE ); // 新分配一段数据区
// 如果新数据区未满,并且没有读到 -1 ,则继续读取
for (k = 0 ; k < BUFFER_SIZE ; k++)
{
r = ( byte ) in.read(); // 读取一个数据
if (r != -1) // 数据不为 -1 ,简单放入缓冲区
buffer.put(r);
else { // 读取了一个 -1 ,表示这条信息结束
buffer.flip(); // 翻转缓冲,以备读取操作
buffers .add(buffer); // 将当前的 buffer 添加到缓冲列表
return ;
}
}
buffers .add(buffer); // 由于缓冲不足,直接将填满的缓冲放入缓冲列表
}
}
public String getAsString()
{
StringBuffer str = new StringBuffer();
for (ByteBuffer buffer: buffers ) // 遍历缓冲列表
{
str.append( new String(buffer.array(),0,buffer.limit())); // 组织字符串
}
return str.toString(); // 返回生成的字符串
}
}
// 将一条信息写出给接收端
public class WriteDatas{
public Socket socket ; // 数据接收端
public WriteDatas(Socket socket,ByteBuffer[] buffers) throws IOException {
this . socket = socket;
write(buffers);
}
public WriteDatas(Socket socket) {
this . socket = socket;
}
public void write(ByteBuffer[] buffers) throws IOException
{
OutputStream out = socket .getOutputStream(); // 获取输出流
for (ByteBuffer buffer:buffers)
{
out.write(buffer.array()); // 将数据输出到缓冲区
}
out.write( new byte []{-1}); // 输出终结符
out.flush(); // 刷新缓冲区
}
}
// 服务端代码
@Test
public void server() throws IOException, InterruptedException{
ServerSocket ss = new ServerSocket( PORT );
while ( true )
{
Socket s = ss.accept();
// 从网络连续读取两条信息
ReadDatas read = new ReadDatas(s);
read.read();
System. out .println(read.getAsString());
read.read();
System. out .println(read.getAsString());
// 向网络中输出一条信息
WriteDatas write = new WriteDatas(s);
write.write( new ByteBuffer[]{ByteBuffer.wrap ( "welcome to us ! " .getBytes())});
// 关闭套接字
s.close();
}
}
// 客户端代码
@Test
public void client() throws UnknownHostException, IOException{
Socket s = new Socket( "localhost" , PORT ); // 创建 socket 连接
// 连续向服务端写入两条信息
WriteDatas write = new WriteDatas(s, new ByteBuffer[]{ByteBuffer.wrap ( "ni hao guan xin quan ! " .getBytes())} );
write.write( new ByteBuffer[]{ByteBuffer.wrap ( "let's study java network !" .getBytes())});
// 从服务端读取一条信息
ReadDatas read = new ReadDatas(s);
read.read();
System. out .println(read.getAsString());
// 关闭套接字
s.close();
}
}
在 Demo-3 中的这种消息处理方式过于复杂,需要理解 java 底层的缓冲区的知识,还需要编程人员完成消息的组合(在消息末尾添加 -1 ),在 Java 中可以使用一种简单的方式完成上述的操作,就是使用 java DataInputStream 和 DataOutputStream 提供的方法。 Demo-4 给出了使用 java 相关流类完成同步的消息的方法(估计他们与我们 Demo-3 使用的方式是相似的)。你可以查阅 java 其它 API ,可以找到其他的方式。
Demo-4
package com.upc.upcgrid.guan.chapter02;
import java.io.DataInputStream;
import java.io.DataOutputStream;
import java.io.IOException;
import java.net.ServerSocket;
import java.net.Socket;
import java.net.UnknownHostException;
import org.junit.Test ;
public class SocketDataStream {
public static final int PORT = 12123;
@Test
public void server() throws IOException
{
ServerSocket ss = new ServerSocket( PORT );
while ( true )
{
Socket s = ss.accept();
DataInputStream in = new DataInputStream(s.getInputStream());
DataOutputStream out = new DataOutputStream(s.getOutputStream());
out.writeUTF( "hello guan xin quan ! " );
out.writeUTF( "let's study java togethor! " );
System. out .println(in.readUTF());
s.close();
}
}
@Test
public void client() throws UnknownHostException, IOException
{
Socket s = new Socket( "localhost" , PORT );
DataInputStream in = new DataInputStream(s.getInputStream());
DataOutputStream out = new DataOutputStream(s.getOutputStream());
System. out .println(in.readUTF());
System. out .println(in.readUTF());
out.writeUTF( "welcome to java net world ! " );
s.close();
}
}
简单总结:
上面主要介绍了 java Socket 通信的缓冲区机制,并通过几个示例让您对 java Socket 的工作原理有了简单了解。这里需要注意的是可读状态和可写状态,因为这两个概念将对下一节的内容理解至关重要。下一节将描述 java NIO 提高服务端的并发性。
发表评论
-
Raft
2018-07-12 14:20 733前言 上篇文章说解决问题要分而治之,先把分片的问题解决了再 ... -
java uuid
2017-09-14 18:18 554在java中产生uuid的方式是使用java.util.UU ... -
JAVA 编码规范
2017-09-06 11:34 406https://google.github.io/style ... -
mac 入门
2015-12-01 16:28 622http://foocoder.com/blog/wo-zai ... -
TCP滑动窗口
2014-06-04 16:10 842目前建立在TCP协议上的网络协议特别多,有telnet,ss ... -
java 反编译工具gad
2014-05-09 12:04 962java 反编译工具gad,备个份。 -
java 代码大全(code book)
2014-04-29 10:59 1056参考这里: http://www.java2s.com/C ... -
SQL语法解析器JSQLParser
2014-02-09 19:53 2138SQL 语法解释器jsqlparser 是用java ... -
BufferedInputStream 深入研究。
2013-11-19 13:26 14161. BufferedInputStream的基本原理 ... -
TCP 滑动窗口协议
2013-11-07 18:36 5541TCP滑动窗口机制 我们可以大概看一下上图的模型 ... -
关于JAVA取本机ip的一些总结
2013-09-13 14:29 8226通常绑定本机ip地址 一般如下 I ... -
java 启动脚本
2013-08-22 19:08 976java 启动脚本 #!/bin/bash cmd=&q ... -
CRLF escape
2013-08-06 17:51 1192最近需要对用户输入的CRLF即(\r\n)做escape, ... -
网络编程中Nagle算法和Delayed ACK的测试
2013-07-28 22:44 944网络编程中Nagle算法和Delayed ACK的测试 -
安全的自增类
2013-07-22 18:16 981java中一个计数器如果超过MAX_VALUE再自增会如何? ... -
NFS-RPC框架优化过程(从37k到168k)
2013-07-18 22:17 1514NFS-RPC框架从编写之初,到现在为止(应该还会有些提升, ... -
Java程序员也应该知道的一些网络知识
2013-07-18 22:11 911对于需要编写网络通 ... -
深入理解JDBC的超时(timeout)设置
2013-06-26 15:27 6332真实案例:应用服务器在遭到DDos攻击后无法响应 在遭到 ... -
solr日志被block的问题
2013-05-23 16:48 1254"catalina-exec-22386" ... -
socket InputStream available()lock的问题
2013-03-28 18:45 3212在socket InputStream读取数据的问题记录一 ...
相关推荐
在Java编程领域,网络编程是不可或缺的一部分,而Socket通信则是实现网络数据传输的基础。本案例主要探讨了如何使用Java的Socket API进行简单的文件传输。在这个过程中,我们将涉及到以下几个关键知识点: 1. **...
在这个“Java网络编程-Socket-文件传输小案例”中,我们将深入探讨如何利用Java的Socket API进行文件的传输。首先,我们需要了解Socket的基本概念。 Socket,通常被称为套接字,是网络编程中的一个接口,它允许两个...
总的来说,Java Socket编程是实现TCP/IP通信的核心技术,它允许开发者构建网络应用程序,无论是遵守标准协议还是自定义协议,都能灵活地处理数据传输。在实际开发中,理解Socket的工作原理和API使用是至关重要的。
Java Socket 编程在计算机网络实验中的应用 Java Socket 编程是计算机网络实验中的一个重要组成部分,它允许开发者创建可以在网络上传输数据的应用程序。下面是关于 Java Socket 编程在计算机网络实验中的应用的...
Java网络编程是构建分布式应用程序的关键技术,而Java Socket编程则是其核心部分,允许两台计算机通过网络进行双向通信。在Java中,Socket是基于TCP/IP协议的,提供了可靠的、面向连接的数据传输服务。 首先,理解...
Java 多线程-Socket 编程是指在 Java 语言中使用多线程技术来实现网络编程,特别是使用 Socket 编程来实现客户端和服务器端的通信。在 Java 中,多线程可以使用 Thread 类和 Runnable 接口来实现,而 Socket 编程则...
Java网络编程是构建分布式应用程序的关键技术之一,TCP(Transmission Control Protocol)协议作为互联网上最基础的传输协议,为两台计算机之间提供可靠的数据传输服务。在这个聊天室项目中,我们将探讨如何利用Java...
Java的Socket编程接口提供了丰富的功能,包括错误处理、套接字选项设置等,使得开发者能够构建复杂、可靠的网络应用。同时,Java的异常处理机制也为网络编程提供了良好的健壮性。在实际开发中,还需要考虑线程管理、...
### Java编程中的Socket与网络编程详解 #### 一、Socket编程概述 Socket编程是Java网络编程的核心技术之一,主要用于实现不同计算机之间的通信。通过Socket,应用程序可以在网络上发送和接收数据,实现分布式系统...
《Java网络编程》第三版是由Elliotte Rusty Harold编著的一本专业书籍,中文版为国内Java开发者提供了深入理解网络编程的宝贵资源。这本书详细介绍了如何使用Java语言进行网络应用开发,涵盖了从基础概念到高级技术...
Java提供了Socket编程接口,它基于TCP/IP协议,能够建立可靠的、双向的数据传输通道。在Java的`java.net`包中,`Socket`和`ServerSocket`类是实现客户端-服务器通信的核心。客户端通过`Socket`连接到服务器的特定...
"华科-计算机网络实验报告-Java_Socket编程-网络组建实验.docx" 这份实验报告主要涵盖了计算机网络实验的两个部分:Socket 编程和网络组建实验。下面是对这两部分的详细解释和知识点总结: Socket 编程 Socket ...
本教程将深入探讨Java中的Socket编程,特别是如何实现网上广播功能。网上广播允许一个设备向网络上的所有设备发送数据,无需预先知道接收者的具体地址。 首先,让我们了解什么是Socket。Socket在计算机网络中是一种...
在这个"java网络编程--简单实现信息交换.rar"的压缩包中,我们主要关注的是如何使用Java的Socket类来实现两个进程之间的信息交换。Socket是TCP/IP协议族的一部分,提供了进程间通信(IPC)的能力,尤其在跨网络环境...
总的来说,“Java TCP-IP Socket编程-卡尔弗特.pdf”这份资料应该会详细讲解以上内容,并可能涵盖更多高级主题,如NIO(非阻塞I/O)、Socket选项设置、网络编程的最佳实践等。通过学习这份资料,开发者将能够熟练...
Java_network_programming是Java编程语言中一个基础组件,用于实现网络通信。以下是Java网络编程案例教程习题参考答案中涉及到的知识点: 1. Socket编程:Socket是Java网络编程中最基本的组件,用于实现网络通信。...
JAVA网络编程资料(1)-Socket套接字—Java套接字编程.chm
基于Java--Socket-网络编程.doc
### Java语言编程—网络编程 ...- [Socket编程指南](https://www.tutorialspoint.com/java_network_programming/index.htm) 以上就是关于Java语言编程在网络编程领域的相关内容介绍。希望对大家有所帮助!