`
fishermen
  • 浏览: 379929 次
社区版块
存档分类
最新评论

HTTP协议与sockt读取http包

阅读更多
很好的http介绍:)

一、超文本传输协议及HTTP包
    HTTP协议用于在Internet上发送和接收消息。HTTP协议是一种请求-应答式的协议——客户端发送一个请求,服务器返回该请求的应答,所有的请求与应答都是HTTP包。HTTP协议使用可靠的TCP连接,默认端口是80。HTTP的第一个版本是HTTP/0.9,后来发展到了HTTP/1.0,现在最新的版本是HTTP/1.1。HTTP/1.1由RFC 2616 定义。
    在HTTP中,Client/Server之间的会话总是由客户端通过建立连接和发送HTTP请求包初始化,服务器不会主动联系客户端或要求与客户端建立连接。浏览器和服务器都可以随时中断连接,例如,在浏览网页时你可以随时点击“停止”按钮中断当前的文件下载过程,关闭与Web服务器的HTTP连接。
  1 HTTP请求包
  HTTP请求包(GET、POST等请求方法)由三个部分构成,分别是:方法-URI-协议/版本,请求头,请求正文。下面是一个HTTP请求包(GET)的例子:
GET /index.jsp HTTP/1.1
Accept-Language: zh-cn
Connection: Keep-Alive 
Host: 192.168.0.106
Content-Length: 37 
userName=new_andy&password=new_andy

    请求包的第一行是方法-URI-协议/版本:
    GET就是请求方法,根据HTTP标准,HTTP请求可以使用多种请求方法。HTTP 1.1支持七种请求方法:GET、POST、HEAD、OPTIONS、PUT、DELETE和TRACE等,常用的为请求方法是GET和POST。
    /index.jsp表示URI。URI指定了要访问的网络资源。
    HTTP/1.1是协议和协议的版本。
    最后一行userName=new_andy&password=new_andy为正文,正文与HTTP头部有一个空行(\r\n)分隔。这里需要说明的一点,其中Content-Length说明正文的长度,有的正文长度没有在头部说明,只是标明Transfer-Encoding: chunked。关于chunked类型的长度计算方法,见RFC 1626。
    请求包的头部还会包含许多有关客户端环境和请求正文的有用信息,这里不再描述。
  2 HTTP应答包

  和HTTP请求包相似,由三个部分构成,分别是:协议-状态代码-描述,应答头,应答正文。下面是一个HTTP应答的例子:

HTTP/1.1 200 OK
Server: Microsoft-IIS/4.0
Date: Mon, 3 Jan 2005 13:13:33 GMT
Content-Type: text/html
Last-Modified: Mon, 11 Jan 2004 13:23:42 GMT
Content-Length: 90

<html>
<head>
<title>解读HTTP包示例</title></head><body>
Hello WORLD!
</body>
</html>


  HTTP应答包的第一行类似于HTTP请求的第一行,表示所用的协议是HTTP 1.1,服务器处理请求的状态码200。
  应答头也和请求头一样包含许多有用的信息,例如服务器类型、日期时间、内容类型和长度等。应答的正文就是服务器返回的HTML页面。应答头和正文之间也用CRLF分隔。
二、Socket类与ServerSocket类
  在Java中,通信端点由java.net.Socket类(客户端)或java.net.ServerSocket类(服务器端)表示。应用程序通过端点向网络发送或从网络读取数据。位于两台不同机器上的应用软件通过网络连接发送和接收字节流,从而实现通信。要把HTTP包发送给另一个应用,首先要知道对方的IP地址以及其通信端点的端口号。
   Socket类代表的是客户端,它是一个连接远程服务器应用时临时创建的端点。
   ServerSocker类代表的是服务器端,它启动后等待来自客户端的连接请求;一旦接收到请求,ServerSocket创建一个Socket实例来处理与该客户端的通信。对于服务器应用,我们不知道客户端应用什么时候会试图连接服务器,服务器必须一直处于等待连接的状态。

  下面是ServerSocket提供了四个构造函数,常用的构造函数的的一种形式为:
  public ServerSocket(int port, int backLog, InetAddress bindingAddress);
  参数:port指定服务器端监听客户端的端口;
  backlog为连接请求的最大队列长度,一旦超越这个长度,服务器端点开始拒绝客户端的连接请求。
  bindingAddress是一个java.net.InetAddress的实例,指定绑定IP地址。
   创建好ServerSocket实例之后,调用它的accept方法,要求它等待传入的连接请求。只有出现了连接请求时,accept方法才会返回,它的返回值是一个Socket类的实例。随后,这个Socket对象就可以用来与客户端应用通信。
 
  Socket类有许多构造函数,常用的为:
  public Socket(String host, int port)。参数是主机名称(IP地址或域名)和端口号。
   参数host是远程机器的名字或IP地址,port是远程应用的端口号。
  成功创建了Socket类的实例之后,我们就可以用它来发送和接收字节流形式的数据,数据一般为HTTP包。
  
   要发送字节流,首先要调用Socket类的getOutputStream方法获得一个java.io.OutputStream对象;要从连接的另一端接收字节流,首先要调用Socket类的getInputStream方法获得一个java.io.InputStream对象。
  下面的代码片断创建一个与本地HTTP服务器(127.0.0.1代表本地主机的IP地址)通信的Socket,发送一个HTTP请求包,准备接收服务器的应答。
  Socket socket    = new Socket("127.0.0.1", "80");
  OutputStream os  = socket.getOutputStream();
  InputStream  ins = socket.getInputStream();
  StringBuffer sb=new StringBuffer();
  sb.append("GET /index.jsp HTTP/1.1\r\n");//注意\r\n为回车换行
  sb.append("Accept-Language: zh-cn\r\n");
  sb.append("Connection: Keep-Alive\r\n");
  sb.append("Host: 192.168.0.106\r\n");
  sb.append("Content-Length: 37\r\n");
  sb.append("\r\n");
  sb.append("userName=new_andy&password=new_andy\r\n");
  sb.append("\r\n");
 
  //向Web服务器发送一个HTTP请求包
  os.write(sb.toString().getBytes()); 
 
  服务器端的代码在大致结构为:
  while (!shutdown) {
        Socket socket = null;
        try {
            socket = serverSocket.accept(); //等待客户以送HTTP请求包
            // 创建HTTP请求包处理线程
            RequestThread request = new RequestThread(socket);
            request.start();
            if(shutdown) System.exit(0);
        }
        catch (Exception e) {
            e.printStackTrace();
        }
    }
  RequestThread线程分析HTTP请求包,跟根据请求包内容在服务端生成一个HTTP应答包。下一节说明怎样分析HTTP包。
  InputStream  input = socket.getInputStream();  //从此字节数据流获得HTTP请求包内容
    OutputStream output= socket.getOutputStream(); //向此字节流写入HTTP应答包内容
   
三、读取HTTP包
  以下我自己设计的一个读取HTTP包的类SocketRequest。
  public class SocketRequest {  //从指定的Socket的InputStream中读取数据

  private InputStream  input;
  private String     uri;
  private StringBuffer  request=new StringBuffer();  //用于保存所有内容
  private int       CONTENT_LENGTH=0;  //实际包内容数据长
  private boolean    bePost = false;
  private boolean    beHttpResponse = false;
  private boolean    beChucked = false;
  private boolean    beGet = false;
  private byte       crlf13 = (byte)13; //'\r'
  private byte       crlf10 = (byte)10;  //'\n'

  public SocketRequest(InputStream input) {
    this.input = input;
  }
public SocketRequest(Socket socket) {
    this.input = socket.getInputStream();
  }

  public void ReadData() {  //解析 获得InputStream的数据

  ReadHeader();  //头部

  if(beChucked) //为Chucked
  {
   int ChuckSize=0;
   while((ChuckSize=getChuckSize())>0) //多个Chucked
   {
    readLenData(ChuckSize+2);//读取定长数据
   }
   readLenData(2); //最后的2位 
  }
 
  if(CONTENT_LENGTH>0)
  {
   readLenData(CONTENT_LENGTH);//读取定长数据
  }
 
    uri = "";//parseUri(new String(request));
  }
 
  private void readLenData(int size)  //读取定长数据
  {
   int readed=0;  //已经读取数
   try{
    int available=0;//input.available(); //可读数
    if(available>(size-readed)) available=size-readed;
    while( readed<size )
     {
       while(available==0){  //等到有数据可读
         available = input.available(); //可读数
        }
        if(available>(size-readed)) available= size-readed; //size-readed--剩余数
        if(available>2048) available= 2048; //size-readed--剩余数
       byte[] buffer = new byte[available];
       int reading = input.read(buffer);
       request=request.append(new String(buffer,0,reading));  //byte数组相加
        readed+=reading;  //已读字符
   }
   }catch(IOException e){
     System.out.println("Read readLenData Error!");
   }
}

   private void  ReadHeader() //读取头部 并获得大小
   {
    byte[]  crlf   = new byte[1];
   int     crlfNum= 0;   //已经连接的回车换行数 crlfNum=4为头部结束
    try{
     while( input.read(crlf)!=-1 )   //读取头部
     {
      if(crlf[0]==crlf13 || crlf[0]==crlf10)
      {
         crlfNum++;
      }
      else
      {  crlfNum=0;  } //不是则清
      request=request.append(new String(crlf,0,1));  //byte数组相加
      if(crlfNum==4) break;
     }
   }catch(IOException e){
     System.out.println("Read Http Header Error!");
     return;
    }
  
    String tempStr=(new String(request)).toUpperCase();
   
    //这里我只处理了GET与POST方法
    String  strMethod  = tempStr.substring(0,4);
    if(strMethod.equals("GET ")) //前
    {  beGet=true;   
    }
    else if(strMethod.equals("POST"))
    {
     bePost=true;
     getContentlen_Chucked(tempStr);
    }
    else {
     System.out.println("不支持的HTTP包类型");
    
    } //其它的其它类型 暂不支持
  }

  private void getContentlen_Chucked(String tempStr)  //获得长度 CONTENT-LENGTH 或 是否为CHUNKED型
  {
   String ss1="CONTENT-LENGTH:";
   String ss2=new String("TRANSFER-ENCODING: CHUNKED");
  
   int clIndex   = tempStr.indexOf(ss1);
    int chuckIndex = tempStr.indexOf(ss2);  //为CHUNKED型
    byte requst[]= tempStr.getBytes();
    if(clIndex!=-1)
    { //从clIndex+1起至\r\n
       StringBuffer sb=new StringBuffer();
      
       for(int i=(clIndex+16);;i++)
       {
        if(requst[i]!=(byte)13 && requst[i]!=(byte)10 )
        {
          sb.append((char)requst[i]);
        }
        else
         break;
       }
      
       CONTENT_LENGTH=Integer.parseInt(sb.toString());  //正式的HTML文件的大小
       //System.out.println("CONTENT_LENGTH==  "+CONTENT_LENGTH);
   }
   if(chuckIndex!=-1) beChucked=true;
  }
  
  private int  getChuckSize() //Chuck大小
   {
    byte[]  crlf   = new byte[1];
    StringBuffer  sb1   = new StringBuffer();

    int     crlfNum= 0;   //已经连接的回车换行数 crlfNum=4为头部结束
   
    try{
     while(input.read(crlf)!=-1)   //读取头部
     {
      if(crlf[0]==crlf13 || crlf[0]==crlf10)
      {  crlfNum++; }
      else
      {  crlfNum=0;  } //不是则清
      sb1.append((char)crlf[0]);
      request=request.append(new String(crlf,0,1));  //byte数组相加
      if(crlfNum==2) break;
     }
   }catch(IOException e){
     System.out.println("Read Http Package Error!");
     return 0;
    }
  
   return Integer.parseInt((sb1.toString()).trim(),16); //16进控制
}
  //通过此来进行过滤,是否为发至目标服务器的HTTP包
  private String parseUri(String requestString) {
    int index1, index2;
    index1 = requestString.indexOf(' ');
    if (index1 != -1) {
      index2 = requestString.indexOf(' ', index1 + 1);
      if (index2 > index1)
        return requestString.substring(index1 + 1, index2);
    }
    return null;
  }

  public String getData() {
    return request.toString();
  }
}

使用此类:
SocketRequest request = new SocketRequest(socket); //socket为ServerSocket.accept()返回的Socket实例
request.ReadData();  //读取数据
request.getData();
为什么我要用这么大的力量去读取呢,尤其是在因为Socket连接在发送数据时,由于网络的原因经常会发生延迟现象,可能在服务器端开始接收数据时可能只有部分数据可以从InputStream中获得,在一些地方处理不当时,可能只能获得不完整的数据或是错误的数据。
从InputStream读取字节时有多种办法:
常用int read()与int read(byte[] b)。在用read(byte[])时,程序员经常会犯错误,因为在网络环境中,读取的数据量不一定等于参数的大小。

希望我的这篇文章能给你带来一些帮助。
分享到:
评论
2 楼 fishermen 2008-07-29  
http本来不存在所谓长连接,这仅仅是一种特殊情况下的需求,然后有一些模拟解决技术。
理论上讲,一般有两种解决方案,你已经说了,其中后面那种可以参考开源的comet:pushlet。
在实际使用中,其实还有一些其他的折中方案,如:使用HttpClient作为请求端,然后使用对象池缓存一些请求对象,需要的时候从对象池取;或者直接缓存httpConnection,使用head请求,貌似在一些广告系统中常用。
使用常连接,压力主要在server端,要注意监控和均衡负载。
1 楼 jonson 2008-07-14  
兄台,我想问一句:http协议中 浏览器发送一个 http请求,与服务器建立链接,服务器返回请求结果,服务器结束链接。        这个过程就是普通的请求过程。    

但是如何建立一个所谓的 长链接呢   。现在所谓的commet应用原理如何呢。

如果是用ajax来实现长链接有两种方式:一种是 当ajax处于状态 3时(数据预备状态时)进行传送数据。因为没有转变为 状态4(完成)那么链接将在一段时间内不被释放。  或者使用 轮询发送请求的方式,即当一次请求结束了后,马上发起一次新的请求。   
观察此种种,长链接是模拟出来的一个链接概念。 只要持续的请求数据,是否就可以称之谓长链接

还有一种就是实现一种特殊的服务器,当每次请求结果返回后不结束本次链接。 我想这也是长链接的一种形式吧


看到兄台写的关于HTTP的文章很不错。所以想和你讨论下。

相关推荐

    Socket长连接+心跳包+发送读取

    以下是Socket长连接、心跳包和数据发送读取的关键知识点: 1. **TCP连接**:Socket基于传输层的TCP协议,提供可靠的双向通信。TCP保证了数据的顺序和完整性,通过三次握手建立连接,四次挥手断开连接。 2. **...

    用Socket实现的Http协议.rar_HTTP实现_c#http协议_socket_socket http_socket w

    综上所述,用Socket实现HTTP协议涉及到的知识点包括:HTTP协议的基本原理、C#中的Socket编程、网络通信的TCP/IP基础、HTTP请求和响应的构建与解析,以及Windows环境下的Socket优化技巧。理解这些内容对于开发网络...

    socket读取plc

    总的来说,通过Linux上的Socket和Modbus TCP协议,我们可以方便地读取和接收PLC中的存储信息,从而实现远程监控和控制。在进行这类工作时,需要对网络编程、Modbus协议以及可能涉及的硬件设备有深入理解,才能确保...

    IP包读取分析(raw socket)

    在IT行业中,网络编程是至关重要的一环,而深入理解网络数据传输的基础——IP包的读取与分析,对于提升程序的性能和实现特定功能有着直接的影响。本篇将重点探讨"IP包读取分析(raw socket)"这一主题,特别关注在...

    C实现基于Socket实现自定义协议通信

    我们将深入理解Socket编程的基本概念,学习如何创建、连接、监听Socket,并探讨如何设计和实现自定义的数据传输协议。 首先,Socket可以看作是进程间通信的一种接口,它允许程序通过网络进行通信。在C语言中,我们...

    直接用socket实现HTTP协议(下载专用)

    本文将深入探讨如何直接使用Socket API来实现HTTP协议,特别是针对下载场景的应用。Socket编程允许我们低级别地控制网络通信,为自定义协议或者对现有协议的实现提供了基础。 首先,我们要理解HTTP协议的基本结构。...

    java socket通信自定义消息协议

    本篇将详细讲解如何在Java中实现基于Socket的自定义消息协议,以及客户端与服务器端的数据转换与解析过程。 首先,我们来看`SocketClient.java`,这是客户端的代码实现。客户端通常需要以下几个步骤: 1. 创建...

    Socket实现HTTP下载协议.rar

    这些代码可以帮助初学者更好地理解Socket与HTTP协议的结合使用。 总之,Socket实现HTTP下载协议需要理解HTTP的工作原理,构建正确的HTTP请求,解析服务器的响应,并使用Socket进行数据传输。这个过程涉及网络编程、...

    C# Socket心跳包跟图片传输,TCP/IP协议响应Demo供学习之用

    本示例着重讲解如何在C#中利用Socket实现心跳包机制和图片传输,同时确保TCP/IP协议的高效响应。以下是关于这些知识点的详细解释: 1. **C# Socket**: C#中的Socket类是.NET Framework提供的,用于实现网络通信的...

    Android_Socket_客户端和服务器端,支持多张图片同时传送,自定义协议头

    5. 根据协议头信息读取相应长度的字节数据,还原图片。 6. 可能需要对多张图片进行并发处理,可以使用线程池或异步处理机制来提高性能。 7. 在处理完所有图片后,关闭Socket及相关流,释放资源。 在图片传输过程中...

    Socket异步发送读取,客户端和服务端

    本知识点主要探讨如何利用C#的Socket类实现异步发送和读取数据,以及如何与Winform界面交互。 首先,让我们了解Socket的基本概念。Socket是网络通信中的一个抽象接口,它允许程序通过网络发送和接收数据。在C#中,...

    Windows Mobile 6 中自封装HTTP协议的SOCKET连接例子

    总结来说,`WMHTTPSocket.cpp`和`WMHTTPSocket.h`文件提供了在Windows Mobile 6平台上封装HTTP协议的基础,通过SOCKET接口实现与服务器的通信。通过理解和使用这些代码,开发者可以为WM6应用添加网络功能,实现数据...

    PLC+Socket_Server+欧姆龙Fins协议

    "PLC+Socket_Server+欧姆龙Fins协议"是一个关于如何利用网络编程实现PLC(以欧姆龙为例)与上位机进行通信的专题。在这个系统中,Socket_Server扮演着关键角色,它作为服务器端,负责接收和发送数据,而FINS...

    VC++利用Socket实现HTTP下载协议.rar_http socket_http vc_http下载_socket htt

    本文将深入探讨如何使用VC++通过Socket实现HTTP下载协议。HTTP(超文本传输协议)是互联网上应用最为广泛的一种网络协议,而Socket则是一种网络通信接口,允许程序进行双向通信。 首先,我们需要了解HTTP的基本工作...

    http_xiazai.rar_http socket_http 协议_httpxiazai

    这可以通过打开一个文件流,然后使用循环读取Socket的数据并写入文件实现。 7. **错误处理**: - 在实际编程中,必须处理各种可能出现的错误,如网络中断、服务器返回错误状态码、文件保存失败等。源码示例应包含...

    SuperSocket.ClientEngine.Core socket 客户端处理粘包半包

    - **处理数据**:在`ReceiveNextAsync`方法中,根据协议规范读取数据,判断是否完成一个完整的消息,如果完成则调用`CompleteReceive`方法通知SuperSocket处理下一个数据包。 4. **示例代码**: ```csharp ...

    netty4.0.45jar包socket和http工具包

    在Netty中,Socket编程被抽象为Channel接口,它允许你读取、写入数据,并处理连接、断开等事件。Netty 4.0.45提供了高度优化的NIO(非阻塞I/O)和EPOLL(用于Linux系统的高效I/O)实现,确保了在处理大量并发连接时...

    20151910042-刘鹏-CN实验03-基于TCP协议与Socket接口的网络通信编程实验1

    《基于TCP协议与Socket接口的网络通信编程实验》 该实验是云南大学数学与统计学院《计算机网络实验》课程的一部分,旨在让学生熟悉TCP协议和Socket接口在网络通信编程中的应用。实验的目标是掌握TCP协议和Socket...

    socket网络编程 TCP传输协议实现

    Socket是应用层与TCP/IP协议族通信的中间软件抽象层,它是一组接口。在设计模式中,Socket其实就是一个门面模式,它把复杂的TCP/IP协议族隐藏在Socket接口后面,对用户来说,只需调用Socket的一些方法即可实现网络...

    socket tcp如何防止多次send的包被合成一个包(粘包)发送.zip

    标题"socket tcp如何防止多次send的包被合成一个包(粘包)发送"主要关注的是如何避免这种粘包现象。以下是一些防止TCP粘包的方法: 1. **设置TCP_NODELAY选项**: - 文件"2使用TCP_NODELAY选项,告诉内核尽快将该...

Global site tag (gtag.js) - Google Analytics