网络视频传输

用Java实现网络语音信号传送
http://www.doozz.com 2008-01-05 00:00

　　一、引言

　　Java是一门适合于分布式计算环境、尤其是Internet程序设计的语言。这不仅仅在于java具有很好的安全性和可移植性，还在于java为Internet编程提供了丰富的网络类库的支持。利用这些网络类库，可以轻松编写多种类型的网络通信程序。    
    然而由于某些限制，Java在传输多媒体信息方面的应用不是很广，大部分的应用都集中在网络上传输语音等音频信号的方面。传输音频信号应用方案一般有两种，一是应用于数据广播的多对一传输，例如音频数据服务器向数个客户端发送音频数据信号，其最广泛的应用则是某些网上的IP电话，大家经常可以看到不少这种提供在线IP电话服务的网站的客户端都是使用的嵌在网页上的Java Applet程序，用来实现拨号、通话等等基本的网络电话功能； 第二种方案则是我们今天要涉及的部分，一对一的音频信号数据的传输。这种方案的应用范围更广。大家都去过语音聊天室，大部分的语音聊天室的语音聊天功能的实现就是使用的Java技术，大家对这样网页的源代码分析一下就可以发现这一点。

　　我曾开发一个项目,涉及使用java来实现在网络上传输语音数据。开发中碰到不少问题，而且在互联网上发现关于java语音传输的资料比较少，寻找了许多天，最终从一个开放源代码的一个简单的Answer Machine 演示程序中获得了解决问题的方法。今天我就把我在点对点传输音频信号方面的一些经验拿出来，与大家共同探讨这方面的问题。

　　二、存在的问题

　　在网络上传输音频的方面存在的问题主要可以归纳为以下几点：

　　1 双方之间的网络连接

　　要进行频数据的传输，首先就是要建立数据连结。常用的通讯协议中，TCP较可靠，所以用在不答应数据丢失的应用上。而UDP则较多应用于处理速度要求较快、数据传输可靠性要求不是很高的应用上，如数据广播。通信协议的选择取决于我们所要做的应用的类型。怎样建立网络连接，稳定的接收和发送音频信号的数据流是要害。

　　2 音频信号的采集以及回放

　　在进行音频信号的采集中我们必须考虑到采样率的问题，声音信号的采样率有8Khz、16Khz、32Khz、44Khz等，每种数据采样虑产生的数据量都不一样，越高的采样率产生的数据量越大，所以我们要选择合适的采样率以适应网络的带宽。

　　3 音频数字信号的编码与解码。

　　假如把直接采集到的音频信号数据流在网络上进行传输，它所占有的带宽也是十分大的，以8Khz的采样率采集14位的音频数据那么就有以下这样的一个式子：

14 bit * 8000/second=112,000 bits/second or112kbps

　　从中我们可以看出以这样的方式传输音频数据，每秒需要向网络中发送112kb的数据。所以。从节省带宽的角度考虑，我们很有必要对这样的数据进行压缩。对多媒体信号的压缩我们有许多可以选择的格式，如mp2、mp3、GSM等等。同样，我们这里也存在一个对压缩格式进行选择的问题，考虑到音频数据传输的及时性，对传输的音频数据质量的要求，以及各种压缩格式的压缩比率以及进行压缩和解压缩所要耗费的系统资源等方面问题，选择合适的压缩格式就显得尤为重要。 三、解决的方法

　　下面就针对前面提出的问题讨论一下解决的办法。

　　1 双方之间的网络连接

   
    　　Java在这方面有其独特的优势，Java提供了丰富的网络类库的支持，可以轻松编写多种类型的网络通信程序。在我下面的例子中我就使用了TCP/IP协议，通过Java的Socket类进行编程。

　　2 音频信号的采集和回放以及音频数字信号的编码与解码

　　在解决这两个问题的时候，在网上很幸运地通过一些文章的介绍，找到了Answer Machine 演示程序的源代码（由of jsresources.org的Florian Bomers 和Matthias Pfisterer编写，网址http://www.jsresources.org/apps/am.Html）。在这个程序代码中，有几个解决我们问题所需要的类，而且作者将这些类封装的很好，我们基本不需要做什么改动，只需要屏蔽其中的调试信息的输出就行了，更可贵的是它还封装了几种常见的音频格式。其中的GSM格式（Global System for Mobile Telecommunications）就是我们下面例子中采用的压缩格式，GSM格式可以将128kbps 的音频数据流 (16bit通过8k Hz的音频采样) 压缩为13kbps 的音频数据流，非常适合语音信号的传送，所以可谓是一石二鸟。

　　我分析过这几个类的源代码，不得不佩服它的作者，每个类的源代码都很精炼，大家可以自己分析一下。好了下面就给大家讲讲这几个类，并且将它们用到的Java Sound API中的类和函数等一并做个简单介绍，让大家对Java Sound API中常用的类也有个大致的了解。由于Java Sound API中的类比较多。限于篇幅无法对所有用到的类做详尽的解释，以下内容只是简单提及了各个类的用途和使用规范，有关Java Sound API中类的具体介绍请大家访问这里http://java.sun.com/j2se/1.4.2/docs/api/， 查找javax.sound.sampled的相关内容。

　　以下的提到几个文件是从Answer Machine 演示程序的源代码中提取出来的，由于是开放源代码的程序，大家在使用的时候请注重相关的公共协议。

　　① AMAudioFormat类(封装在AMAudioFormat.java文件中)

　　AMAudioFormat类封装了CD、FM、TELEPHONE、GSM这四种质量的音频格式的参数，使用起来也非常简单，这样我们在使用Java Sound API时就不用自己去写那些复杂的代码了，但为了明白Java Sound API的原理，我们需要对它的代码做一下分析。它使用了Java Sound API中的AudioFormat这个类，这个类非常重要，在Java中对任何音频数据的使用都要实现通过它指定所需要使用的音频格式，AudioFormat类有一个嵌套的类AudioFormat.Encoding，实际上大部分对AudioFormat类的使用都是使用的这个嵌套的类。

　　AMAudioFormat类的重要方法：

　　名称：getLineAudioFormat
　　调用格式：getLineAudioFormat（整型音频格式代号）
　　返回值： 根据传递音频格式代号生成的AudioFormat对象。

　　说道这里大家可能要问了，那么通过Java Sound API可以直接使用GSM格式吗？答案是比较复杂，但同样有解决的办法，作者在这里使用了另外的开源程序的类库－tritonus的GSM编码解码库。大家需要在这里www.tritonus.org/plugins.html下载tritonous_share.jar和tritonus_gsm.jar两个文件，并在AMAudioFormat类中引用，这样就完成了GSM格式的设置。需要告诉大家的是在对AMAudioFormat.java这个类进行编译后，我们的程序运行的时候就可以不需要tritonous_share.jar和tritonus_gsm.jar这两个文件的支持了。

　　② AudioCapture类(封装在AudioCapture.java文件中)

　　AudioCapture类封装了从音频硬件捕捉音频数据并自动编码为GSM音频压缩数据的过程，并且通过它的getAudioInputStream()方法提供给我们一个音频数据输入流，我们就可以直接将这个流发送到网络中。

　　AudioCapture 类的重要方法：
　　名称：getAudioInputStream
　　调用格式：getAudioInputStream()
　　返回值：AudioInputStream对象

　　AudioCapture 类使用了Java Sound API中的AudioInputStream、AudioFormat、AudioSystem这几个类和TargetDataLine、LineListener接口。除了AudioFormat类我再简单介绍一下其他的类：

　　AudioInputStream 类是带有非凡音频格式和长度的InputStream类，它有两个构造方法，分别是AudioInputStream(InputStream stream, AudioFormat format,long length)和AudioInputStream(TargetData -Line line)。

　　TargetDataLine 接口是DataLine接口的一种，通过它就可以直接从音频硬件获取数据了，它有几个常用的方法，分别是：open(AudioFormat format)、void open(AudioFormat format, int bufferSize)、int read(byte[] b, int off, int len)。

　　AudioSystem 类是Java标准音频系统的入口点，在AudioSystem 类中使用他的getLine（） 方法创建TargetDataLine对象。

　　LineListener接口用来对线路状态改变的时间进行监听，他的重要的方法是update(LineEvent event)方法。

　　③ AudioPlayStream类(封装在AudioPlayStream.java文件中)

　　AudioPlayStream类与AudioCapture类刚好相反，它封装了GSM压缩音频数据的解码和音频信号的回放过程，提供给我们一个音频信号输出流。AudioCapture类用到的Java Sound API中的类它也基本都用到了，只是它使用了SourceDataLine接口而不是TargetDataLine接口

　　④ Debug类(封装在Debug.java文件中)

　　Debug类主要用来在调试时输出讯息，代码很少，后来我把其中输出信息的语句都屏蔽了，对程序运行没有影响。

　　为了方便使用以上的几个类，我们需要对它们进行编译和打包，编译时需要设置相关的编译环境，以下是我们需要用到的命令行

set CLASSPATH=%CLASSPATH%;.;tritonus_gsm.jar;tritonus_share.jar
javac am\*.java am\audio\*.java
jar cmf packaging\manifest.mf am.jar am\*.class
am\audio\*.class

　　说明一下，我将以上提到的Java源码文件放在了am目录下，编译之后可以得到一个8k的am.jar文件，我们下一步所需要做的就是在我们的程序中引用这个包。
四、实例介绍

　　有了以上的基本的介绍，我就可以通过对我写的一个极为简单的语音对讲软件代码的解释让大家更清楚地了解一下这几个模块的具体使用方法，大家可以从中获得开发具有诸如网络电话、自动应答等功能的软件的类似方法，用于语音数据的传输。

　　程序的结构：

　　整个程序分三层，作用分别如下：

　　. 顶层: 用户界面

　　. 中间层: 控制层

　　. 底层: 传输层

　　程序有两个主要的类： （表）

类名描述 CallLink 网络传输层，用于接收或发送音频数据。 VoiceSender 作为第二个启动的线程提供从音频硬件捕捉并编码好的数据给网络传输层。