本文介绍了一种采用Qt5.0的Multimedia多媒体技术实现音视频采集和本地播放,采用FFmepg开源库把所采集的原始视频数据进行编码成H.264压缩格式,采用G.711编码方式把所采集的原始音频数据编码,再把编码之后的音视频压缩数据进行网络传输的技术。
利用QT技术开发而成的即时通讯demo,可参考下载AnyChat 音视频SDK包中的源代码,anychatcoresdk_linux_x86_r4238\src\client\Qt5\helloAnyChat,更多相关技术可登陆技术论坛共同讨论bbs.anychat.cn
Qt是一个跨平台的C++图形用户界面应用程序框架,凭借其优良的跨平台特性、良好的封装机制、丰富的API、大量的开发文档等优点,得到了很多软件开发者的青睐。Qt的多媒体技术发展到现在,使用简单、功能灵活,已经支持跨平台开发,支持QML以获得更多资源,它为开发者提供了一系列丰富的接口,使开发者能够轻松便利的使用平台的、媒体回放以及操作摄像机和收音机设备的多媒体技术。
一、音视频编码
音视频编码技术就是采用特定的压缩技术,将某个音频或视频格式的文件转换成另一种音频或视频格式文件的方式。
视频的编码方式有很多,目前最为常用的是MPEG系列和H.26X系列。其中MPEG系列是由ISO所制定而发布的视频、音频、数据的压缩标准。H.26X系列是由国际电信联盟(ITU-T)开发的视频压缩编解码标准,包括H.261、H.262、H.263、H.263+、H.263++、H.264,其中H.264标准是由国际电信联盟电信标准化部门(ITU-T)和ISO/IEC共同研究发布。与MPEG相比,H.264具有更高的数据压缩比,在同等图像质量下,H.264的数据压缩率比MPEG-2高2倍~3倍,比MPEG-4提高了近30%。经过H.264压缩的视频数据,提高了存储性能,在网络传输过程中占用的宽带更少更经济,极大地抑制了由于摄像机噪声导致的图像失真,背景流动现象,使图像质量更加清晰。
G.711是由国际电信联盟(ITU-T)制定的音频编码方式,又称ITU-TG.711,目前有两种编码方式:A-law以及Mu-law,Mu-law主要运用于北美和日本,A-law主要用于欧洲和世界其他地区。
二、FFmpeg及X264编译
FFmpeg是一款免费的开源的,能够跨平台调用的软件,可以用来记录、转换数字音视频,并能将数字音视频转化为流。除了包含目前领先的音/视频编码库libavcodec之外,还包括了以下几个部分:
libavformat:用于各种音视频封装格式的生成和解析,包括获取解码所需信息以生成解码上下文结构和读取音视频帧等功能。
libavutil:包含一些公共的工具函数,是ffmpeg的基础。
libswscale:图像格式转换、视频场景比例缩放、色彩映射转换。
libpostproc:图像后期效果处理。
FFmpeg是基于Linux平台开发的,要想在windows平台下使用,可以采用MingGW编译FFmpeg源码,生成动态库文件。但是下载的FFMpeg源码默认是不包含H.264编解码功能的,需要额外下载x264源码,采用MingGW编译器把x264编译成动态库之后,在编译FFMpeg的时候把H.264编解码功能添加进去,才能在FFmpeg中成功添加H.264编解码功能。
三、基于Qt多媒体技术的音视频采集和编码实现
1.多媒体模块的导入
Qt5.0版本中的多媒体模块提供了一组丰富的QML类型和C++类以满足多媒体开发的需要,另外还提供了必要的API接口来访问照相机和收音机设备。
要在Qt5.0以上的版本中使用多媒体模块,首先应该在工程中进行如下的设置:
CONFIG+=mobility MOBILITY=multimedia 这样设置之后才能使用Qt的多媒体库。
2.FFMpeg头文件及动态库的添加
把编译好的FFmpegSDK文件放到一个文件夹内,首先在工程中设置好头文件路径以及需要的库文件,在工程中的文件内包含使用的头文件,注意的是,因为FFMepg库的接口都是C函数,头文件中也没有extern“C”的声明,而Qt是C++环境,所以在使用头文件时,需要添加extern“C”。
3.摄像机视频的采集和编码
Qt中的QCamera类为系统的摄像机设备提供了接口,它和QVideoWidget搭配使用用来显示摄像机视频图像,搭配QMediaRecoder可以保存摄像机视频,搭配QCameraimageCapture可以抓拍摄像机图像。 本文所介绍的视频采集方法,除了需要实时显示摄像机图像之外,还需要同步获取摄像机视频源数据,所以引入了QAbstractVideoSurface这个类。在工程中添加类VideoWidgetSurface,该类继承基类
QAbstractVideoSurface:
(1)重载虚基函数QList<QVideoFrame::PixelFormat>supportedPixelFormats(QAbstractVideoBuffer::HandleTypehandleType=QAbstractVideoBuffer::NoHandle)const;用于设置程序支持的原始视频格式;
(2)重载基类的boolpresent(constQVideoFrame&frame)函数,用于获取当前帧的视频源数据;
(3)重载基类的boolstart(constQVideoSurfaceFormat&format)函数,用于启动视频表面及进行相应的窗口设置;
(4)重载基类的voidstop()函数,用于停止当前的视频表面和释放调用start时所产生的资源。
(5)添加voidpaint(QPainter*painter)函数,用以绘制视频图像,以在本地窗口中输出。其次,新建一个QCamera对象m_pCamera,新建一个VideoWidgetSurface对象m_pVideoSurface;通过m_pCamera->service()->requestControl<QVideoRendererControl*>()方法获取QVideoRendererControl的指针pControl,如果该指针存在,则调用pControl的setSurface关联到m_pVideoSurface。这样当m_pCamera执行完Start()后,就可以在m_pVideoSuface对象的present函数中得到每一帧的QVideoFrame视频数据。在测试程序中获取的视频数据格式为RGB32,需要先转为YUV240P的格式,然后再用FFmpeg的H.264编码功能实现视频数据编码。
4.麦克风音频的采集和编码
Qt中的QAudioInput类可以进行本地的麦克风、收音机等设备的音频采集,而QAudioOutput类可以实现把本地的音频数据输出到音频输出设备,实现音频的播放功能。具体的步骤如下:
(1)获取声音的输入输出设备,可以直接获取默认的设备,也可以在程序中查找声音输入输出设备,然后指定,本文采用直接获取默认设备的方式,调用QAudioDeviceInfo::defaultInputDevice()方法得到QAudioDeviceInfo的指针m_audioInputDevice;调用QAudioDeviceInfo::defaultOutputDevice()方法得到QAudioDeviceInfo的指针m_audioOutputDevice。
(2)设置QAudioFormat格式,QAudioInput和QAudioOutput对象的QAudioFormat格式应一致,否则播放的声音就与输入的声音不同。新建一个QAudioFormat对象format,
本例中设置如下:采样率(SampleRate):8000;信道数(ChannelCount):1;样本大小(SampleSize):16;编码方式(Codec):"audio/pcm";字节序(ByteOrder):QAudioFormat::LittleEndian;采样类型(SampleType):QAudioFormat::SignedInt。
(3)分别按照上述的声音输入输出设备和声音参数信息创建QAudioInput对象m_audioInput和QaudioOutput对象m_audioOutput。
(4)调用m_audioInput和m_audioOutput的start接口,打开声音输入输出设备,将分别返回QIODevice指针m_audioInputIODevice和m_audioOutputIODevice。
(5)当声音输入设备采集到声音数据后,将触发m_audioInputIODevice的readyRead()信号,所以将此信号与该类的captureDataFromDevice()函数连接,即可在此函数内处理得到的原始数据。
(6)在captureDataFromDevice()槽函数中调用m_audioInputIODevice的read函数得到原始的音频数据。
(7)声音播放:把得到的原始音频数据写入缓存,然后调用m_audioOutputIODevice的write函数把缓存内的数据写入声音输出设备即可听到声音。
(8)原始音频数据采用G.711编码方式进行编码,就可以获得压缩后的音频数据,即可进行网络传输。
四、开发过程中注意事项
1.要在本地计算机设备中显示摄像机视频,在显示的窗口类重载paintEvent函数,在该函数内调用VideoWidgetSurface的paint函数.
2.FFmpeg的初始化只需要一次,不能在每次进行编码时都初始化和重新设置H.264编码器。
五、结语
本文基于Windows操作系统,Qt5.1开发平台,充分利用Qt的多媒体模块和FFmpeg及G.711的编码技术,实现了本地摄像头、麦克风等设备的音视频采集和编码功能,不仅能够在本地实现音视频的预览,而且为实现音视频的网络传输做好了充分的准备。本例在win7操作系统中测试通过,同样也可应用于ipad等移动设备。
参考文献:
[1]http://qt-project.org/doc/qt-5.0/qtmultimedia/qtmultimedia-index.html
[2]黄诗文.基于ffmpeg的高性能高清流媒体播放器软件设计[D].浙江:浙江大学[硕士论文],2012
[3]司马飞,善学文,倪宏.Windows平台下应用FFMPEG实现H.264视频回放:[J].微计算机应,2008,29(11):61-65
[4]张国庆.基于FFmpeg的视频转码与保护系统的设计与实现[D].湖北:华中师范大学[说是论文],2011
本篇文章来源于中国安防杂志网(www.cspmag.cn)
相关推荐
总的来说,音视频UDP传输项目涉及到Android平台的多媒体处理、Qt库的应用、UDP网络编程以及蓝牙和OTG串口的利用,这些都是IT领域中重要的技术知识点。理解并掌握这些技术,对于开发实时音视频应用或者点对点通信系统...
在我们的应用场景中,我们需要将Qt采集到的音频数据封装成RTP包,然后通过JRTPLib发送到远程目的地。 实现这个功能的关键步骤如下: 1. **配置Qt Multimedia**: 初始化QAudioInput对象,选择合适的音频输入设备,...
VLC拥有强大的媒体播放和流处理能力,它能够解码各种音视频格式,并支持RTSP、HTTP、FTP等网络传输协议,使得远程音视频流的获取变得可能。在会议系统中,VLC用于接收并播放来自不同参与者的数据流,实现了多路并发...
4. **网络传输**:如果视频监控系统需要远程查看,那么网络通信技术就变得至关重要。QT的QtNetwork模块提供了HTTP、FTP和其他网络协议的支持,可实现视频流的传输和接收。 5. **存储与记录**:为了保存监控视频,...
**Qt实现RTSP视频流播放器** 在计算机编程领域,Qt是一个非常强大的跨...这种技术在远程监控、视频会议、在线教育等领域有着广泛的应用。理解并掌握这些知识点,有助于开发者在实际项目中实现更复杂的多媒体处理功能。
在实际开发中,由于该源码不包含核心视频通话功能,这部分可能需要借助第三方库如WebRTC或者OpenCV来实现音视频的采集、编码、传输和解码。集成这些库并实现音视频的同步播放和通信将是一个挑战,但也是视频会议软件...
同时,QT还内置了多媒体框架,能够处理音视频数据,这对于视频监控系统来说是基础功能。 【标签】"QT C++"表明该系统的开发语言是C++,并且利用了QT库。C++是一种面向对象的编程语言,具有高效、灵活的特点,适合...
此外,网络传输也是视频监控系统的一部分,可能需要使用`QtNetwork`模块实现视频流的实时传输和远程访问。 总结来说,"基于QT的视频监控系统"涉及到的知识点包括: 1. QT框架和C++编程基础 2. `QtMultimedia`模块,...
通过以上技术,我们可以构建一个完整的系统,实现从视频录制、本地播放到远程上传的全过程。在开发过程中,还需要注意错误处理、性能优化以及用户体验设计等多方面因素,以确保系统的稳定性和易用性。
监控语音和视频是远程支持中的高级功能,使技术支持能够听到用户的语音反馈,甚至通过视频看到他们的操作环境,从而提供更精确的帮助。这可能需要额外的硬件支持,如麦克风和摄像头,以及支持这些功能的远程工具。 ...
【标题】"live555 Qt工程"是一个专为Linux平台设计的开源项目,它将流行的多媒体框架live555与图形用户界面库Qt相结合,为开发者提供了一种在Qt Creator环境中开发实时音视频流应用的便利途径。live555是著名的开源...
本项目“超值QT5之mediaplayer实现RTSP以及本地解码播放”旨在利用QMediaPlayer类来实现对RTSP(Real-Time Streaming Protocol)流媒体协议的支持,同时也处理本地媒体文件的解码播放。 RTSP是一种应用层协议,用于...
嵌入式Qt是一种在嵌入式设备上运行Qt框架的技术,它允许开发者使用Qt的丰富图形用户界面(GUI)库来构建高效的、交互性强的应用程序。Qt是一个跨平台的开发框架,广泛应用于桌面、移动、物联网(IoT)和嵌入式系统。...
- **音视频通讯**:音视频服务是指通过网络实现实时的声音和图像传输,常应用于在线教育、远程医疗、视频会议、游戏语音等多种场景。 - **SDK(Software Development Kit)**:是一系列软件开发工具的集合,包括库...
### 基于JMF的音视频同步播放技术解析 #### 引言 随着多媒体技术的飞速发展,音视频的同步播放成为了诸多应用领域的关键需求。Java Media Framework(JMF),作为Sun Microsystems(现Oracle)推出的一款强大的...
【Qt编写的RTSP播放器+视频监控(vlc版本)】是基于Qt框架开发的一款能够处理实时流协议(RTSP)的播放器应用,结合了VLC多媒体库,用于实现视频监控功能。这个项目的核心在于如何利用Qt的图形界面能力和VLC的媒体处理...
《基于PXA255和嵌入式QT的IP...通过集成硬件资源和软件框架,实现了音视频的实时传输,为用户提供了一种高效、便捷的远程通信方式。这一设计不仅扩展了传统IP电话的功能,也展示了嵌入式系统在现代通信领域的广泛应用。
在现代通信技术中,点对点视频会议系统已经成为了远程协作和沟通的重要工具。这篇论文详细介绍了如何利用Linux操作系统和QT_Embedded库来构建这样一个系统。Linux因其开放源代码、高度可定制化和强大的社区支持,...
FFmpeg-QT实现摄像头rtsp实时显示是一种...这个过程涉及音视频处理、网络通信和GUI编程等多个技术领域,对提升开发者综合能力非常有帮助。同时,FFmpeg和Qt都是高度可定制的,可以根据实际需求进行功能扩展和性能优化。