音视频会议文选

多媒体会议可参考的资料
0) VoIP/SIP/RTP/SDP Tutorial http://www.siptutorial.net
1) Java RTP source code http://sourceforge.net/projects/jlibrtp/
2) Jingle: XEP-0272: Multiparty Jingle (Muji) [XMPP XEP-0272]
3) SIP: Session Initiation Protocol [RFC 3261]
4) RTP: A Transport Protocol for Real-Time Applications [3550]
5) Architecture for a SIP-Based Conferencing Server
6) Voice and Video Conferencing Fundamentals


VoIP，通过网络协议传输声音，也称为IP电话，网络电话，数字电话。VoIP的过程：开口说出声音 => 气流震动 => 电信号 => 模拟信号 => 数模转换算法 => 数字信号 => 封装在分组中（字节集） => 网络 => 解开分组 => 提取数字信号 => 数模转换算法 => 模拟信号 => 电信号 => 气流震动 => 耳朵听到声音。

SIP仅用于建立与控制会话，会话内的数据交换，音视频编解码由其他协议完成。SIP用于建立连接、拨号、释放连接，SIP不是会话描述协议，也不是进行会议控制。SIP不是资源预留协议，也与服务质量无关。

Message: 一个请求或响应。
Transaction: 一回应答中所有的消息。
Dialog: 一个连接中所有的应答。
Call: 一次会话中所有连接。

RTP，最初为支持多方媒体会议而设计。RTP提供时间戳和控制机制同步各种具有时间属性的流,此称为实时。Real-Time的包含的语义有：媒体内与媒体间的同步，Real-Time, 跟现实的时间过程一样。RTP并不保证及时交付，这个由UDP和TCP实现。

Intra-Media Synchronization 媒体内的同步，语速或帧频。
相同媒体类型的包以同样的速率（同步）进行传输。缓存消除延迟抖动（空间），使用采样时钟漂移（时间）。

Inter-Media Synchronization 媒体间的同步（音频和视频同步，听看同步）。
为了不同媒体类型的包以同样的速率（同步）进行传输，可以使用域的真名(CNAME)关联不同的流。

CNAME(真正的域名)解决媒体间的同步，音频与使用不同的UDP端口和多播地址。分开，是为了提供选择，比如只听声音，不看视频。

逻辑名字不同({foo.example.com, bar.example.com})，
物理名字相同（同样的端口和主机对{ip, port)}。

例子：
foo.example.com.        CNAME  bar.example.com.
bar.example.com.        A      192.0.2.23

Mixer解决数字信号的传输速率的不同的问题即信道的问题（带宽不匹配），也可以用参与者的头像模拟会议场景。
Translator: 解决数字信号的信源和信宿的问题，即防火墙穿越，确定参与者的真正位置。

混合器（混合的对象是多个媒体流）
1）合并几个媒体流（同种类型）为一个新的流（可能需要新的编码）
2）减少网络带宽（低速的拨号网络）
3）表示为一个带有新的ID标识的信源

转换器（转换的对象是单个媒体流）
1）一个媒体流
2）转换编码方案（高速=>低速，不同的编码方案）
3）可用于协议转换或防火墙


防火墙穿越：UDP打洞
算法
假设有两台分别处于各自的私有网络中的主机：A和B；N1和N2是两个NAT设备；S是一个使用了一个众所周知的、从全球任何地方都能访问得到的IP地址的公共服务器。

步骤一：A和B分别和S建立UDP连接；NAT设备N1和N2创建UDP转换状态并分配临时的外部端口号。
步骤二：S将这些端口号传回A和B。
步骤三：A和B通过转换好的端口直接联系到对方的NAT设备；NAT设备则利用先前创建的转换状态将分组发往A和B。