随着宽带网络 和宽带流媒体 应用的兴起,CDN (通常被称为内容分发网络 Content distribution network ,有时也被称作内容传递网络 Contentdeliverynetwork)作为一种提高网络内容,特别是提高流媒体内容传输的服务质量、节省骨干网络带宽的技术,在国内外得到越来越广泛的应用。
CDN的关键技术主要有内容路由技术、内容分发技术、内容存储技术、内容管理技术等。
内容路由技术
CDN负载均衡 系统实现CDN的内容路由功能 。它的作用是将用户的请求导向整个CDN网络中的最佳节点。最佳节点的选定可以根据多种策略,例如距离最近、节点负载最轻 等。负载均衡系统是整个CDN的核心,负载均衡的准确性和效率直接决定了整个CDN的效率和性能。
通常负载均衡可以分为两个层次:全局 负 载均衡(GSLB)和本地负载均衡(SLB)。全局负载均衡(GSLB)主要的目的是在整个网络范围内将用户的请求定向到最近的节点(或者区域)。因此, 就近性判断是全局负载均衡的主要功能。本地负载均衡一般局限于一定的区域范围内,其目标是在特定的区域范围内寻找一台最适合的节点提供服务,因此,CDN 节点的健康性、负载情况、支持的媒体格式等运行状态是本地负载均衡进行决策的主要依据。
负载均衡可以通过多种方法实现,主要的方法包括DNS 、应用层重定向、传输层重定向等等。
对于全局负载均衡而言,为了执行就近性判断,通常可以采用两种方式,一种是静态的配置,例如根据静态的IP地址配置表进行IP地址到CDN节点的映射 。另一种方式是动态的检测,例如实时地让CDN节点探测到目标IP的距离(可以采用RRT,Hops作为度量单位),然后比较探测结果进行负载均衡。当然,静态和动态的方式也可以综合起来使用。
对于本地负载均衡而言,为了执行有效的决策,需要实时地获取Cache 设备的运行状态。获取的方法一般有两种,一种是主动探测,一种是协议交互。主动探测针对SLB设备和Cache设备没有协议交互接口的情况,通过ping 等命令主动发起探测,根据返回结果分析状态。另一种是协议交互,即SLB和Cache根据事先定义好的协议实时交换运行状态信息,以便进行负载均衡。比较而言,协议交互比探测方式要准确可靠,但是目前尚没有标准的协议,各厂家的实现一般仅是私有协议,互通比较困难。
内容分发技术
内容分发包 含从内容源到CDN边缘的Cache的过程。从实现上看,有两种主流的内容分发技术:PUSH 和PULL。
PUSH是一种主动分发的技术。通常,PUSH由内容管理系统 发起,将内容从源或者中心媒体资源库分发到各边缘的Cache节点。分发的协议可以采用HTTP/FTP 等。通过PUSH分发的内容一般是比较热点的内容,这些内容通过PUSH方式预分发(Preload)到边缘Cache,可以实现有针对的内容提供。对于PUSH分发需要考虑的主要问题是分发策略,即在什么时候分发什么内容。一般来说,内容分发可以由CP (内容提供商)或者CDN内容管理员人工确定,也可以通过智能的方式决定,即所谓的智能分发。它根据用户访问的统计信息,以及预定义的内容分发的规则,确定内容分发的过程。
PULL是一种被动 的分发技术,PULL分发通常由用户请求驱动。当用户请求的内容在本地的边缘Cache上不存在(未命中)时,Cache启动PULL方法从内容源或者其他CDN节点实时获取内容。在PULL方式下,内容的分发是按需的。
在实际的CDN系统中,一般两种分发方式都支持,但是根据内容的类型和业务模式的不同,在选择主要的内容分发方式时会有所不同。通常,PUSH的方式适合内容访问比较集中的情况,如热点的影视流媒体内容;PULL方式比较适合内容访问分散的情况。
在内容分发的过程中,对于Cache设备而言,关键的是需要建立内容源URL、内容发布的URL、用户访问的URL,以及内容在Cache中存储的位置之间的映射关系。
内容存储技术
对于CDN系统而言,需要考虑两个方面的内容存储问题。一个是内容源的存储,一个是内容在Cache节点中的存储。
对于内容源的存储,由于内容的规模比较大(通常可以达到几个甚至几十个TB),而且内容的吞吐量较大,因此,通常采用海量存储架构。如NAS和SON。
对于在Cache节点中的存储,是Cache设计的一个关键问题。需要考虑的因素包括功能和性能两个方面:在功能上包括对各种内容格式的支持、对部分缓存的支持,在性能上包括支持的容量、多文件吞吐率、可靠性、稳定性。
其中,多种内容格式的支持要求存储系统根据不同文件格式的读写特点进行优化,以提高文件内容读写的效率,特别是对流媒体文件的读写。
部分缓存能力指流媒体内容可以以不完整的方式存储和读取。部分缓存的需求来自用户访问行为的随机性,因为许多用户并不会完整地收看整个流媒体节 目,事实上,许多用户访问单个流媒体节目的时间不超过10分钟。因此,部分缓存能力能够大大提高存储空间的利用率,并有效地提高用户请求的响应时间。但是 部分缓存可能导致内容出现碎片问题,需要进行良好的设计和控制。
Cache存储的另一个重要因素是存储的可靠性,目前,多数存储系统都采用了RAID技术进行可靠存储。但是不同设备使用的RAID方式各有不同。
内容管理技术
内容管理在广义上涵盖了从内容的发布、注入、分发、调整、传递等一系列过程。在这里,内容管理重点强调内容进入Cache点后的内容管理,我们称为本地内容管理。
本地内容管理主要针对一个CDN节点(由多个CDN Cache设备和一个SLB设备构成)进行。本地内容管理的主要目标是提高内容服务的效率,提高本地节点的存储利用率。通过本地内容管理,可以在CDN节 点实现基于内容感知的调度,通过内容感知的调度,可以避免将用户重定向到没有该内容的Cache设备上,从而提高负载均衡的效率。通过本地内容管理还可以 有效地实现在CDN节点内容的存储共享,提高存储空间的利用率。
在实现上,本地内容管理主要包括如下几个方面。
一是本地内容索引。本地内容管理首先依赖于对本地内容的了解。包括每个Cache设备上内容的名称、URL、更新时间、内容信息等。本地内容索引是实现基于内容感知的调度的关键。
二是本地内容拷贝。通常,为了提高存储效率,同一个内容在一个CDN节点中仅存储一份,即仅存储在某个特定的Cache上。但是一旦对该内容的访问超过该Cache的服务提供能力,就需要在本地(而不是通过PUSL的方式)实现内容的分发。这样可以大大提高效率。
三是本地内容访问状态信息收集。搜集各个Cache设备上各个内容访问的统计信息,Cache设备的可用服务提供能力及内容变化的情况。
可以看出,通过本地内容管理,可以将内容的管理从原来的Cache设备一级,提高到CDN节点一级,从而大大增加了CDN的可扩展性和综合能力。
综上所述,CDN作为一种支持大规模高质量的流媒体服务的关键技术,目前已经基本成熟,具备了广泛应用的能力。
相关推荐
### 内容分发网络(CDN)的四大关键技术详解 #### 一、内容路由技术:精准导向,提升用户体验 内容路由技术是CDN体系结构中的核心组件之一,旨在优化内容传输路径,确保用户能够从最合适的节点获取所需数据。这一...
总结来说,"行业分类-设备装置-基于移动用户的实时视频分发系统及方法"是一个综合性的课题,涵盖了网络传输技术、流媒体策略、视频编码与解码、内容分发网络、安全性和可扩展性等多个方面,对于提升移动用户在任何...
内容分发网络(CDN)是IPTV网络中的关键技术,它通过分布式架构提高了媒体内容的传输效率,使得内容能够快速准确地达到用户端。 在IPTV网络方案中,还包括了承载网络和家庭网络的部署。承载网络主要包括IP网络和...
为了解决这些问题,保利威公司推出了POLYV云直播产品,该产品采用了安全技术、平台智能技术、系统融合技术和视频大数据技术等四大关键技术,旨在提高企业视频应用的质量和安全性。 其中,安全技术是POLYV云直播产品...
IPTV的技术平台是一个复杂而完整的体系,包括前端系统、存储系统、流媒体服务器、运营管理系统和承载与传输网络等多个关键组成部分。 1. 前端系统:主要负责信号源的接收、编码和转换。不同类型的信号源会被转换成...
本文将围绕内容上传、存储、处理以及分发四大关键环节进行详细阐述。 首先,面对短视频内容的快速增长,如何实现快速上传成为首要问题。传统方式可能面临带宽限制和上传速度慢的问题,但通过优化的上传策略,如...
- **内容分发网络(CDN)技术**:通过在原网络基础上增设一层,将内容提前分发到离用户最近的服务器,从而提升用户体验,扩大网络容量。 - **自组织网络技术**:自动化网络部署和运维,减少人力成本,提高网络性能...
同时,媒体平台的版块布局正趋向于整合营销、商品、平台和内容四大线,旨在实现“品效合一”,即在提供优质内容的同时,增强商业转化效率。 内容社区的商业模式日渐多元化,不仅帮助B端品牌主系统化开展营销活动,...
在物联网中,信息的获取、处理和传输涉及多个层次和关键技术。本章将详细阐述物联网的基础技术,包括其三个层次和八层架构,并重点介绍物联网的四大支撑技术。 首先,物联网的三个层次包括感知层、网络层和应用层。...
视频点播服务通常分为集中式、基于代理、内容分发网络(CDN)和混合架构这四大类。集中式架构中,源服务器负责所有客户服务,但存在单点故障风险,且需要高性能服务器。基于代理的架构通过在关键位置部署代理服务器...
本文将深入探讨5G技术的特点、应用场景以及关键技术。 首先,5G技术的三大服务是其核心特性,它们分别是增强移动宽带(eMBB)、海量机器类通信(mMTC)和超高可靠低时延通信(uRLLC)。eMBB致力于提供前所未有的数据速率...
未来,计算机网络的发展趋势包括:完善信息基础设施、微电子技术和光技术的支撑、计算机、通信、信息的融合、电信网、电视网、计算机网的统一,以及多媒体、宽带网、移动通信和信息安全四大热点领域。 计算机网络的...
在投资机会方面,文档建议关注网络基础建设和内容分发网络等领域的投资机会。这表明IPv6改造不仅是一个技术升级的问题,也是一个潜在的经济推动力,相关企业和公司如紫光股份、浪潮信息、网宿科技、高鸿等可能会因此...
1. 内容创作:随着消费者对高质量内容的需求增加,原创内容的生产和分发变得尤为重要。例如,优质电视剧、电影、网络小说、动漫等,都能吸引大量用户并形成稳定的流量入口。投资者应关注那些拥有丰富内容资源、创新...
边缘计算模型中的基础资源、边缘管理、边缘安全和边缘计算业务应用是其四大关键组成部分,涵盖了计算、存储、网络等关键技术。 在行业应用方面,边缘计算与云计算共同推动了数字化转型。以流媒体服务为例,边缘计算...
量子密钥分发(QKD)是一种利用量子物理原理实现安全加密通信的技术,它通过利用量子态的不可复制性和测量的随机性来确保通信过程中的密钥安全性。QKD技术的发展与全球信息安全需求的日益增长密切相关,特别是在...
CDN(内容分发网络)通过网络智能调度和多级缓存优化提升网络传输速度。服务化则是将大系统拆分为小服务,提高模块化程度和灵活性。消息队列用于异步处理,减少系统间的耦合,提高系统的响应速度。 以新浪微博为例...
"直播、点播课程发布四大子系统"是e-learning平台的核心组成部分,它们共同构建了一个高效、灵活的学习环境。下面我们将详细探讨这四个关键子系统: 1. 直播系统: 直播系统是e-learning中的实时教学工具,它允许...
- Jianhua He、Zuoyin Tang、Yan Zhang和Zongkai Yang共同撰写的章节,探讨了在宽带WLAN环境下提供高质量多媒体服务的关键技术。 - 包括了网络架构设计、服务质量保障措施以及多媒体服务的优化方法等内容。 11. *...