摘要: 2018年4月11-12日,2018亚太CDN峰会在北京隆重召开,大会由亚太CDN领袖论坛、电视云论坛、短视频论坛、视频云论坛、新技术论坛、运营商论坛、国际云论坛等7大部分组成。在视频云论坛上,阿里云视频云高级算法专家黄海宇作了题为《窄带高清2.0——让直播更惊艳的魔术》的主题致辞。
2018年4月11-12日,2018亚太CDN峰会在北京隆重召开,大会由亚太CDN领袖论坛、电视云论坛、短视频论坛、视频云论坛、新技术论坛、运营商论坛、国际云论坛等7大部分组成。在视频云论坛上,阿里云视频云高级算法专家黄海宇作了题为《窄带高清2.0——让直播更惊艳的魔术》的主题致辞。下面为演讲内容:
我是来自阿里云视频云的黄海宇,我目前从事的工作主要是阿里云视频直播相关技术。随着直播的发展,CDN的带宽、CDN的成本以及视频的清晰度已经成为一个非常重要的问题,我的演讲题目是“窄带高清2.0——让直播更惊艳的魔术”。
其实,阿里云早在2015年就已经提出了窄带高清的概念。这个概念提出来以后,很多友商开始引用这个概念,并且也推出了类似服务。
那么,我们当初提出窄带高清的原因是什么?在近两年来,在此基础上又做了哪些发展呢?今天我将给大家分享一下。
大家观看视频时,都希望画质清晰,但实际上,在看互联网直播是,我们更多看到的是比较模糊的视频。那么,我们是否现在没有办法制作高清视频呢?答案是否定的。
上个月,阿里云在深圳云栖大会现场第一次进行了8k直播,舞台的屏幕上显示了从1300公里以外的阿里巴巴杭州园区传输回来的直播图像视频,现场观众清晰地看到了景泰蓝淘公仔的精致画面。但实际的直播业务场景中,用户在做互联网直播的时候,由于网络传输原因,并不能让每位观众都能看到非常清晰的视频,高清晰度的直播的限制主要在网络的带宽上。
构建在阿里云上的一个直播平台调研数据显示,只有16%的用户能够看到超清的视频,54%的用户能够看到高清的视频,30%的用户看不到高清视频。
如果,能把超清码率往高清靠一下的话,是不是更多人就能够看到超清的视频了呢?
实际上,我们也正在向这个方向努力,但这样会带来一个问题,把超清码率往高清靠的时候,对清晰度会有多大影响呢?做视频编解码朋友都会熟悉PSNR的公式,被广泛应用在衡量各种不同编码器的编码质量上,实际上这个公式确实非常客观地描述了一个视频经过视频编码以后信息量的损耗,站在信息论的角度来进行分析的。但实际视频是人眼来看的,人眼对视频的敏感度和视频在编码过程中损失的信息量并不是直接对应的。
窄带高清——人眼主观感受最优为基准的视频编码技术
基于以上讨论,可以引出窄带高清的概念。窄带高清实际上是一套以人眼的主观感受最优为基准的视频编码技术,研究的是在带宽受限情况下,如何追求最佳的视觉感受。
把范围缩小到人眼主观感受,以及带宽受限两个条件时,会发现很多有意思的事情。
首先和现在的编码标准发展趋势是相同的,效果能够叠加。编码器发展时间,差不多每十年,编码器都会发展一代,编码质量会大约节约30%-50%的码率,这个码率的节约是按照PSNR评价标准来做的。但利用窄带高清的技术,把焦点集中在人眼的感受,可以把业界普遍浪费的带宽节省下来,让我们的带宽更多放在人眼感兴趣的地方,可以轻松达到30%的带宽节约,几乎可以平等地媲美一代编码器的进步。因为技术关注点在人眼上,我们可以把业界普遍处理不好的复杂场景做得漂亮,非专业观众一眼就可以看出优势。
窄带高清1.0——两套人眼视觉模型
窄带高清1.0是阿里巴巴在2016年推出的一个版本。在窄带高清1.0的背后隐藏着两个人眼视觉模型:
第一个模型称之为保真度与主观评分值之间的世界模型,横坐标是视频保真度,代表编码出来的制品与原始视频之间信息量差别,纵坐标是人眼对视频的评分,总共是5分。随着编码后视频越来越接近原始视频,人眼对视频的要求是越来越高的,但并不是一条线性的形状,是分成三段曲线,这使得阿里云知道中间这段非常陡峭的区域正是设置比较好码率的地方,在两端比较平坦的地方,加大视频码率,提高视频客观清晰度,实际上并不能带给人眼很好的清晰度。中间稍微把码率提高一点,视频对人眼的感受就完全不一样,每一比特码率都会非常有所值。所以阿里云在设置视频码率时会尽可能选择视频档位在中间的区域。
第二个模型是分辨率与码率的模型。在这个模型中,关注的是同样的码率到底应该设置多少清晰度,或对一个给定的清晰度,应该设定一个怎样的码率。传统视频网站中,通常设置方法,比如480p会设600k,720p设1.2m,超清1080p设2.5m,类似这样一个比较固定的码率设置。实际上每个视频所需要的码率不一样,表达的清晰度也不一样。例如,对于一个运动场景不复杂的教育视频来说, 1080p在的码率也会有非常好的效果。在实践中,我们会根据视频的类型和清晰度,预期选择码率和分辨率,同时根据视频内容做合理的码率分配。
通过传统方法,通常会设一个720p分辨率,码率大概是1m。实际上这个视频表现非常糟糕,鸟叔衬衫上全是马赛克,而且雪花点全部变得模糊。原因是这个视频运动非常复杂,只有1m码率,这种情况下,需要用1m码率去表达1280×720象素,对每一个象素的表现都会非常差,会损失很多象素细节,导致整体效果。
我们做过以后的效果,只用了887k码率,比之前码率节省15%-20%,用的是432p的分辨率,在窄带高清时经常会设置这样的分辨率,追求达到最好的人眼主观感受的效果。
窄带高清2.0——深入微观世界 分析视频细节
窄带高清2.0是阿里云在2017年杭州云栖大会发布的。窄带高清2.0深入到微观层面,分析视频每一个细节,发现这些视频细节对人眼敏感度是怎么样的。引入人眼敏感度模型概念,关注人眼到底会关注哪些细节、忽视哪些细节。对人眼关注的地方会给予更高的码率,甚至会对原始视频进行一些修复,使其更适合人眼观看的体验。对于忽视的地方可以降低一些码率。
从我们主观评测可以发现,基于H.264的窄带高清2.0已经完全超越了x264 veryslow的效果,与x265的veryslow效果相当,通过窄带高清2.0,使得我们可以超越当前编码器,提前进入到下一代编码器。
下面我们看下窄带高清2.0的实战。下图的直播画面中,在聚焦区域,主播的脸、头发,窄带高清2.0的效果会显得更加柔顺。在一些脱焦的区域,窄带高清2.0分配了比较少的码率,完全不会影响人眼对它的主观感觉。
另一个实战场景是游戏直播。枪战类型的游戏直播非常消耗码率,1080p设置2.9m的游戏直播,整体来看会有非常多的马赛克,因为这个视频在2.9m,完全无法表达1080p的象素,窄带高清2.0使用了720p的分辨率,同样2.9m,效果会好得多,另外,窄带高清2.0将人眼比较敏感的文字,纹理做了增强,整个视频看起来更加舒服。
窄带高清2.0可以节约大量的带宽成本,同时也能够提高视频观看流畅度,在高码率时能节省差不多1倍的码率,在低码率时能节省20%-30%,综合可以得到30%以上成本的节约。另外,窄带高清2.0还可以提高清晰度,如果追求的是视频清晰度,可以设置相同的码率。
在通常情况下,视频画质越好带宽费用肯定越高,带宽又是视频服务中占比很高的一项成本,很多开发者都在寻求效果与成本的平衡点。阿里云的窄带高清技术,就可以完美的解决这一难题,这就是云计算技术带来的实际价值体现。
阅读更多干货好文,请关注扫描以下二维码:
相关推荐
例如,阿里云的“窄带高清”技术,能够在低带宽下实现高画质传输,同时还有高速通道、秒开、智能剪辑等特色功能,以提升服务质量和用户体验。 此外,全链路监控、图像增强、流合并、异地容灾、防盗链、时移直播、云...
2018重庆云栖大会与重庆智博会强强联合,继续以“驱动数字中国”为主题,聚焦IoT、...在重庆云栖大会期间,嘉宾黄海宇做了《超大规模直播码率控制》的主题分享,对为什么要关注码率控制、宏观码率控制等内容展开了讨论
那些年,与你同分同位次的同学都去了哪里?全国各大学在辽宁2020-2024年各专业最低录取分数及录取位次数据,高考志愿必备参考数据
下单系统的Spnigboot和微信小程序实现(全栈微信小程式下单)
该项目是一款基于Java的智能文件管家设计源码,涵盖102个文件,包括29个Java源文件、27个类文件、19个XML配置文件、10个YAML文件、8个列表文件、4个属性文件、4个JAR包文件以及1个Git忽略文件。该系统旨在提供高效便捷的文件管理解决方案。
基于YoloV8的简单目标检测和跟踪,使用KMNET进行鼠标移动(处理多目标移动抖动,处理鼠标平滑移动)
本项目是一款基于Vue和JavaScript开发的心旅途个性化推荐旅游平台设计源码,整合了513个Java文件、76个PNG图片、70个XML配置文件、62个JavaScript文件、42个Vue组件文件、28个CSS样式文件、22个HTML文件、18个YAML配置文件、16个属性文件、11个Vue模板文件,总计919个文件。平台采用现代化前端技术堆栈,旨在为用户提供个性化的旅游推荐服务。
AutoLine是一个基于Python的通用自动化测试开源平台,包含了657个文件,涵盖228个PNG图片、209个CSS样式、95个JavaScript脚本、39个Python源代码、21个HTML文件、19个XML文件、14个GIF图片、6个DS_Store文件、5个文本文件、4个Markdown文件。该平台的设计源码由多种编程语言编写,旨在提供灵活高效的自动化测试解决方案。
微信小程序图像裁剪工具_ e-cropper
【作品名称】:基于MATLAB的答题卡识别系统。带一个GUI可视化界面,通过输入答题卡旋转校正,边缘检测,霍夫曼变换检测答题卡填涂区域 【适用人群】:适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目介绍】: 传统的阅卷方式为流水线的手工作业方式。这样的方式存在很多的问题,因为很容易受到阅卷者的主观因素的影响,从而产生一定的偏差。所以很多人就讨论如何将人为的因素降低到最低,来确保考生的考试成绩的公平公正和准确。 基于MATLAB的答题卡识别系统。带一个GUI可视化界面,通过输入答题卡旋转校正,边缘检测,霍夫曼变换检测答题卡填涂区域,分割,识别属于ABCD等,通过和实现设置好的标准答案excel对比,从而得出最终分数 【资源声明】:本资源作为“参考资料”而不是“定制需求”,代码只能作为参考,不能完全复制照搬。需要有一定的基础能够看懂代码,能够自行调试代码并解决报错,能够自行添加功能修改代码。
那些年,与你同分同位次的同学都去了哪里?全国各大学在辽宁2020-2024年各专业最低录取分数及录取位次数据,高考志愿必备参考数据
本项目深入解析并实现了基于Java核心技术的Nacos配置中心,包含2707个文件,涵盖2180个Java源文件、177个JavaScript文件、52个XML文件、35个SCSS文件、22个PEM文件、20个属性文件、18个Markdown文件、16个Protocol Buffers文件、12个JSON文件、11个字体文件。项目涉及多种语言和技术,旨在提供一个全面的配置中心解决方案。
枝晶生长Comsol仿真模型。 锂枝晶生长过程的 枝晶生长Comsol仿真模型。 锂枝晶生长过程的枝晶形貌,温度场耦合,应力场,浓度场,电势场。 C++程序,基于元胞自动机法模拟枝晶生长,能实现任意角度(偏心正方算法),同时采用LBM考虑了对流作用对枝晶生长的影响
本项目为apple_pro客户关系管理系统的组件化开发源码,采用Python、CSS、HTML和JavaScript等多种语言编写,总计包含1078个文件。其中,Python源文件254个,Python编译后文件244个,CSS样式文件65个,HTML模板61个,JavaScript脚本40个,以及其他类型文件如LESS、SCSS、XML、PNG等。该系统通过组件化设计,旨在提升客户关系管理的效率与用户体验。
微信小程序日历插件_Calendar
那些年,与你同分同位次的同学都去了哪里?全国各大学在辽宁2020-2024年各专业最低录取分数及录取位次数据,高考志愿必备参考数据
另一个小型购物中心。Litemall=Spring Boot后端+Vue管理员前端+微信小程序用户前端+Vue用户移动端_stemall
该项目为基于GitHub的ESPnet语音处理工具包设计源码,包含10633个文件,涵盖Shell脚本、Python、MATLAB、C++等多种编程语言。文件类型包括2872个shell脚本、2303个YAML配置文件、1662个Python脚本、1567个配置文件、306个Markdown文件、223个Perl脚本、39个文本文件、35个Bash脚本、27个PNG图片、21个补丁文件。该项目定期更新,适用于语音处理领域的研究与开发。