流媒体关键技术畅谈

　　什么是流媒体(Streaming Media)?

　　·流媒体是一种媒体数据传输的技术与过程;

 

　　·流媒体具有实时、流式传输特点，可以边传输变观看而无须把所有内容下载完之后再观看;

 

　　·通常需要专门的流服务器来支持;

 

　　·传输的媒体数据需经过压缩编码处理;

 

　　·传输的媒体数据可以是实时产生的，也可以是预存于服务器上的;

 

　　流媒体包括的主要过程

　　·编码

 

　　·分发

 

　　·播放

 

　　流媒体包含的关键技术

　　1、编码端技术

 

　　如何选择合适的编码器

 

　　如何设置合适的编码参数

 

　　码率与质量的控制方法

 

　　2、服务端技术

 

　　如何实现服务器端实时转封装

 

　　如何实现自适应流媒体技术

 

　　如何实现时移功能

 

　　3、播放端技术

 

　　如何实现多终端自适应播放器

 

　　选择合适的编解码器(codec)

　　1、压缩比

 

　　2、兼容性

 

        编解码器演变过程

 

 

　　为什么选用H.264编码?

　　1、高质量压缩技术

 

　　2、可以兼容多数平台和终端

 

　　a、PC

 

　　·Flash, QuickTime, Silverlight

 

　　·HTML5 (Chrome, IE9, Safari)

 

　　b、Mobile 所有的移动设备的原生播放器都支持播放

 

　　c、OTT 所有的OTT盒子都原生支持

 

　　H.264编码参数

　　1、Profile/Level

 

　　·与兼容性相关的最主要的参数

 

　　·大多数编码工具都支持该参数的配置

 

　　Profile指的是什么?

 

　　“定义一套能用于产生码流的代码工具和算法”

 

 

 

　　为什么会有Profile的存在?

　　a、用于确定硬件厂商和视频内容生产者之间的交集

 

　　b、超过目标设备支持的Profile，视频将播放不正常

 

　　c、例如：ipod只支持profile为Baseline的视频播放，Why?

 

　　·CPU性能差

 

　　·电池容量有限

 

　　d、因此：如需支持在ipod设备播放，请用Baseline profile

 

　　苹果设备profile的需求

 

 

　　Level是什么?

　　·“Level是对码流的一些关键参数的约束”

 

　　·如果Level起过目标设备标定的值 ，播放会不正常

 

 

　　什么是CBR和VBR

 

 

　　选择CBR还是VBR进行编码

　　1、CBR

 

　　a、整个视频采用同一种码率，跟内容不相关

 

　　b、优点

 

　　·计算简单

 

　　·快速，只需要1pass就可以

 

　　c、缺点

 

　　·对压缩的质量优化较小

 

　　2、VBR

 

　　a、根据视频的内容变化大小，采用不同的码率

 

　　b、优点

 

　　·可以做到很好的压缩质量

 

　　c、缺点

 

　　·需要2pass以上

 

　　·码率变化大，服务器端流控不好处理

 

　　关于I、P、B帧

 

 

　　关于关键帧的一些事实

　　1、理论上关键帧越少越好，因为关键帧数据量最大

 

　　2、事实上所有的播放都需要从关键帧开始

 

　　3、关键帧少了会有哪些影响?

 

　　·Seek精度变低了

 

　　·如果是实时流播放的时候等待的时间变长了

 

　　·如果在传输的过程因为某种原因丢了一个关键帧，恢复正

 

　　4、常播放的时间会变长

 

　　5、关键帧设置多少合适?

 

　　流媒体分发主要技术

　　·渐进式下载(HTTP Progressive Download)

 

　　·实时流式传输技术(Real Time Streaming)

 

　　·自适应流媒体技术(Adaptive Streaming)

 

　　渐进式下载

　　1、基于Http的连接，使得视频文件会尽可能快的传输到客户端的缓冲区

 

　　a、由此带来的影响：

 

　　·可能下载到额外多的数据

 

　　·会消耗额外多的带宽，在服务器端带宽有限的情况下，没办法最大限度满足更多人同时流畅观看

 

　　·加大客户端缓存的压力

 

　　b、有两优点：

 

　　·部署简单 ，不需要专门的流服务器，只需普通的http server即可

 

　　·客户端下载完整段视频内容后，可不受网络影响流畅地观看完全部内容

 

　　实时流媒体技术

　　1、视频内容实时流式传办理，渐进式下载的缺点，在这里都不存在，同时还具有如下的优点：

 

　　·可以提供直播的流分发

 

　　·可以对内容进行数字版权保护(DRM)

 

　　·有很好的网络传输质量实时监测机制

 

　　·可以提供丰富的交互功能

 

　　2、RTSP

 

　　3、RTMP

 

　　4、也有一些不足：

 

　　·需要专门的流服务器

 

　　·接入CDN的费用比较大

 

　　·抗网络抖动能力差

 

　　·RTSP默认一般采用的是UDP传输，很容易被防火墙屏蔽

 

　　自适应流媒体技术

　　1、一路流进，多路流出

 

　　2、切片传输

 

　　3、可以做到流之间在多种因素影响下自适应无缝切换，例如：

 

　　·网络带宽情况

 

　　·播放端cpu处理情况

 

　　服务器端需要处理的事情

　　·实时转封装

 

　　·时移支持DVR

 

　　·Seek支持

 

　　·防盗链

 

　　·DRM

 

　　如何实现多屏支持的播放器

　　·采用HTML5+flash fallback技术

 

　　·HTML5 + Flash+HLS，是目前解决多屏多终端支持的流媒体播出的最理想方案

 

　　流媒体技术发展趋势

　　·实时在线后期处理

 

　　·实时音视频模式识别

 

　　·WEBRTC技术

本文链接：https://www.idcbest.com/cloundnews/11000461.html