直播腾讯云_腾讯云联合信通院发布《超低延时直播白皮书》，超低延时直播技术实践揭秘

直播行业的蓬勃发展，推动了直播技术的快速演进，超低延迟直播技术也随之兴起。

近日，腾讯云与中国信息通信研究院联合发布《超低时延直播白皮书》，旨在为超低时延直播技术的标准化奠定基础，推动超低时延直播技术的创新发展，推动各行各业利用超低时延直播技术，利用音视频技术进行数字化转型和业务创新，从而为用户带来更好的在线互动体验。

超低延迟直播技术架构及性能优化显著，降低延迟90%以上✦

作为超低延迟直播技术的引领者和掌控者，腾讯云开创性地将该技术引入直播领域，并率先将直播延迟降低至500ms以下。

具体来说，超低延时直播摒弃了传统直播的传输和播控模型，借鉴通信模型，将传输和播控以实时反馈的方式联系起来，形成反馈闭环，并通过感知网络状况来调整播控缓存策略和传输策略，使传输和播控缓存根据实时网络进行最优匹配，让用户在变化的网络环境下也能获得最佳体验。

图：超低延迟直播模型

另一方面，超低时延直播是在信令流程、音视频编码格式支持、传输改造、媒体处理优化源等方面进行全面的优化升级，使其更适合在大规模直播场景下应用。

此外，超低延迟直播在渲染卡顿、首帧时间等核心指标上超越传统直播CDN，为用户创造更优质的直播互动效果。

白皮书摘录如下：

其初衷是用于低延迟的P2P（Peer-to-Peer）通信，但在直播场景下也面临挑战，具体表现如下：

◉信令流程复杂，难以满足直播首帧要求，标准信令需要经过SDP()交换、ICE()交互、DTLS(Layer)握手后才能传输流媒体数据，严重恶化首帧的时耗。

◉ 原生音视频编码格式支持有限，标准音频不支持AAC、视频不支持H.265和B帧、不支持私有数据透传、不支持可选加密，这些都限制了在大规模直播场景中的应用。

◉原生的传输策略并不适合直播，其重传发包策略是基于P2P通话、会议的，并不适合一对多的直播场景，在通话场景下，为了保证低延时，重传比较激进，但在高码率、高清直播场景下，激进重传会造成大量带宽浪费。

◉ 原生码流控制策略不适合直播，会根据带宽容量检测带宽，调整编码码率。但在大房间直播中，主播的编码推流会被多个下游用户复用，单个用户无法提供反馈，为了帮助主播调整推流编码，需要新的解决方案。

针对以上问题，腾讯云快直播在超低延迟直播方面做了大量优化和升级。

✦✦

1）

信号转换

标准信令交互过程复杂且冗长，不利于直播的快速启动，解决这个问题需要对信令进行细致的考量。

Fast Live提出的二进制压缩方案（压缩率10%）是事实上的标准，它将SDP压缩到一个MTU内，在一个UDP包中完成SDP交互，在信令简化压缩之后，再结合0-RTT方案降低70%的时延，0-RTT与0-RTT的结合，大大减少了信令时间，提高信令交互的成功率，从而减少首帧的时间消耗，提高开播成功率。

✦✦

2）

音频和视频转换

◉支持AAC

AAC是传统直播领域最常用的音频格式，但并不支持。快播基于ISO/IEC 14496-3实现对上述AAC格式的全面支持，避免Opus音频格式的转码。同时附带的Audio FEC（Error）可根据网络配置不同的冗余度，使得音频能够抗50%以上的丢包。

◉支持H.265

H.265相比H.264具有更高的压缩率，在直播领域得到了广泛的应用，标准不支持H.265，避免了H.265转H.264转码的成本和时间，在此基础上实现对H.265的支持，从而避免了转码成本的增加和转码时延的引入。

◉支持B帧

B帧在直播中被广泛使用，提升画质的同时也大大降低了码率，为了减少编解码的时间消耗，标准是不支持B帧的，但快手直播在延迟、画质、压缩率、成本之间取得了很好的平衡，并且通过客户端SDK和CDN支持B帧。

✦✦

3）

传动转型

◉ 灵活的分层传输

标准的弱网响应策略是将网络情况反馈给推流端，让推流端调整码率适应网络。直播场景下，主播与观众是一对多的，无法因为部分观众网络问题而调整主播的推流码率。快直播通过服务端与客户端的配合，基于扩展的帧属性与依赖关系，通过采样灵活的分级丢帧传输策略，将码率逐步下调，适应弱网情况。

◉ 自适应（平稳数据包传送）

快直播充分利用客户端缓存信息和流媒体信息，自适应调整数据包传输平滑长度，同时满足平滑去抖动和帧接收时延的要求。

◉ 自适应比特率（/ABR）

Fast Live在客户端支持使用扩展的RTCP作为流切换信令，另一方面服务端也具备根据网络状况进行无缝流切换的能力，服务端通过渐进式过传的方式检测网络的承载能力作为流切换的决策依据，达到快速、精准、无缝的流切换目标。

◉ P2P分发网络

Fast Live 利用原生的 Peer to Peer 能力，将观看同一视频流的用户组织到就近的网络中，相互共享传输，各个客户端节点通过 RTCP 与 CDN 协商数据，并同时与其他客户端进行通信，节点协议内容共享在保持低延迟的同时，依然能取得良好的效果。

✦✦

4）

其他修改

◉支持隐私数据透传，适应业务

很多客户在使用标准直播时，需要通过Meta Data、SEI()以及自定义NALU（Layer Unit）等方式传输业务信息，快直播通过RTP扩展支持全链路私有数据透传，使得标准直播与快直播的迁移过渡平滑无缝。

◉ 可选加密

标准设计应用于音视频通讯领域，要保证安全，加密是必须的，在一些直播场景中，内容本身是公开的，但对性能和终端消耗比较敏感，可以适当降低安全性，快播可以根据SDP协商选择开关加密。禁用加密可以大幅降低前后端开销，进一步节省DTLS握手时间，最终减少首帧时间。

◉媒体处理优化源

针对低延时场景，在保证画质的前提下降低I帧大小，结合AI能力，在编码前对视频源进行预处理，使视频源更加适应编码场景。

欢迎扫描下方二维码获取白皮书完整报告。

|大佬们对XDR怎么看

| 腾讯牵头制定首个区块链数字藏品国际标准