CAPE：快手关于智能化处理和编码的有力实践

103 阅读 0 评论 68 点赞

我是靠谱客的博主优雅黑夜，最近开发中收集的这篇文章主要介绍CAPE：快手关于智能化处理和编码的有力实践，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

针对复杂的视频业务场景，快手音视频技术团队致力于将“定制化”的算法决策变成通用环节，使每个视频都能获得最优的处理和编码方式。在编解码领域，CAE的概念提出和理论研究已经有一段时间，一些视频平台也有相关方向的应用。而快手将“处理”（Processing）加入到“内容自适应”（Content Aware）的环路中来，形成了CAPE的整体优化理论，从视频处理与编码的完整通路全局优化视频体验。

对于快手而言，平台上视频类型繁杂，其最大的难点就在于如何衡量质量，及如何寻找到一个质量“足够好”的工作区间。CAPE（Content Awareness Processing & Encoding），即根据视频内容调整处理和编码方式。具体而言，通过对内容理解和分析，选择及调整一系列的算子(operator，简称OP)，在视频的码率或多个视频的总码率一定的情况下，提升整体质量。如果用更为形象的比喻，我们可将质量视为“标靶”，码率作为“弹药”，将“子弹”尽可能射击在“标靶”上。那么，CAPE的目标就是：将码率更有效地分配到用户能够感知的维度，优化投入产出比。

对内容的理解和分析，即提取视频内容的可量化特征后，输出OP选取和配置的“菜谱”。这些特征可以包含基础特征，如块效应程度、模糊程度和噪声程度等；也可以包含抽象特征，如时域运动复杂度和空域纹理复杂度等；还可以是视频的一些基本信息，如分辨率、帧率、上传来源以及热度信息等。

算子(operator，简称OP)，可以为编码参数调整，如CRF、帧结构和块划分等；可以为传统图像处理算法，如边缘增强和高斯模糊等；也可以为基于神经网络的前处理，如De-Art、SR以及De-Blur等。

我们需要根据所定义的质量，来训练理解和分析模块 (Content Awareness Module)。这里的质量决定了我们最终的“靶向”，是需要信号保真度最高？还是需要主观质量最大化？亦或是码率的投入产出比最优？我们可以通过一系列的指标来进行定义和反馈，如PSNR、VMAF，甚至是上线QoE数据。

CAPE可以应用于多维度的视频生产。如Global-CAPE (G-CAPE) 序列级，即每个序列只有一次决策机会；Local-CAPE (L-CAPE) 转码级，即每个视频的分片都可能有决策的机会；Internal-CAPE (I-CAPE) 帧/块级，则是一帧或一个块都有一次决策机会。

目前，快手线上CAPE的应用有多个种类，并大规模应用于短视频上传、转码以及直播等场景。下文我们将结合具体的业务场景，展开分享CAPE的应用。

场景一：短视频转码中的CAPE应用

在短视频转码场景，视频理解和分析是在Capella模块中进行的。首先，会对上传的视频源进行各种维度的分析：

获取视频源的Metadata，即视频生产类型和上传途径等原始信息
热度分析，即掌握其当前的观看数和点赞数等
获取视频的基础信息，包括宽、高、帧率和码率等
视频编码复杂度分析，包括空间复杂度和时间复杂度
视频内容基础特征分析，其中包含模糊程度、噪声估计以及压缩失真估计等
视频内容理解，识别并分类视频场景

基于对视频理解和分析得到的各种维度信息，Capella模块内的算法决策部分会得出对于这个视频源的处理操作，如是否需视频增强处理，若需要增强，要做哪些增强类型，以及增强的模型和参数选择；同时，还会得出最优的转码档位和转码参数。

短视频转码CAPE算法经过线上迭代，已经能在编码器升级之外带来同质量下15%的视频码率降低，节省了大量短视频带宽成本。同时，通过针对性的视频增强策略，对于部分高热度的视频，用户观看的视频质量甚至超过了上传视频源的质量。

场景二：直播推流中的CAPE应用

在直播推流场景中，受限于移动端算力的限制，我们在直播应用中实际的分析步骤不多。同时，我们会降低分析的频率，约一秒钟一次对视频源进行时间、空间的复杂度分析，再附以一些基础特征的获取。其中最大的难点在于，做直播推流时移动端有很大比例用的是硬件编码器（如iOS平台的VideoToolbox），可配置参数比较基础且数量较少。此时，我们给出硬件建议编码参数，以保证在场景切换或是在一些座谈场景时，能够尽量减少浪费码率。

直播推流CAPE上线后，推流码率降低了约10%，QoE没有明显变化，QoS收益接近10%，给主播端提供了更流畅的直播体验。