据 Facebook 2020 年第三季度半年报披露，截至 2020 年 12 月，Facebook 日活耀使用者平均值达至 18.4 亿，年内当月活耀使用者达至 28 亿，Facebook 应用家族企业（Facebook、Instagram 等）当月活耀使用者平均值达至 33 亿。Facebook 的规模这般巨大，继而代普雷，该网络平台要处置的音频数量级有多大。那么难题来了，Facebook 是怎么处置这般海量数据的音频的？

现代人每天在 Facebook 上载数百万的音频。为了确保每几段音频的数据传输产品质量（最高解析度和更少的缓冲器），不仅要强化他们的音频MPEG和填充和Cogl音频以期观赏，还要强化什么样MPEG用于什么样音频。但，Facebook 上巨大的音频文本也意味着要找出一类有效的方式来实现而此目标，并且不会耗用大量的计算资源和资源。

为化解而此难题，他们采用了多种MPEG和比特率自适应技术（Adaptive Bitrate Streaming，ABR），根据观众们的网络连接选择最差的收听产品质量，从而提升收听新体验并增加缓冲器。不过，尽管 VP9 等更一流的MPEG提供更多了比 H264 等旧式MPEG更快的填充操控性，但它们也会耗用更多的计算资源。假如把最一流的MPEG应用于上载到 Facebook 的每个音频上，从单纯的计算视角来看，工作效率会较低。换言之，他们须要找出一类方法来确定什么样音频须要用更一流的MPEG来代码。

现在，Facebook 通过结合经济效益 - 成本数学模型和机器学习数学模型，化解了对高产品质量音频文本代码的巨大需求，这使得他们能够优先选择考量对观赏率高的音频展开高阶代码。假如能预测什么样音频将会受度关注，并展开代码，他们就能增加缓冲器，提升整体听觉产品质量，让 Facebook 上可能受网络流量优惠券限制的使用者观赏更多的音频。

但，此项任务并不像让最畅销的TopStyle或者拥有最多挚友或影迷的文本跳出最后面那样简单。还有一些因素须要考量进来，这样他们就可以在 Facebook 上为现代人提供更多最好的音频新体验，同时也确保了文本制作者的文本在这个网络平台上仍然被公正地代码。

过去 Facebook 是如何代码音频的？

传统上，一旦音频上载到 Facebook，就会启动 ABR 过程，原始音频很快就会重新代码成多种解析度（比如 360p、480p、720p、1080p）。当代码完成时，Facebook 的音频代码系统将尝试使用更一流的MPEG（如 VP9）或更昂贵的菜谱（recipe，音频行业术语，用于微调转码参数），例如 H264 veryslow 的配置文件，尽可能填充音频文件，从而进一步改善观赏音频的新体验。各种转码技术（使用不同的编解码类型或编解码参数）在填充工作效率、听觉产品质量和所需的计算资源方面存在着不同的权衡。

怎样把工作安排得更快，让每个人的整体新体验最大化，已经成为现代人最关心的难题。Facebook 有专门的代码计算池和调度器。该方法接受一个附加优先选择级值的代码作业请求，将其放到优先选择级队列中，高优先选择级的代码任务得到优先选择处置。因此，音频代码系统的工作就是给每项任务分配适当的优先选择级。这可以通过一系列简单的、硬代码规则来实现。代码任务可以根据几个因素来分配优先选择级，包括音频是否为授权音乐音频、音频是否为产品音频、音频所有者有多少朋友或影迷。

但，这个方法有其缺点，随着新的音频MPEG的出现，须要维护和调整的规则越来越多。因为不同的MPEG和菜谱有不同的计算要求、听觉产品质量和填充操控性的权衡，所以不可能通过一组粗粒度的规则对最终使用者的新体验展开全面强化。

或许最重要的是，Facebook 的音频消费模式极不均衡，这意味着 Facebook 音频的TopStyle和主页在挚友或影迷数量方面存在巨大差异。与迪士尼等大公司的 Facebook 主页相比，播客的主页可能只有 200 个影迷。摄像师可以同时上载他们的音频，但迪士尼的音频可能会有更多的观赏时间。但，任何音频都可以得到病毒式的传播，即使TopStyle只有很少的影迷。难题在于，不仅要支持受众最广的文本制作者，还要支持各种规模的文本制作者，同时还要承认而此现实，即拥有大量的受众也可能意味着更多的浏览量和更长的观赏时间。

输入经济效益 - 成本数学模型

经济效益 - 成本数学模型是根据以下基本观察得出的：

1. 只在第一次代码时，音频才会耗用计算资源。代码完成后，存储的代码可以根据须要多次发送，而不须要额外的计算资源。
2. Facebook 上的所有音频中，有一小部分（约三分之一）产生了大部分的整体观赏时间。
3. Facebook 数据中心只有有限的支持计算资源的能源。
4. 在现有能源有限的情况下，通过将计算密集型的菜谱和一流MPEG应用于最常观赏的音频，他们可以使每个人的音频新体验最大化。

以此为基础，他们对经济效益、成本和优先选择权作出如下定义：

1. 经济效益=(固定产品质量下代码族的相对填充工作效率)*(有效预测观赏时间)
2. 成本= 族中丢失代码的归一化计算成本
3. 优先选择级= 经济效益 / 成本

固定产品质量代码族的相对填充工作效率：通过代码族的填充工作效率来衡量经济效益。代码族（Encoding family）指的是一组可一起交付的代码文件。举例来说，H264 360p、480p、720p 和 1080p 代码通道构成一个族；而 VP9 360p、480p、720p 和 1080p 则构成了另一个族。在相同听觉产品质量的情况下，比较不同族间的填充工作效率是一个挑战。

为了理解而此点，他们先来看看他们开发的一个指标，即每 GB 数据包的高产品质量音频分钟数（Minutes of Video at High Quality，MVHQ）。MVHQ 把填充工作效率和互联网网络流量补贴的难题直接联系在一起：对于 1GB 的数据，他们可以流式数据传输多少分钟的高产品质量音频？

MVHQ 在数学上可理解为：

MVHQ= Average (MvhqBitratevid1, MvhqBitratevid2, MvhqBitratevid3,... 1GB

比如说，他们有一个音频，用 H264 fast 预置代码的 MVHQ 为 153 分钟，用 H264 slow 预置代码的 MVHQ 为 170 分钟，用 VP9 的 MVHQ 为 200 分钟。换言之，使用 VP9 代码的音频，在听觉产品质量门槛较高时，与 H264 fast 预置相比，使用 1GB 数据可以延长 47 分钟的观赏时间（200-153）。他们使用 H264 fast 作为基线来计算这个音频的经济效益值。他们将 1.0 分配给 H264 fast，1.1（170/153）分配给 H264 slow，1.3（200/153）分配给 VP9。

实际的 MVHQ 只能在代码产生后才能计算出来，但他们须要在代码产生之前就得到它，所以他们使用历史数据估算出给定音频的每个代码族的 MVHQ。

有效预测的观赏时间：正如下面所描述的，他们有一个复杂的机器学习数学模型，它可以预测观众们在不远的将来看几段音频的时间。当他们在音频级别上获得预测的观赏时间后，他们就可以估计代码族在音频应用的工作效率。它揭示了一个事实，那就是并非所有 Facebook 使用者都拥有能够播放更新的MPEG的最新设备。

举例来说，大约 20% 的音频消费发生在无法播放 VP9 代码音频的设备上。所以，假如一个音频的预测观赏时间是 100 小时，那么使用广泛应用的 H264 MPEG的有效预测观赏时间是 100 小时，而 VP9 代码的有效预测观赏时间是 80 小时。

代码族中缺失代码的归一化计算成本：这是他们为使代码族可交付所需的逻辑计算周期量。在交付音频之前，代码族须要提供更多一组最低的解析度。举例来说，VP9 族至少须要 4 种解析度才能代码特定的音频。但一些代码须要比另一些代码更长的时间，这意味着不是所有的音频解析度都可以同时提供更多。

举个例子，假设音频 A 缺少 VP9 族中的所有 4 个通道。通过总结所有 4 个通道的估计 CPU 使用量，他们可以为四个任务分配相同的归一化成本。

如音频 B 所示，假如他们在 4 个通道中只有 2 条缺失，那么计算成本就是产生其余两个代码的总和。同样的成本适用于两个任务。因为优先选择级是经济效益除以成本，所以当更多通道可用时，任务的优先选择级就变得更加急迫。代码通道直到可交付时才有价值，所以尽快得到完整的通道非常重要。比如说，拥有包含所有 VP9 通道的音频要比拥有 10 个不完整（因此无法交付）VP9 通道的音频更有价值。

通过机器学习预测观赏时间

一类新的经济效益 - 成本数学模型告诉他们应该如何对某些音频展开代码，下一个难题是如何确定什么样音频应该优先选择代码。因此，他们现在使用机器学习来预测什么样音频将被观赏的次数最多，从而应该优先选择考量使用高阶代码。

但当将所有这些数据都用于决策时，会遇到一些内在的挑战：

观赏时间具有度的差异性，而且长尾效应非常显著。即便他们集中精力预测下一个小时的观赏时间，几段音频的观赏时间也可能从零到 5 万小时以上，这取决于音频的文本、TopStyle和音频的隐私设置。这个数学模型不仅须要能够判断音频是否会畅销，而且须要能够判断其畅销程度。

下一个小时的观赏时间最好的指标是它之前的观赏时间轨迹。一般而言，音频的畅销程度很不稳定。同一文本制作者上载的不同音频，有时会因为社区对该文本的反应而导致不同的观赏时间。通过对不同特征的实验，他们发现，过去的观赏时间轨迹是未来观赏时间的最差预测指标。在设计数学模型结构和平衡训练数据方面，这将带来两项技术挑战：

• 新上载的音频没有观赏时间轨迹。几段音频在 Facebook 上停留得越久，他们就能从它过去的观赏时间中获得更多信息。也就是说，最能预测的特征将不适用于新音频。在数据缺失的情况下，他们希望他们的数学模型也能很好地发挥作用，因为系统越早确定将在网络平台上流行的音频，就越有可能提供更多更高产品质量的文本。
• 热播音频有控制训练数据的趋势。最畅销的音频模式未必适合所有的音频。

观赏时间的性质因音频类型的不同而不同。故事音频较短，平均值观赏时间比其他音频短。在流媒体播放过程中或之后的几个小时里，直播流可以获得大部分观赏时间。同时，点播音频（VOD）的寿命也是多种多样的，假如现代人后来开始分享这些音频，那么在最初上载之后很长几段时间就可以积累观赏时间。

机器学习指标的提升未必与产品改进直接相关。RMSE、MAPE 和 Huber Loss 等传统的回归损失函数对离线数学模型的强化效果良好。但，建模误差的降低并不一定会直接导致产品的改进，例如改善使用者新体验、增加观测时间的覆盖率或者提升计算工作效率。

构建音频代码的机器学习数学模型

为应对这些挑战，他们决定通过使用观赏时间事件数据堆数学模型展开训练。在训练 / 评估中的每一行都表示一个决策点，表示系统必须对它展开预测。

因为他们的观赏时间事件数据会在许多方面出现偏离或不平衡的情况，所以他们对他们所关注的维度展开了数据清洗、转换、桶化和加权采样。

此外，由于新上载的音频没有可供参考的观赏时间轨迹，他们决定建立两种数学模型，一类用于处置上载时间请求，另一类用于处置观赏时间请求。视图 - 时间数学模型使用了上面提到的三组功能。上载时间数学模型可以看到文本制作者上载的其他音频的表现，并用过去的观赏时间轨迹代替。当几段音频在 Facebook 上停留了足够长的时间，并且有了一些过去的轨迹，他们就把它转换成使用视图 - 时间数学模型。

MAPE 和 RMSE 是很好的数学模型选择总结指标，但不一定能直接反映产品的改进。有时候，当两个数学模型的 RMSE 和 MAPE 相似时，他们也会将评估转化为分类难题，以了解其权衡。例如，假如一个音频获得了 1000 分钟的观赏时间，但数学模型 A 预测的是 10 分钟，那么数学模型 A 的 MAPE 是 99%。假如数学模型 B 预测的是 1990 分钟的观赏时间，那么数学模型 B 的 MAPE 将与数学模型 A 的相同（即 99%），但数学模型 B 的预测将会使音频更有可能具有高产品质量的代码。

同时，他们也对音频分类展开了评估，因为他们希望在过度频繁地使用高阶代码和失去使用这些代码的好处之间找出一个平衡点。举例来说，在 10 秒的阈值下，为了计算数学模型的假阳性和假阴性率，他们计算出实际音频观赏时间少于 10 秒且预测时间也少于 10 秒的音频数量，反之亦然。他们对多个阈值展开了同样的计算。而此评估方法使他们能够深入研究该数学模型在不同畅销程度的音频中的表现，和它是倾向于推荐过多的代码工作还是错失了一些机会。

新音频代码数学模型的影响

而此新数学模型不仅提升了使用者对新上载音频的新体验，而且能够识别 Facebook 上应该使用更高阶代码的老音频，并为它们分配更多计算资源。这会把大部分看难题的时间转移到高阶代码上，从而增加缓冲器时间，而无需额外的计算资源。经过改良的填充技术还可以让 Facebook 上那些网络流量有限的使用者，如新兴市场使用者，观赏更多产品质量更高的音频。

更重要的是，当他们引入新的代码菜谱时，他们不再须要花费很多时间去评估在优先选择级范围中将它们分配在哪个位置。相反，该数学模型根据菜谱的经济效益和成本值自动分配优先选择级，从而最大化整体经济效益吞吐量。举例来说，他们可以引入一类计算密集型的方法，这种方法只适用于一些极畅销的音频，并且数学模型能够识别这种音频。总而言之，这使得他们能够继续投资更新、更高阶的MPEG，为 Facebook 上的使用者提供更多最好的音频新体验。

作者介绍：

Taein Kim，Facebook 软件工程师；Ploy Temiyasathit，Facebook 数据科学家；Haixiong Wang，Facebook 软件工程师。

原文链接：

https://engineering.fb.com/2021/04/05/video-engineering/how-facebook-encodes-your-videos/

→CL自助下单平台←