窄带高清技术之百万级并发下的演唱会直播细节修复

博主:starsstars 2023-06-04 386 0条评论

史无前例,高清又不卡。

5 月,百视 TV 联合上海人民广播电台、时代峰峻共同出品的《东方风云榜》,绚烂呈现一场三十周年音乐分享会・时代少年团《理想之途》。有人说,这是一场似梦非梦的记忆。

演唱会由 “乐园”、“少年”、“乌托邦” 三大篇章组成,精心之作引来社交话题近 30 亿次,满足 3 万多现场观众的同时,线上由百视 TV 全程直播,沸腾的直播间里更是被观众评论接连刷屏,事件热度值一再打破历史记录。

“嘎嘎清晰” 的超高清画质、“一点不卡” 的直播体验、“懂观众心理” 的调度和镜头切换…… 观众的花式评论泉涌不断,确实,高清又不卡,谁不爱。

观众们直呼,“这辈子没看过这么高清的直播!”。

(图片截选自社交媒体)

官方信息显示,在演唱会直播当晚,峰值在线人数超过 130 万,直播间评论量达 423 万,在这海量数据背后的丝滑、超清直播体感,是百视 TV 联合阿里云视频云在聚焦原创音乐发展、助力传统 IP 宣发及「内容 + 服务」的商业模式上的全新探索。

一、窄带高清,毫厘细节的精妙画感

达到观众惊呼的视觉感,是一场画质修复与编码算法的精妙之战。

首先,要理解大型户外演唱会直播的错综因子。

相较电商直播带货和其他直播场景,大型户外演唱会的影响因素很多,让直播视觉效果的呈现会更为复杂。

  • 舞台布局多元复杂,如常见的镭光管和频闪灯打造光影交织的幻影效果、变幻多样;

  • 现场烟雾、巨幕 AR 大屏等元素,构成了绚丽多彩的视觉效果;

  • Idol 的多层次妆造和舞台道具,往往包含极为细腻丰富的细节;

  • 现场多机位拍摄,配合 Idol 快速的动态舞动,导致直播画面切换快,目标运动性很强。

这些复杂情景都不可小觑,需要全部纳入直播视频流处理的范畴。

对于现场观众,这些丰富变幻可以将演唱会的直面效果拉满,但满足百万千万的线上直播观众,想要达到复刻甚至更佳的视觉氛围,这些复杂因子对直播过程中的视频编码压缩技术,带来极大挑战。

再者,用生成式细节修复力,逆转直播源流的低画质。

一般来说,大型活动直播对实时性和流畅度的要求是第一位的,而在户外活动直播中,现场网络质量很容易发生波动,高码率传输会导致卡顿和延迟现象。

因此,为了优先保障这场演唱会的直播信号稳定和流畅,百视 TV 选择较小的码率进行推流(8Mbps @1080p 50fps)。然而,对于呈现这类视效高度复杂的演唱会,1080p 50fps 的信号源,通常需要大于 30Mbps 的码率,才能保证较好的编码输出质量。

这意味着,实际推流码率远低于直播高画质所需要的码率,因此,会存在因高压缩率导致的明显画质损失,具体表现为:背景光影区大片的马赛克块效应;脸部细节模糊不清,头发纹理细节丢失,以及服装道具细节丢失;服装、字幕、贴片图案、LOGO 等边缘毛刺现象。

下图是 8Mpbs 1080p 直播源流的两个典型画面的截图,画面中,Idol 的发丝不再有细节,同时出现了明显的面部马赛克块效应,和字幕边缘的毛刺感。显然,这些画质问题堆积成流动的低细节画面,必然极大影响观感体验。

直播源流画面 1: 存在面部马赛克块效应

直播源流画面 2: 存在字幕边缘毛刺问题

针对这类直播推流存在的画质问题,百视 TV 使用了阿里云 “窄带高清 2.0” 技术,通过生成式细节修复能力,显著提升源流的画面清晰度;同时,通过自适应编码能力,降低源流的码率;从而达到转码流相比源流码率更低,但画质清晰度更优,呈现毫厘细节的精妙画感。

整体来看,“窄带高清 2.0” 有两大核心模块:

  • 视觉编码

「窄带高清 2.0」采用基于场景和内容的帧类型决策和块级码率分配,模式决策采用面向主观友好的算法;在内容自适应编码部分,考虑到,人眼感知的视频空间域的亮度、对比度以及时域失真是不连续的,通过基于恰可察觉失真(JND)自适应编码技术,丢弃视觉冗余信息,在主观质量不发生明显降低的情况下,可以大幅节省码率;同时,通过 ROI 码控技术调整码率分配策略,进一步提升人眼感兴趣区域的清晰度

  • 细节修复

「窄带高清 2.0」采用基于生成对抗网络(GAN)的细节修复生成技术,在修复因编码压缩引起的马赛克块效应和边缘毛刺的同时,“脑补” 生成一些自然的纹理细节,使得画面纹理细节更丰富、更自然、更有质感。

窄带高清 2.0 核心技术模块解读

通过窄带高清处理,我们将原有的码率降低的同时,反而可以获得更好的视觉效果:演唱会视频中,场景的编码块效应、边缘毛刺被有效去除,丢失的发丝细节再度呈现,面部皮肤修复后更有肤质感,字幕文字清晰度也更加优质。

第三,演唱会人像的定制模版,更是点睛之笔。

对于超大型偶像演唱会,看清 Idol 的 “颜” 一定是观众粉丝的首要诉求。

着力一场 “更懂观众” 的演唱会直播,阿里云视频云 “窄带高清 2.0” 在基础模型的效果之上,专属打造了演唱会场景 Idol 人像定制模版,针对优化人像区域的细节修复生成效果,将 Idol 的 “怼脸直拍”,通过直播清晰还原送到观众屏幕前。

当然,业界已存在一些针对人像修复的处理方案,但这类方案一般是将视频画面中的人脸抠图操作,再单独进行处理。

然而,在演唱会直播转码场景,这类方案存在两个问题:一是对于非正面及人像有遮挡的情况,处理效果不佳会存在比较明显的 bad case,因此,直播转码可能会出现意想不到的翻车风险;二是抠像后再处理,整个方案耗时存在不确定性,对于直播 50 fps 的场景,可能会因此带来卡顿。

因此,窄带高清 2.0 人像优化功能采用更优的语义分割图引导的图像复原技术,处理模型的输入除了低画质视频,还有该视频对应的语义分割图,而语义分割图用于引导模型更聚焦在人像区域的生成效果。

以下是窄带高清 2.0 对 Idol 脸细节修复效果呈现:

左:直播源流 8Mpbs 右:窄带高清 2.0 转码输出 6Mpbs

左:直播源流 8Mpbs 右:窄带高清 2.0 转码输出 6Mpbs

左:直播源流 8Mpbs 右:窄带高清 2.0 转码输出 6Mpbs

针对垂直细分场景的专属修复,阿里云视频云探索不断,去年的 NBA 赛季,在百视 TV NBA 转播场景,为了更好地平衡直播流畅性、稳定性和高清画质,窄带高请 2.0 针对篮球赛事场景进行针对性优化,为百视 TV 定制了篮球直播赛事的转码模版和 AI 修复模型,极大提升了画面清晰度和整体视觉表现,观赛效果极佳。

总言之,把握场景特征的专属定制,往往是沉浸视感的点睛一环,利用算法的精妙将场景造势发挥极致。

二、超高清高并发的 “零卡顿”,是极致天花板

我们显然可见《理想之途》演唱会的热烈之象,百视 TV 的线上直播间也是空前沸腾,仅仅通过预约阶段 158 万的人数便可窥见。

再叠加天时之势,恰逢五一假期,演唱会直播 19:30-22:30 更是一场晚间的超级流量场,这自然带来一个问题:直播质量如何保障?

我们总说,极致流畅、零卡顿播放是直播保障追求的目标,但真实落地绝非易事。对演唱会这类强沉浸强互动的场景,尤其对 “时代少年团” 的这场光耀的超高清直播,每一次卡顿大概都是情绪的窒息。

于是,当百万受众瞬时涌入,如何守住如此高清质感的直播 “零卡顿”?

当然这要受益于阿里云文体直播解决方案系统化的综合能力,全球 3200 + 节点、180+TB 带宽储备、全球实时流媒体传输网络(GRTN),足以保障千万级用户高并发下的高品质观看体验。

定制化的全链路灾备与应急预案,和多年大型直播活动积累的最佳实践经验,更是给予了这场超大型演唱会落地的高可靠性。

为了防止在高峰期流量资源抢占带来不良影响,阿里云提前为百视 TV 就演唱会直播预约情况进行带宽资源准备及锁量,一旦直播过程中,遇到断流或帧率异常,配置的主备流能实现 “自动切换”。

正是在这些完备的预案和保障下,即使直播过程中遇到突发情况,也能让观众 “毫无察觉”,沉浸于流畅之境。

三、演唱会直播,调动更多感官

超大型演唱会直播引发的感官与话题,俨然成为一个时代的文化现象,百万人共屏,千万人共振,数亿级的衍生回荡。

有幸的是,视频云技术在这其中释放淋漓之力。

如今的窄带高清 2.0,突破当代视频编码器的能力上限,深度升级了流畅度与高清度,实现在同等画质下更省流、在同等带宽下更高清的商业价值和观看体感,双重满足平台与观众。

不止如此,阿里云文体直播解决方案也在不断丰富,带来极致流畅、视觉饱满、音视沉浸的超现实感受

在画质优化上,从海量数据中所沉淀的具有美学价值的高质量色彩、亮度转换,通过 SDR + 频率分解技术,对面部和肤色区域进行专门的色彩处理和保护,使得处理后的画质通透感、清晰度大幅提升。以普惠化的视角,即使观众所用的终端不支持 HDR 的设备,也能同样获得端侧一致的超高清体验。

在听觉沉浸上,支持杜比音效的基础上,视频云音频团队研发了 “音量归一”,展现演唱会直播流畅一致的音量水平,解决音量在不同音频内容上忽大忽小的恶劣体验;而 “环绕声”、“人声增强” 等技术,在带来更具层次感和弧线感的沉浸体验基础上,去除嘈杂声音干扰,从而更加凸显高质量的人声质感。

这其中,还提出了全景声音频。

全景声音频 (Ambisonics 格式) 是通过独有的双耳渲染技术,转换为含有全部空间信息的双声道音频,在 VR 头显以及具有陀螺仪的手机设备上,实现自由视角下的声像始终保持统一,达到 “人转动声源位置不动” 的沉浸式之感。这也是一项提供全景声内容从生产到消费的全链路技术。

在任何一场大型文娱的共频现场,我们渴望更多的感官调动和超现实的链接,基于云的音视频技术在背后默默推动。


微信扫一扫
The End

发布于:2023-06-04,除非注明,否则均为柠檬博客原创文章,转载请注明出处。