AI技术给音视频带来哪些黑科技？华为专家和复旦教授这样说

出品 | 搜狐科技

做者 | 张雅婷

1872年英国摄影师麦布里奇借助24台相机，持续拍摄24张马奔驰时的照片，缔造出人类汗青上第一个视频。5年后，创造家爱迪生在留声机灌音尝试时，记录了《玛丽有只小羊羔》的歌词，缔造出汗青上第一条音频。

陪伴着手艺更迭，音视频现在已经成为文字、图片之外最重要的信息传布前言，渗入进各人生活的方方面面，成为人们获取及发布信息的重要体例。

艾瑞征询指出，用户创做音视频成为挪动互联网的主导内容形态。此中，短视频均匀月活泼设备数以至超越了10亿，用户利用时长占比近30％。

我们已经处于音视频媒体包抄的当下，音视频手艺也成为了不成或缺的社会根底设备，在长短视频、曲播、在线会议等多种应用场景中阐扬着重要感化。

在更低时延、更明晰、更具沉浸感的目的之下，音视频手艺开展的趋向是什么？碰到了哪些挑战？搜狐科技《对话》栏目邀请到复旦大学传授、博士生导师姜育刚以及华为算法应用手艺专家、开发部长Peter，一路交换音视频手艺最前沿的动态。

姜育刚暗示，人工智能在实时音视频处置方面正阐扬着重要感化，好比视频编解码、虚拟布景、视频超分辩率等。

以编码为例，传统的H.264、H.265等手艺都是人工设想的计划。姜育刚暗示，比来趋向是基于深度进修的编码办法。

“跟传统的办法比拟，那是一种数据驱动的办法，那里面次要的难点是若何在编码中嵌入视频中的运动信息，比来一些操纵编码器-解码器等比力新的收集架构就实现了比传统办法更好的编码。”

在Peter看来，当前音视频范畴十分显著的手艺趋向是超高清手艺的持续晋级，3D空间音频、HDR手艺在挪动末端上有了更好的应用。不外，因为手机末端屏幕大小有限造，用户感触感染不到8K高清手艺。“在8K高清手艺的收罗、造做、存储、传输上，仍然需要手艺进一步打破，成本降低，才气普遍普及。”

以下为访谈实录：

一、音视频手艺开展现状及趋向

搜狐科技：音视频手艺现实上是音频手艺和视频手艺的一个统称，能否讲一讲音频手艺与视频手艺之间的关系，以及在近年的开展趋向？

Peter：音频和视频手艺别离有本身的产物形态，偏重于与差别利用范畴。在用户视角，视频手艺会包罗音频手艺，因而我们凡是会把音视频媒体手艺放在一路研究。

当前十分显著的手艺趋向是超高清手艺持续快速晋级，3D空间音频、HDR手艺在挪动末端上应用。中国超高清联盟UWA也主导造定了中国本身的超高清CUVA尺度，那也将进一步带动更多的末端智能设备撑持。

搜狐科技：HMS Core在音视频手艺的规划次要集中在哪些标的目的，希望给开发者和用户带来什么？

Peter：HMS Core围绕音视频媒体收罗、编、播、传、存开放了6个Kit，一方面是把华为末端硬件立异的高清相机、音视频媒体编解码才能开放给开发者，另一方面，我们也通过AI与音视频媒体连系，开放了人脸遮挡、人像抠图、AI智能着色、出色镜头提取、人像动态虚影、AI配音、歌声合成等手艺才能。

跟着挪动末端的算力不竭加强，越来越多的专业级编纂才能、高端影院级视听体验不竭向末端迁徙，我们希望在满足用户不竭增长的高清、高品量、沉浸感的视听体验需求，也逐步付与挪动末端消费力东西属性。

搜狐科技：更高明晰度，是视频行业永久的逃求，不外目前超高清视频用户占比仍较小。想请教两位专家，那此中有哪些手艺、应用难点是尚未处理的？

姜育刚：超高清视频分辩率十分高，帧率也十分高，会占掉良多的存储空间，也对收集传输带来了新的挑战。

别的一方面，良多视频网站需要对视频停止阐发，从而实现更好的保举、检索，若是要对高清视频处置与阐发，需要的计算资本则会更多。

Peter：在手机末端上受限于末端屏幕大小限造，8K高清手艺用户感触感染不到，造约了用户需求。在8K高清手艺的收罗、造做、存储、传输上，仍然需要手艺进一步打破，成本降低，才气普遍普及。

二、人工智能若何赋能音视频手艺

搜狐科技：去岁首年月，WebRTC也成为了W3C的正式尺度，实时音视频成为行业热点。与此同时人工智能手艺在主动驾驶、语音识别等范畴都获得了庞大的胜利，人工智能手艺在实时音视频处置中有何应用？

姜育刚：起首是视频的编解码，最早的视频编解码像H.264、H.265等都是基于人工设想的一些计划，比来涌现了良多基于深度进修的编解码体例，效果更好。

第二是虚拟布景，各人线上开会时经常会利用虚拟布景功用，那背后次要是语义朋分手艺，通过将图片中的前景朋分出来，对布景图片停止替代得以实现。静态图像的语义朋分是比力简单的，但是在实时的视频会议中，人可能会动，与摄像头的间隔时远时近，所以人物的边沿若何朋分准确是一大难点。

第三是视频超分辩率，基于深度进修的超分辩率手艺，将比力模糊的视频变明晰，如许能够在带宽有限的情况下，仍然获得高分辩率的视频。

搜狐科技：跟着视频分辩率不竭进步，带宽成本也越来越大，两位教师能否别离从工业界和学界的角度，说一说基于人工智能的编码与实时阐发的感化以及开展情况。

姜育刚：对编码而言，传统的H.264、H.265等手艺都是人工设想的计划，比来的一些趋向是操纵深度进修得到高效的编码办法。那里面次要的难点是若何在编码中嵌入视频中的运动信息，比来一些操纵编码器-解码器等比力新的收集架构就实现了比传统办法更好的编码。

在实时视频处置中摆设深度收集，更大的挑战是若何削减深度收集的计算成本。目前一个很重要的研究标的目的是模子压缩，次要涉及的手艺包罗量化、剪枝、常识蒸馏等体例，目标就是将大收集压缩成一个紧凑的小收集从而可以实现快速高效的视频阐发。

Peter：通过显著性区域编解码手艺，在不影响用户不雅感的情况下大幅度压缩视频空间，那项手艺部门已经成熟商用。在传输上接纳低码高清的超分、插帧手艺也普遍应用到视频分发播放范畴。当前H.266编码手艺已经获得停顿，会逐渐成熟商用。将来跟着H.266编解码硬化芯片的增加，也就会有更多的内容接纳H.266编码手艺。

搜狐科技：除了在编码范畴，AI在视频的内容阐发等方面也阐扬出重要的感化，好比动做识别、动做定位等等，那些算法有什么应用场景？

姜育刚：动做识此外目的是识别出视频中呈现的动做类型；时序动做定位能够看做由两个子使命构成，一个子使命是预测动做的起行时序区间，另一个子使命是预测动做的类别。

比来比力热门的一个标的目的是基于语言的动做定位，按照文本查询从对应视频中找到详细视频片段。好比一段很长的监控视频，我们想找到“穿红衣服的跑步的小孩子”对应的视频，那就是基于语言的动做定位。如许的手艺在视频编纂、视频搜刮、安防监控等关键范畴有着重要的感化。

搜狐科技：在进步视频分辩率方面，视频超分算法阐扬着十分大的感化。从业界来看，视频超分算法的落地情况若何？存在什么挑战？

Peter：实时视频超分算法需要十分大的算力支持，当前华为在具有NPU的挪动设备上已经撑持了视频超分手艺，能够撑持每秒30帧的2倍超分。另一方面，超分算法接纳了AI手艺，十分依赖训练的数据集规模和多样性，当前超分只能在已有数据集特定范畴做到比力好，泛化到其他范畴仍然存在挑战。

搜狐科技：SRCNN是深度进修用在超分辩率重建上的开山之做，近年来也有更多超分算法模子“面世”。视频超分与视频内容阐发有何区别和联络，它能否能够帮忙实现更好的视频内容阐发？

姜育刚：视频超分与视频加强、去噪等类似，是一种底层视觉使命，在必然水平上可视为一个能够帮忙高层语义理解、识别等的预处置使命。因而，接纳了适宜的超分手艺能够让视频的细节更为明晰，能够帮忙更好的实现对视频内容的高层语义阐发。

搜狐科技：将来，我们需要更具“沉浸式体验”的人机交互。面向VR\AR设备的音视频手艺会面对什么纷歧样的需乞降挑战？

姜育刚：在内容生成方面，AR/VR设备都是沉浸式的，会招致用户委靡。手艺上需要考虑衬着出的排场亮度、比照度、内容、色彩能否适宜，音量大小能否适宜。

在内容阐发方面，当我们戴着AR/VR设备与四周情况停止交互时，视角会产生很大的变革，那给视频的实时处置和阐发带来了很大的挑战。

我们传统的视频阐发与理解根本上都是面向第三视角的互联网视频，而元宇宙中视角跟传统的视频不太一样。好比说第三视角人在做饭的视频中，手不会成为视频的主体，但带着穿戴设备跟四周的情况停止交互的时候，手会占着画面的主体，如许视角的变革会招致现有的深度进修模子性能大幅度降低。

总结而言，姜育刚和刘成华两位嘉宾都认为，更高明晰度是音视频范畴永久的逃求。但因为超高清视频分辩率和帧率十分高，对存储、收集传输都带来了新的挑战。

所以，超高清视频用户占比仍然相对较小，8K高清手艺的收罗、造做、存储、传输仍然需要手艺进一步打破。

在音视频手艺的迭代演进上，与人工智能的连系是一大开展趋向。当前，通过视频超分算法进步视频分辩率，基于人工智能停止编码与实时阐发，都成为了学界和工业界存眷的热点。

若是您对华为HMS Core的开放才能感兴趣，请您移步华为开发者联盟官网查阅更多HMS Core相关信息。华为开发者大会HDC 2022将在11月4日 – 6日在东莞松山湖举办，您也能够查看HDC官网阅读聪慧AI分论坛的相关信息。