打造5g云直播赋能帝视科技林宇辉

导读4K/8K、VR、IoT是5G重要的应用场景，也是5G优先落地的关键领域。随着5G产业链的进一步成熟以及超高清、物联网等相关应用的不断发展，正逐渐深化与视听....

4K/8K、VR、IoT是5G重要的应用场景，也是5G优先落地的关键领域。随着5G产业链的进一步成熟以及超高清、物联网等相关应用的不断发展，正逐渐深化与视听领域的场景融合，影响视听业务形态。

基于此，在6月17日-18日，由流媒体网主办的第十九届三晋论道暨中国IPTV/OTT智能视听产业高峰论坛上，特设立以“5G超高清 融智新视听”为主题的5G超高清论坛，集中探讨5G 4K/8K、5G VR/AR、5G IoT的视听产业进化路径。

在该论坛上，福建帝视信息科技有限公司研发总监林宇辉做了主题为《5G超高清时代AI视频技术实践及探索》的演讲。

以下为演讲原文

首先谢谢流媒体网给我提供这个演讲平台，跟在座的各位分享5G时代AI技术的实践探索，我是来自福建帝视信息科技有限公司的林宇辉，如果有关于技术、产品或市场方面的问题，我们台下可以交流。

我今天演讲的主题是《5G超高清时代AI视频技术实践及探索》，随着近几年的发展，超高清视频技术从常见的分辨率、高动态范围、色域、色深、帧率五个维度，向灰度感知、交互式沉浸体验、4K/8K HDR、8K VR HDR等扩展和延伸。

5G建设为超高清的发展打开了高速公路，标准超高清所需峰值带宽是50兆以上，平均带宽达到36兆，真4K峰值会达到75兆，而未来8K峰值所需带宽将达到300兆。传统LTE下载峰值只能达到100M/s，5G视频时代，峰值将会达到20Gb/s，这给超高清建设提供了高速公路。

超高清视频正在加速落地，从央视4K超高清频道开播开始，广电行业正在加速4K超高清的发展，IPTV、OTT也在加速落地，如百视通点播和轮播频道、IPTV 4K频道，在互联网和运营商行业，也有大量4K超高清点播和轮播的案例落地。

随着5G发展，到2022年超高清视频产业总体规模将会超过4万亿元，下面我和大家分享4K超高清产业碰到的痛点和机遇。

其实无论是4K、8K还是VR产业化，首要痛点都是内容稀缺，有几个原因造成，首先是巨额的制作和传输成本，4K超高清的制作和传输成本会是高清的两倍甚至四倍，而4K和8K制作效率是非常低的，都达不到高清的十分之一，且由于4K和8K的标准不断发展，技术规范和人员专业水平都会比高清高很多，如某电视台建设4K超高清频道，光设备投资就高达数十亿元，每年设备维护费用也有十亿元，超高清节目制作投入数百亿元，但是如此庞大的投入，也只能维持每天6小时的节目制作能力，所以很多电视台自有4K节目都不足100小时。

随着人工智能时代到来，AI将助力5G 超高清建设，AI将在视频制作、传播和存储等十几个场景落地应用，帝视科技在AI图像画质增强、AI视频渲染、AI内容生成、AI影片修复、AI内容审查、AI智能编目、AI视频压缩等方向均有落地案例。

帝视科技是5G AI 超高清解决方案提供商，帝视科技核心知识产权均围绕4K超高清建设，能提供采集、传送、编辑、传输等一系列AI 超高清解决方案，拥有丰富的5G AI 超高清的案例落地。

帝视科技的画质增强技术在全球最顶级的计算机视觉会议ICCV上获画质评价第一名，同时也获得了央视、浙江、河南等电视台认可，每一年，参与节目播出及制作内容超10万小时，同时与互联网公司、芯片公司等有深入的合作。

1

AI视频技术实践及探索：画质增强

AI画质增强，是把原来的高清画质提升到4K画质，4K画质提升到8K画质，与传统算法相比，帝视科技采用的AI视频增强算法在视频细节和纹理上会有极大的提升，其中使用到视频超分、细节生成、去压缩伪影、自适应去噪、动态插帧技术等，针对4K超高清视频高动态范围，采用SDR转HDR技术，提供8bit到10bit、HDR/HLG/PQ EETF、色域提升等功能，可针对电影、新闻、游戏等场景自动优化模型。

去年我们公司联合广电总局提出AI超高清画质增强效果测试方法的技术标准，采用原始拍摄4K的序列进行下采样到高清，由算法公司通过AI视觉增强算法将高清增强到4K，然后计算重建的4K视频和原始拍摄4K视频的主观指标和客观指标，如PQR、DOMS、PSNR、VMAF等评估画质增强效果。

依据结果，PSNR值可以达到40以上，VMAF可以达到99分以上，PSNR在20分、30分时，肉眼可以明显感觉到画质损伤，30到40分时，是可以感知到轻微损伤，而超过40分肉眼就察觉不到明显画质损伤，VMAF也是，超过90分，肉眼也察觉不到明显画质损伤。

比较好的AI超高清算法是完全有能力接近甚至达到真4K水平，首先需要在高码率原片上进行增强，码率20Mbps以上为宜，并以逐行扫描优先进行画质增强，同时要注意，增强超分尺度控制在2倍和3倍，对于质量较差片源应以修复优先，我们会依据场景训练模型，所以可根据场景选择合适模型，从而得到更好的增强画质。

我分享一些案例，受限于生产和节目制作水平，建国70周年在天安门广场大屏播放的部分视频没有达到4K，但把高清视频放4K大屏上播放，就会有明显的画面颗粒感，后面采用帝视科技方案，把高清片源增强为4K片源，最后完美呈现了视频，该方案也面向版权方、VR 4K/8K内容提供离线转码。

其次是直播，大家可以去看河南电视台，采用帝视科技直播增强编码方案，由于4K建设需要整个频道进行4K改造，实现还比较困难，而采用帝视科技方案，将直播视频的原始高清信号，经AI画质增强提升，可接近甚至达到真4K水平，再经过窄带高清，13M码流就能欣赏4K视频。

第三个案例是节目素材升级，4K超高清时代，电视台原有标清素材用不了，但很多珍贵素材是没有高清版本的，利用帝视科技画质增强技术，可升级素材画质，达到高清与4K超高清播出标准，既能节省制作成本，还能提升制作效率。

2

AI视频技术实践及探索：内容生成

AI内容生成，就是补充缺失的东西，加上没有的东西，比如缺失像素生成技术、AI上色、虚拟演播室建设、插帧技术等，它们主要应用AI配套网络内容生成技术和基于压缩内容重置技术，应用AI内容生成时要注意，尊重历史、客观和场景事实，比如说生成一个AI相册，根据季节变化会有不同的服饰穿着，也需注意少即是多，少面精确的生成远比大面有瑕疵的生成有价值，也要注意模型选择和法律法规。

接下来我分享几个我们公司在AI内容生成的案例，第一个是去台标案例，采用AI技术去掉新闻联播台标等信息，通过目标检测、手动标定和AI填充的方式，帮助素材和节目去广告去台标，这比传统马赛克算法模糊方法更为逼真。

其次是“去摩尔纹”案例，这个在后期制作上比较麻烦，并且目前市面上还没有一个比较好的方法解决该问题，而AI可以分析频域、时域特征去掉摩尔纹。

第三个是AI上色，有无监督上色和有监督上色，AI应该尊重历史和客观事实，历史背景视频应采用有监督人工干预上色，做到贴近历史，风景素材类可采用无监督，符合创意发挥。

第四个是人脸超分，由于人脸拥有感官特征，AI经过比较，深度提取并标注出这些特征，这需要先进行人脸识别，再压缩提取高层次人脸特征，并做一个配比，同时对这个画面加色，还原高清晰度图像。

3

AI视频技术实践及探索：视频压缩

超高清视频在CDN和互联网上面传输需要很大的带宽，压缩方案可以节约30%到40%带宽，输入视频，经过AI画质增强，切片和AI决策大脑，最终经过超高清智能编码器，输出高清低码的视频。

第二点分享端边云结合的AI视频压缩，对比直接传输的原始视频，可降低最少30%的码流，在高清4M码率下压缩质量领先，在VMAF90分情况下节约30%码流，同等分辨率 编码下，较手机自身上变换画质，VMAF评价提高10分，可在手机实时播放。

最后给大家分享增强场景，低清视频进来，分析视频内容，根据内容需求选取增强方案，再选取模型，最后输出超高清视频。

谢谢大家！