机器之心原创
作者：杜伟
「经典作品凝结了老艺术家的智慧与精神，值得投入大力气做好修复。」提到 4K 经典中视频修复时，西瓜视频总裁任利锋这样说道。
「葫芦娃，葫芦娃，一根藤上七朵花，风吹雨打，都不怕，啦啦啦啦……」
当这首熟悉的旋律响起时，很多 80、90 后的脑海中浮现出的想必是黑白电视机版的《葫芦兄弟》，或者是更鲜艳的彩色版本：
现在来看，无论是画面的清晰度还是色彩的明亮度，这些稍显「古老」的视频已经无法满足当代人的观看需求了。另外，随着图像超分辨率、FPS 提升、色彩填充等各种 AI 技术不断地进步，越来越多的个人用户和视频网站想要对老视频进行修复，比如 1080、2K 和 4K 修复，以更清晰的视角重拾旧时光。
与此同时，4K 高清设备和 4K 视频内容的普及也使得对经典老影片进行 4K 修复成为一大需求，修复后的影片既能保留原始质感，又可以展现更清晰的画质、更饱满的色彩和更棒的音效。
然而，经典中视频何止千万，4K 修复的工程量浩瀚，又当如何满足人们对 4K 经典老影片的观看需求呢？
西瓜视频携手火山引擎，给出了他们的答案。
10 月 20 日，西瓜视频联合火山引擎举办了主题为「重修旧好」的经典中视频 4K 修复发布会，会上宣布将通过技术手段，在一年内 4K 修复百余部经典中视频。其中，火山引擎团队提供技术支持，修复后的视频内容，用户可免费在西瓜视频上观看。西瓜视频也将开放入口，为普通用户免费提供 AI 修复支持，同时对有价值的视频提供深度的公益修复。
西瓜视频总裁任利锋表示，「修复经典是传承，也是用新技术最大化还原作品，带给大家新的感受和认知。不管是修复动画片，还是修复老影像，归根到底，都不只是为了提高它的清晰度。我们想要修复的是这些内容背后的记忆，呈现几代人因为这些记忆隔空产生的共鸣和火花。」
任利锋。图源：西瓜视频
会上还公布了首批合作伙伴，包括央视动漫和上海美术电影制片厂，计划修复的百部影片部分如下：
- 哪吒传奇（2003）、围棋少年（2005）、围棋少年（2）、大头儿子和小头爸爸（1995）、 黑猫警长 1-5 集、我为歌狂（2001）、三个和尚、小鲤鱼历险记（2007）、葫芦兄弟（1986）、葫芦小金刚 1-6 集、西游记、小蝌蚪找妈妈、小鲤鱼跳龙门、大耳朵图图（第一季）、舒克和贝塔 1-13 集等。
目前，小鲤鱼历险记（2007）、小蝌蚪找妈妈、哪吒传奇（2003）、黑猫警长 1-5 集、大头儿子小头爸爸和葫芦兄弟等六部动画片已经完成了 4K 修复，并可以在西瓜视频上观看了。
我们先来欣赏下 4K 修复后的影片《小鲤鱼历险记》片段：
给老胶片上 4K 分辨率虽难，但意义重大
在阐述 4K 影片修复的难点之前，我们先简单罗列几个数字，老式标清电视的分辨率仅为 720x480，也就是说一次可显示的内容为 345,600 像素；高清电视的分辨率为 1920x1080，总像素为 2,073,600，是标清的 6 倍；具有新一代好莱坞大片分辨率标准的 4K，它的分辨率为 4096×2160，需要 8,847,360 像素。
常见的几种标准视频分辨率。图源：wikipedia
从技术上来讲，4K 修复需要将胶片数字化扫描为分辨率为 4096×3112 的序列帧图像文件，然后通过 4K 数字中间片制作方式对影像进行修复。比如，2019 年 11 月在内地上映的 4K 修复版《海上钢琴师》就是将 35 毫米的胶片修复成 4096×3112 分辨率。说起来容易，但真正修复起来困难重重。一般来说，影片修复分为物理修复、数字修复和艺术修复三大步骤。
首先，很多年代久远的影片胶片，不可避免地存在霉变、污染、脱色、闪烁、噪声、色变、丢帧等损伤，还往往会有灰尘、污垢等表面问题。这是修复面临的第一道难关，通过物理修复对老胶片进行清理、接补等工作，以待后续的数字化修复。
其次，使用胶片扫描仪对物理修复完成的胶片进行胶转数（2K 或 4K）处理。在这一环节中，利用专业软件自动修复胶片中存在的脏点、霉斑、划痕、等问题，然后进行颜色还原，输出高格式的画面镜头。从步骤上讲，2K 修复与 4K 修复并没有区别，只是 4K 修复需要更多的人力和财力。有数据显示，普通的 2K 修复（分辨率 2048×1556）完全依赖人工大概需要两个星期才能完成一部，花费在 30 万元左右。4K 修复（分辨率 4096×3112）的工作量是 2K 修复的 4 倍，需要两三个月、甚至半年的时间才能完成一部。
最后，对修复影片的艺术化处理也不容忽视。有从事老影片修复工作的专业人士表示，影片修复最困难的其实不是技术修复，而是艺术修复。修复人员的艺术修养对「还原老电影的感觉」至关重要，修复后的影片不仅要表面光鲜，还有味道纯正。
虽然面临着技术等方面的挑战，但一些具有重要文化、艺术价值以及历史意义的经典老影片的 4K 修复很有必要。国内很早就兴起了老电影修复热，2006 年底中国电影资料馆牵头启动了「电影档案影片数字化修护工程」项目，上海国际电影节于 2011 年启动国产电影修复计划，爱奇艺等多家视频网站也发挥自身优势投入到老旧影视作品的修复中等。
此次，西瓜视频联合火山引擎发起的「经典中视频 4K 修复计划」，将成为老片修复大军中的新生力量，为经典中视频的传承贡献自己的一份力量。
火山引擎用到的这些 AI 算法，有什么独到之处？
作为字节跳动旗下的企业级技术服务平台，火山引擎将字节跳动快速发展过程中积累的增长方法、技术工具和能力开放给外部企业，提供云、AI、大数据技术等系列产品和服务，帮助企业在数字化升级中实现持续增长。其中，在火山引擎技术中台的多媒体中台中，智能处理是字节基于多年对多媒体智能处理的实践经验，提炼出的全流程视频前后智能处理及增强技术，主要能力模块包含画质增强、视频 DNA 等。
智能处理技术的一大子功能即是老片修复。在 4K 修复过程中，火山引擎从清晰度、流畅度、色彩和瑕疵四个方面解决老片的清晰度低、流畅度低、色彩失真和瑕疵多问题，其中多个 AI 算法的使能是关键，包括如下：
- 智能超分
- 智能插帧
- 色彩增强
- 消除瑕疵（视频降噪和划痕修复）
- 锯齿修复
在这几个 AI 算法的加持下，火山引擎针对 4K 极致画质体验场景（如西瓜影院模式），提供了极致画质修复方案，提升源视频的分辨率、帧率和色域，进行高质量智能转码，达到极致的播放视频画质。
火山引擎智能处理的完整流程。
智能超分
作为一项非常重要的视频处理技术，超分辨率通过硬件或软件的方法提高原有图像的分辨率，目的是根据一系列低分辨率的图像重建一幅高分辨率的图像。基于深度学习的超分辨率算法已经是近年来研究的热点，主流的方法一般分为单帧超分和多帧超分。
单帧超分即输入一张图片，输出其高分辨率图片。单帧超分辨率典型结构有预定义上采样（predefined upsampling）、单一上采样（single upsampling）等；多帧超分则考虑视频前后关系，重建更多细节。但这些超分辨率方法存在一些瓶颈，当上采率比较高时，例如 16 倍，很多算法不能很好地重构出对应的高清图像。
火山引擎的智能超分算法基于深度学习方法，根据已有的图像、视频信息重构出缺失的细节。特别对于视频任务，使用前后帧信息并对其进行时域建模恢复出额外的细节。在老片修复任务中，针对画面普遍存在的清晰度差、模糊和分辨率低等问题，智能超分可以显著提升清晰度和分辨率。相较于其他超分辨率算法，智能超分算法具有两大优势。
一方面，针对老片场景的模糊退化专门进行建模，从而优化清晰度效果。效果是这样的，720P 的源动画经过超分辨率重建和去模糊后，达到了 4K 分辨率的超高画质。
另一方面，对内容进行自适应处理，根据不同区域分片处理，保持原有画风。我们以动画片《葫芦兄弟》为例，该片为水墨和剪纸的组合。在修复时，既要保证人物锐利，又要兼顾水墨背景的艺术效果。这对技术能力要求非常高，需要机器能够准确地识别好前景和背景。
从如下动效图来看，修复后（右边）的水墨画区域保持了朦胧感，剪纸区域提升了清晰度，彰显了智能超分的强大超分处理能力：
智能插帧
视频帧数是影响观影体验的重要因素之一，通常来说，单位时间内人眼看到的连续帧越多，人们对于影片会产生更真实更自然的主观感受。也就是，帧数越大，视频就越流畅。插帧技术可以实现低帧率视频向高帧率视频的转换。
国内外也出现了很多插帧技术，如基于 SVP（Smooth Video Project）的插帧渲染可以将 24 帧 / 秒的视频转化为 48 或 60 帧 / 秒、英伟达的神经网络脑补大法 Super SloMo 将帧率为 30 帧的视频补到 60 帧、240 帧甚至更高、上海交大开源的插帧算法 DAIN 更是可以将 30 帧的视频插帧到 480 帧。
在老片修复中，老动画片受限于制作成本，绘画帧数较少，一般为 15 帧以下，导致画面流畅度差，有卡顿感，更需要插帧算法的参与。
因此，火山引擎采用的智能插帧算法通过分析前后帧的运动和内容，对中间帧进行生成，将原先不足 15 的帧率，提升至 60 以上，大幅提升流畅度。此外，由于动画纹理较少，常规倍帧方案难以判断前后帧对应的运动块，火山引擎使用块光流进行优化，实现了更精准的插帧结果。
动画《哪吒传奇》中画面的前一帧、插帧和后一帧示意图如下：
色彩增强
色彩失真是老片存在的又一大问题，这主要是由以下两个原因造成的。
其一，胶片在转录和数字化流程中受转录设备的影响，带来了不同程度的色彩偏移，从而背离创作者最初想要表达的画面。
其二，老片制作流程通常基于旧的播放场景和制作标准，采用较窄的色域和较低的亮度动态范围，导致亮度动态范围普遍比较低，画面对比度也就比较差，看起来很昏暗。而如今大部分的中高端手机机型已经开始支持 HDR 播放，具有 1200 nit 甚至更高的屏幕亮度和 DCI-P3 的广色域显示。
针对造成老片色彩失真的两方面原因，火山引擎的色彩增强方案进行了有针对性的处理。一方面，基于 AI 进行画面色偏检测和修复，还原创作者初衷；另一方面，SDR 到 HDR 的转换（SDRToHDR）可以将画面动态范围和色域映射到更大的空间（峰值亮度 100nit 到最大 10,000nit，BT.601 到 BT.2020），充分利用用户显示设备的能力，获得最佳显示效果。目前，火山引擎的 SDRtoHDR 色彩增强方案处于业界先进水平。
SDRToHDR 修复前后的《大头儿子小头爸爸》画面对比如下，可以看到，右边画面在色彩明度和丰富度方面均有显著提升：
消除瑕疵
由于年代久远以及保存不当等主客观因素的影响，老胶片可能会出现物理和化学损伤，导致视频画面布满雪花碎片、黑线和闪动等多类型瑕疵。这时，就需要进行视频降噪和坏点划痕修复。
视频在采集、剪辑、编码、转码、传输、显示等过程中会出现失真，噪声就是信号采集过程中引入的一种普遍失真。降噪成为了增强视频画质和提升清晰度的一种手段。传统视频降噪算法可以分为基于空间域和基于时域的降噪，基于机器学习的视频降噪算法也得到了越来越多的研究，如 2019 年 4 月荷兰代尔夫特理工大学提出的深度盲去噪算法 ViDeNN 等。
对于老电影，由于胶片自身的损伤，背景上一般都会有很多坏点划痕，比如一条条的竖线。去划痕非常有必要。经典解决方法通常分两步走：检测和去除。划痕检测大多采用直线检测方式，找到空间中的竖线、横线，然后利用空间或时间插值把这条线用别的像素给补上去。
但是，相较于常见的视频瑕疵，老片的瑕疵不仅类型复杂而且程度更严重，为此火山引擎结合了传统信号处理和深度学习算法，对噪声和坏点划痕进行有针对性的修复：对于较小的雪花颗粒噪声，使用传统算法进行处理；对于较大的坏点和划痕，使用机器学习算法进行识别和修补。
效果立竿见影，从下图《布谷鸟叫迟了》画面的修复对比效果可以看到，算法强力地修复了瑕疵，并且保留原有纹理不受影响：
然而算法也不是万能的。在实际修复过程中，如果要求算法实现 100% 的处理瑕疵，那么会很容易将一些艺术效果也识别为瑕疵，从而对影片造成了破坏。
因此，在这次老片修复过程中，火山引擎采用了算法处理和人工标注结合的方案，其中算法大概能解决 95% 以上的瑕疵问题，剩余 5% 的瑕疵需要由人工辅助标注。然后告诉算法，再调整算法做二次优化。这样一来，我们既可以比较彻底地消除瑕疵，也能保护影片原有的艺术风格。
不过，对损伤严重的老片来说，彻底消除瑕疵需要投入大量人力。以《葫芦兄弟》为例，修复团队在消除瑕疵的过程中看了 20 万帧的画面。
锯齿修复
老片在数字化的过程中，采样做的不好，往往会出现频谱混淆的锯齿效应，导致观感不佳。目前，业界的大部分锯齿修复都是针对低分辨率向上采样导致的情况进行处理，老片中的锯齿很多是向下采样时出现的。因此，对于已经产生的频谱混淆的情况，业界算法大多都没法处理。
下图左哪吒出世画面中明显的线条锯齿正是向下采样频谱混淆导致的，这一问题只在部分场景中出现，很难定位，但不解决的话会严重影响观感，也会影响其他算法的效果。因此，针对这种场景，火山方案单独设计了一个优化算法，使画面锯齿效应得到非常大的改善。
我们还应该看到，每个动画片存在的画质问题不可能完全相同，对此火山引擎采用了「对症下药，一片一方案」的应对方法。火山引擎多媒体实验室研究员赵世杰解释道，一部动画片（以《黑猫警长》为例）可能会在分辨率、帧率、瑕疵、色彩、模糊和锯齿中的几个方面存在着问题，那么就有针对性地采取超分辨率、倍帧、去噪、去划痕和 HDR，实现最精准的视频修复。
最后需要提到的是，4K 修复使用到的这些技术，目前已通过火山引擎智能处理向包括抖音、今日头条、西瓜视频、皮皮虾 APP、图虫、虎扑和懂球帝等内外部的客户提供服务，从而让更多的企业参与到老片的修复中，为当代观众带来更多的 4K 超高画质影片。
火山引擎智能处理官方网站：volcengine/products/IMP
参考链接：
atyun/46758.html
jiqizhixin/articles/2020-05-10
cloud.tencent/developer/article/1089304
xinhuanet/ent/2019-10/21/c_1125129740.htm
kjt.hebei.gov/www/kxpj22/kxbl56/197445/index.html
culture.people/n/2013/0910/c172318-22873573.html
,
