机器之心报道
机器之心编辑部
一段 AI 修复的视频，让我们体验了一把 100 年前的老北京。
小贩叫卖、马车过街，修复后的视频可以清楚地展现冷热闹清的市井生活。
作揖问候的场景也明晰可见。
你能想象，这些生动展现百年前国民生活的彩色影像，是运用人工智能技术修复的吗？
近日，这段运用人工智能修复老北京影像的视频在 B 站和微博上火了，惹起了极大的关注。仅在 B 站上，阿婆主「大谷的游戏创作小屋」上传的这个旧影像修复视频曾经获得 61.9 万的播放量、4.9 万点赞。
网友们纷纷感叹「凶猛」，视频「明晰连接」，「让我们看到了 100 年前的 vlog」。
视频中，阿婆主运用人工智能技术，对民国初年的一段影像停止了上色、修复帧率和扩展分辨率的改动，从而彻底改变了这段 100 年前老旧影片，让我们可以更为细致地观看 100 年后人们的生活。
与旧影像对比之后，我们可以对修复效果有更为直观的感受。
视频修复前后在颜色、明晰度方面都有了很大的提升，修复前灰蒙蒙，修复后颜色艳丽。
那么从技术层面上看，终究是如何做到这么冷艳的效果的呢？阿婆主表示，他也是参考了海外 YouTube 博主 Denis Shiryae 的影像修复教程。
影像修复三大步骤
往年年终，Denis 修复 1896 年经典电影的视频也在海外火了一把。
电影界最著名的短片之一是 1896 年的一部无声电影《L’Arrivée d’un train en gare de La Ciotat》，画面很简单，只要 50 秒，描画的是一列火车驶入车站的场景。Denis 正式对这个经典的短片停止了 AI 修复，效果非常不错。下图可以看出修复前后画面的激烈对比：
链接：https://www.youtube.com/watch?v=3RYNThid23g
从 Denis 的网页引见，我们可以看到整个修复过程次要针对三个核心点：4K 分辨率以及 60fps 的帧数，除此之外还添加了背景颜色和声响的效果。
DAIN 插帧技术
在添加 FPS 方面，Denis 表示他次要运用了由上海交大 Bao Wenbo 等人提出的 DAIN 插帧技术（参见论文《Depth-Aware Video Frame Interpolation》）。
项目地址：https://sites.google.com/view/wenbobao/dain
这项研讨提出经过探求插帧中的 depth cue，来显式地检测遮挡。
研讨者开发了一个深度感知的光流投影层来合成中间流（中间流倾向于对间隔较近的对象停止采样），并学习层级特征作为语境信息。然后，该模型基于光流和部分插值 kernel 将输入帧、深度图和语境特征停止变形处理，最后合成输入帧。
DAIN 模型的架构如下图所示：
DAIN 架构图。给出两个输入帧，DAIN 首先估计其光流和深度图，并运用深度感知光流投影层来生成中间流；然后采用自顺应变形层（adaptive warping layer），基于光流和空间变化的插值 kernel 对输入帧、深度图和语境特征停止变形处理；最后，运用帧合成网络生成输入帧。
4K 分辨率
自从 1998 年第一台高清电视投入市场以来，“高清”不断是技术追逐的方向之一。简单罗列几个数字，老式标清电视的分辨率仅为 720x480，也就是说一次可显示的内容为 345,600 像素。高清电视的分辨率为 1920x1080，总像素为 2,073,600，是标清的 6 倍，而 4K 的 3840×2160 分辨率则需求 8294,400 像素。
简单而言，视频修复过程至少需求额外填充 600 万像从来顺应 4K 高清分辨率，而这种 “插值” 过程正是 AI 技术的用武之地，所补充显示的内容皆是基于相邻周边像素所呈现的内容。“插值”过程本质上是一种猜谜游戏，假如让卷积神经网络这类 AI 技术去发号施令的话会有更优质的反馈效果。
在此展现中，Denis 经过 Gigapixel AI 软件将分辨率提升至 4K，该产品由 Topaz Labs 开发，目前已进入到成熟的商业阶段。研发之初是为了协助摄影师在不丢失任何细节的状况下将照片质量提升 6 倍，将该技术产品化的过程中发现将其运用至视频是完全可行的。不过值得一提是，渲染几秒钟的视频能够需求几个小时的处理工夫，感兴味的冤家可以一试。
DeOldify 着色模型
而在着色上，置信社区的大部分读者都知道一个基于 GAN 的图像着色模型 DeOldify。经过下面的对比图，我们可以看到该模型的效果。
DeOldify 基于生成对抗网络，由深度学习研讨员 Jason Antic 开发并维护。自从 2018 年项目开启以来，DeOldify 曾经停止了多次迭代。
假如读者们想要尝试，经过以下链接可直接安装运用。
项目地址：https://github.com/jantic/DeOldify
Colab：https://colab.research.google.com/github/jantic/DeOldify/blob/master/ImageColorizerColab.ipynb
数字修复中的 AI 技术运用要比想像的多
上述图像分辨率补充、FPS 提升、颜色填充是数字修复大方向下的三个子环节，而整个影像修复技术处处可见人工智能的身影。
以图像修复为例，普通步骤为：输入图像，检测画面信息及获得画面一切像素并辨认受损区域，计算受损区域的像素点优先项，确定优先项最高的为待修复像素块，计算源区域中的婚配块与待修复区域的误差，确定误差值最小的为最佳婚配，停止填充和修复，检测损伤区域能否全部修复，若已修复则输入图像。
来自机器之心 pro
而对视频修复而言，它是基于图像修复演化而来的，也异样是逐帧修复，所以其流程与图像修复相似。
至于图像分辨率提升环节，Denis 经过 Gigapixel AI 软件停止处理。而实践状况中图像分辨率提升以及图像超分辨率的处理触及到许多技术细节，如图像配准、图像分割、图像紧缩、图像特征提取、图像质量评价等等。而这些子方向的研讨在各大 AI 学术顶会上频频可见。相似地，经过机器学习方法从训练样本集中提取视频中的高频信息模型，从而对填充所需信息停止合理预测，达到提升视频图像分辨率的目的，这样相似的思绪层出不穷。
从运用方面来看，高清设备的普及使得对早期的游戏及电影停止重制成为一大需求，图像修复，图像超分辨率等众多修复技术的发展也为该市场提供了一个可持续的处理思绪。
最后，在了解完修复旧影像背后的技术后，感兴味的读者也可以尝试下。说不定，你也能在 B 站、抖音上火一把。 |
