小伙AI修复百年前北京影像 具体怎么情况?

 5月8日,博主@大谷Spitzer在微博上传了一段视频,他用人工智能技术修复了100年前北京民国初年的影像。画面中,城门大街上马车和行人来来往往,院门前两人见面打招呼先鞠躬作揖、集市里几名留着长辫子的青年好奇地张望着镜头……这段视频一经发布,就在全网掀起转发热潮。

开源算法搭配专业软件,多项AI技术修复老北京街景

“我一直在想,什么样的技术可以用来做一些对社会有意义同时又很有趣的事情。”@大谷Spitzer在视频中这样说道。

@大谷Spitzer是一位出生于北京的90后,目前在纽约从事独立游戏开发工作。据@大谷Spitzer透露,这段影像的源视频来自《人民日报》四年前发布的资料影片,由加拿大摄影师在1920-1929年间拍摄。

100多年前,随着欧美电影技术的发展,也有越来越多的外国人把摄影机对准中国社会,这些珍贵的影片保存了历史现场。但原视频是黑白影片,模糊且默声的画面多少会影响到人们的观影体验。

@大谷Spitzer说,他用AI完成了上色、修复帧率、扩大分辨率等步骤来处理影像。科技媒体“HyperAI超神经”考证,这段视频使用DAIN 插帧算法进行帧率修复、ESRGAN方法进行分辨率增强、DeOldify项目为视频上色,还用VirtualDub 软件对视频进行了老电影降噪部分的处理。

在处理后的视频中,人们可以清楚地看见生活优渥的大宅主人驱赶在院门前停留的乞丐,生意不错的小吃摊占据着闹市的广场中心,入城出城的“客流”比较多,还有络绎不绝的香客甚至郑重的殡葬仪式。

@大谷Spitzer还从网络找来音效。视频的背景曲目是北京民乐大师的作品,其中道教音乐来自北京白龙观的录音影像。网友@睡到天荒地老表示:“特别喜欢寺庙那段,梵音入耳,感觉闻到了百年前北京城的烟火味。

最后,一段时长十分钟的视频,就这样通过开源算法和软件的结合呈现在观众眼前视频的修复效果从网友们的反应便可见一斑:

@请你一直暗恋我:“不是概念的,宏观的,文字的,被描述的,被审视的。完全打破我的模糊想象,被触动了。”

@慕雲凌風LEQ:“感谢你给我看了一个100年前的vlog……真的太牛逼了,博物馆应该收藏你的作品!而且大量的背景环境音也费心了!很精致。”

@天天猫蹄机:“视频里刚出门的这个人怎么也想象不到一百年后会有一个人躺在床上拿着一个神奇的物品能够观察到他们当时的一举一动吧。”

AI修复老片并非新技术,《三毛流浪记》《倚天屠龙记》皆有运用

@大谷Spitzer在微博文案中说,他修复影像的技术管线参考自开发人员Denis Shiryae 的影像修复教程。

南都科创记者搜索后了解到,今年2月,Denis Shiryaev就曾在视频网站youtube中上传他用神经网络增强的4K高清版《火车进站》,这是“现代电影之父”卢米埃尔兄弟1896年在法国巴黎放映了全世界第一部电影

125 年前的《火车进站》采用了 35 mm 格式胶片制作。由于当时的胶片技术尚未成熟,画面里景物都比较模糊,火车在驶来的同时还带有明显的拖影。但现在,经过AI处理的画面分辨率增强和插帧之后,这部老电影获得了 4K ~ 60fps 的画质,真实感大幅提升。

近几年,用AI修复老电影也在国内得到诸多运用。1949年版的《三毛流浪记》是新中国成立后第一部公映的国产电影2019年,经过AI技术修复的《三毛流浪记》在上海国际电影节上映。同年,《开国大典》在修复过程中也采用了AI技术

“这其实已经从商业上证明了,技术能够带来新价值。”阿里巴巴资深技术专家江文斐说。

在老片修复领域,人工智能技术的运用有一个从无到有的过程。爱奇艺高级总监刘俊晖在接受《文汇报》采访时解释道,在AI开始“工作”之前,它必须经过大量的学习来搭建模型和推演算法:一方面,对照人工修复前后的影片;另一方面,在清晰的片子上加糊、加噪,人为模拟老片。通过这些基本素材,超分辨率、去噪锐化、修复污迹、色彩增强成为了人工智能技术助力老片修复的“基本技能”。

划痕修复、画面调色等仍需人工操作,AI修复电影需要完善技术

仔细的观众会在@大谷Spitzer视频开头画面旁的小字留意到这样一句话:色彩为AI自我学习结果,不代表历史原色。”这侧面反映了AI修复老片的一项技术瓶颈,即机器本身不具备艺术鉴赏能力,对于调色等主观的艺术创作,还需要人工来进行把握。

刘俊晖曾公开介绍,爱奇艺团队最初尝试通过AI技术修复老片时曾做过一个样片提交给中国电影资料馆的修复专家。高清、去噪、去划痕……该修复的他们都做了修复,但这段样本却直接被专家否定了。对方给出的意见是:AI修复后的视频画面整体颜色饱满,却丢失了电影本身的年代感。

同样地,据《中国新闻出版广电报》报道,电影《开国大典》有24万帧画面,修复用了4个多月时间。负责该影片复工作的技术人员周苏岳表示:“正片工作量的90%靠AI技术来解决,但是人工部分花了90%的时间。”尤其是对于镜头不稳定且胶片上有大量脏点、油污、划痕和变型的资料片,专业修复师可能一天也只能修一秒。

不过技术总是处于进步之中。2019年7月,AI服务提供商deepsense.ai曾用人工智能修复经典佳片《乱世佳人》。对于充满噪声和划痕的原始胶片,他们利用有监督的学习算法,通过神经网络训练模型,让机器学会消除瑕疵。此外,5G时代的到来也会为经典老片的传承带来更多新机遇,因为高速网络会便利超高清的内容传输,激发人们对于移动观影的巨大需求。

技术也令人充满遐想,正如网友@知北游原在评论区留言所说:“一百年后,我们会不会也这样被后人感叹呢?”

出品:南都科创工作室

南都记者 任先博 实习生 郭静怡 综合报道

*文章为作者独立观点,不代表 左手网 立场

喜欢就转发朋友圈吧!

你的每次转发朋友圈,我都认真的喜欢!!!

发表评论

左手网