AI如何修复名画?

文章转载自:大数据文摘
ID:BigDataDigest
作者:牛婉杨、朱科锦
编辑:darlene7

世界名画欣赏特效(荷兰国宝级名画高清重生)(1)

疫情期间,“云”逛博物馆成为了艺术界新风潮。从故宫博物院到纽约的大都会博物馆,都推出了360度在家看展功能。

但是,要想在屏幕前体会到亲眼看到画作的震撼仍然不容易。多数画作扫描没有办法复原到作品的细节,画家的笔触和材料的质感,并不能满足艺术品鉴师们的高要求。

阿姆斯特丹国立博物馆决定打破这个魔咒,为全球艺术爱好者们送上一份大礼——一份有史以来最高清的电子版《夜巡》画作!

这幅扫描版的画作一经上线立刻引起了轰动,网友们纷纷表示:真的太清晰了,有种拿着放大镜看实物的过瘾感。

这幅扫描版的画作清晰度高达448亿像素(44,804,687,600像素),扫描耗时近两个月时间,耗资300万欧元,力求最大限度的保留原画的画面,连笔触和裂缝都清晰可见。

世界名画欣赏特效(荷兰国宝级名画高清重生)(2)

所谓10亿像素数字信息图像(Gigapixelimage)是包含10亿以上像素的照片。一般来说,一张10亿像素图像的像素容量,比普通的1百万像素的数码照片的要高1000倍以上。这样的照片一般不是一次曝光形成,而是需要把很多张照片拼接起来。

这项庞大的工程由数据科学家Robert Erdmann领导的国立博物馆团队完成。借助机器学习软件,他们花了两个月时间把这幅高11英尺,宽14英尺的画作以超分辨率(macro-XRF)扫描了下来,又利用神经网络将扫描到的528张照片拼接起来,最终构成了这幅448亿像素(44,804,687,600像素)的高清图像。

01

2个月的时间扫描 拼合,完成448亿像素的《夜巡》

《夜巡》是伦勃朗最著名的画作之一,这幅布面油画于1642年创作完成,画的是17世纪荷兰一支警备巡逻队的集体照,享誉世界。

1975年,夜巡遭受过一次严重的伤害,一名精神病患者用面包刀在画作上连划12刀,博物馆对夜巡做了紧急修复,从那时到现在的44年里,研究人员一直在监测画作的“健康”状况。

世界名画欣赏特效(荷兰国宝级名画高清重生)(3)

因为时间太久,画面也出现了一些例如褪色的问题,画面右下角的小狗目前已经变成了白色,被人戏称为“幽灵狗”,画布上的油彩和清漆也都有开裂、剥落的迹象。

世界名画欣赏特效(荷兰国宝级名画高清重生)(4)

在伦勃朗逝世350周年之际,对《夜巡》最新的修复工作也随之展开。

要获取这幅画的高清电子版,首先要对画作进行一次全身的深度“扫描”。

由于这幅画过于庞大,而仪器每次可以获取的范围非常有限,机器需要一排一排的对画作进行扫描。在扫描过程中,Robert Erdmann的团队用到了多种成像技术,包括用X射线穿透油漆的各个图层。

世界名画欣赏特效(荷兰国宝级名画高清重生)(5)

机器上有红黄两个灯,黄色灯亮表示已开启X射线发生器但还未产生辐射,红色灯亮则代表机器开始扫描,也就意味着这时候机器正在运行过程中,会伴随着微量的辐射。

因为这项技术会用到X射线,所以团队被问到最多的问题就是,射线会否伤害到画作本身。参与修复项目的一位科学家Annelies Van Loon表示,控制距离和射线量的情况下,这不会威胁到研究人员的人身安全以及这幅画作,他们也会与机器保持2米以上的安全距离

世界名画欣赏特效(荷兰国宝级名画高清重生)(6)

Annelies Van Loon

那扫描这么一幅3米多高的画作,需要多长时间呢?

别觉得有了机器的帮忙,就可以快速的修复完成,事实上,这个团队花了两个月的时间才扫描完整幅画作。

世界名画欣赏特效(荷兰国宝级名画高清重生)(7)

Annelies称,“每一次扫描的范围只有58cmx78cm,扫描画中的一排就需要花费21.5小时,往往机器一开就是一天。”

但Annelies认为这些付出都是值得的,因为通过扫描可以让我们看到一些原本肉眼看不到的细节。

世界名画欣赏特效(荷兰国宝级名画高清重生)(8)

将高清版《夜巡》放大到5340 dpi,分辨率4.75微米所能看到的细节

扫描完成,才算完成了一部分。接下来,该神经网络出场了。

国立博物馆称,利用神经网络,科学家们将24行的22张图片(共528张)进行数字拼接。

最终组成了这幅448亿像素的《夜巡》,每个像素之间的距离为20微米。

除了高清还原原作,这次的扫描工作还给了艺术研究者们一份“惊喜”。

Annelies表示,“当X射线被反射回来,会给我们一个数据。它可以告诉我们颜料的化学组成,这就是这项技术的特别之处。它还能让我们看到不同维度的细节,包括所用的材料、绘画的条件和绘画技巧。”

不仅如此,通过macro-XRF扫描技术,甚至可以让我们“穿越”到三百年前,亲身感受画作作者伦勃朗的创作历程。

博物馆负责人Pieter Roelofs详细介绍道,“通过识别单个元素,不仅能够识别出颜料,还有助于我们理解这幅画的构成,甚至可以感受到伦勃朗在创作时在某处的反复涂改,似乎很是纠结。”

Pieter还表示,“可以看出伦勃朗很努力地在创作这幅画,目前的评论家倾向于把他说成是天才,但从这次的扫描结果来看,他也非常的勤奋。”

02

《夜巡》修复项目是该馆有史以来规模最大的研究保护项目

阿姆斯特丹国立博物馆这一修复项目是从去年7月份开始的,项目开始后,这幅《夜巡》就被“封”在了博物馆画廊尽头,一个巨大的玻璃室里。

这也是自1808年这幅画进入博物馆以来,有史以来规模最大,最全面的研究和保护项目。

世界名画欣赏特效(荷兰国宝级名画高清重生)(9)

这个耗资300万欧元的研究和修复项目名为“守夜行动”(Operation Night Watch),预计将持续数年。由于博物馆无法在这么长时间内将藏品中的瑰宝从参观者眼中夺走,调查和修复工作便只得在公众的众目睽睽之下进行。

国立博物馆的绘画保护负责人Petria Noble称,“在过去的10到15年里,我们取得了巨大的进步。大概从2007年左右开始,这些非侵入性技术已经彻底改变了我们进行研究的方式。”

“从每一种技术中都能得到一些信息。只有当你把所有这些技术放在一起,才能对这幅画的形态结构有一个清晰的了解。目前看来,数据收集过程将给博物馆带来很多好处。”

来一睹高清版《夜巡》的风采吧:

http://hyper-resolution.org/view.html?pointer=0.343,0.002&r=0.0000,0.0920,1.0000,0.6994&i=Rijksmuseum/SK-C-5/SK-C-5_VIS_20-um_2019-12-21

事实上国立博物馆的研究团队去年8月就完成了这幅画的扫描,疫情期间,这份作品也陪伴很多研究者继续进行艺术鉴赏工作。该团队还将扫描过程做成视频发布在了Instagram上,感兴趣的朋友可以自行观看

https://www.instagram.com/p/B00YJ7tFbyB/?utm_source=ig_embed&utm_campaign=loading

03

神经风格迁移,重塑丢失的艺术品

事实上,AI对于艺术界的贡献已经不是第一次了,此前,神经网络还曾让毕加索的一幅隐藏百年的“画中画”重新面世。 去年10月,在神经网络的帮助下,研究人员用神经网络重塑了一幅毕加索在其“蓝色时期”创作并绘制的图像。

这幅《老吉他手》 是毕加索“蓝色时期”最著名的画了。它可以追溯到1903-1904年,当时的毕加索正处于他一生最贫困的时期,因此他在画中用蓝色来表现他当时所经历的痛苦和凄凉。

世界名画欣赏特效(荷兰国宝级名画高清重生)(10)

在一般人看来这就是一幅毕加索的经典之作,然而艺术史学家们可不这么认为,他们觉得“画里有画”。

1998年,这幅画所在的芝加哥艺术研究所的文物保护师用X射线和红外光线拍摄了这幅画,发现涂料下隐约可见一张女人的脸。 当时这一发现就震惊了艺术界,因为一些艺术家在其早期特别贫困的时候,的确会在画布上重复作画。

直到去年,伦敦大学学院的Anthony Bourached和George Cann首次使用一种“神经风格迁移”的计算机视觉技术来揭秘毕加索的“画中画”。

Bourached和Cann拍摄了藏在《老吉他手》图纸下的“坐着的女人”这幅画作的X光图像的手动编辑版本,并通过神经网络进行转换。这个网络已经训练成熟,可以将图像转换成毕加索“蓝色时期”的风格。

世界名画欣赏特效(荷兰国宝级名画高清重生)(11)

咦,这不就意味着以后还可以重塑丢失的艺术品了吗。

是的,研究人员提出,将“神经风格迁移”技术应用于藏在图纸之下的艺术品的X光图像,可以达到重塑丢失艺术品的目的。 他们还使用同样的方法重塑了其他艺术家的画作,并表示这有可能改变艺术史学家的工作方式。

除了上述AI对于艺术界做出的贡献,利用机器学习还可以给线稿上色:

世界名画欣赏特效(荷兰国宝级名画高清重生)(12)

再刺激点,AI还能变成大画家,利用生成对抗网络,“吃掉”大量艺术家的作品,AI也能变成“毕加索”!一幅画值165美元,发家致富再不是梦。

世界名画欣赏特效(荷兰国宝级名画高清重生)(13)

随着近年来AI的不断发展,它已经伸向了各个领域。对于艺术界来说,它不仅能帮助我们重现名画,还能够激发人们的创造力,甚至给我们指出了一个艺术发展的新方向。

当然,这仅是一个开始,未来AI还能够帮助人类实现更多不可能。

相关报道:

https://www.vice.com/en_us/article/jgxxn8/this-448-gigapixel-scan-of-a-rembrandt-contains-staggering-detailhttps://www.artnews.com/art-news/news/rembrandt-operation-nightwatch-rijksmuseum-13343/https://frieze.com/article/operation-night-watch-revealing-rembrandts-secrets-and-you-can-watch-live

世界名画欣赏特效(荷兰国宝级名画高清重生)(14)

注意:本文含有投票,请到设计癖官网(shejipi.com)参加投票。

,