艺术杰作随时都有风险；人工智能和新技术可以助一臂之力
近几个月来,人们一直在谈论人工智能如何从文本提示创建图像。因此,当人们将"人工智能"和"艺术"这两个词联系在一起时,人们立即想到了DALL-E、Stable Diffusion和其他算法。在本文中,我想讨论为什么艺术作品通常不如我们想象的那么安全,以及人工智能如何帮助保护它们。
对美的仇恨:什么威胁着世界的记忆 ？
人工智能想象的卢浮宫废墟
“
“每一个创造行为首先都是一个破坏行为。” ― 巴勃罗·毕加索
“认为文化遗产是安全的,这是一个错误。人类最有价值的许多作品也是最脆弱的。纵观历史,只有一小部分艺术作品设法随着时间的推移得以保存下来。
例如,在战争期间,文化遗产经常受到损害。在古代,掠夺新征服的领土被认为是常见做法,这一传统在殖民主义和拿破仑掠夺期间得以延续。此外,在第二次世界大战期间,大量艺术作品被损坏或永远丢失。几件作品被纳粹偷走(至今下落不明),而其他作品则在盟军对德国的轰炸中被摧毁。
即使在今天,在叙利亚战争期间,像阿勒颇这样有数千年历史的城市也遭到了残酷的破坏(根据联合国的数据,超过70%的城市被毁)。更不用说恐怖组织摧毁和掠夺了巴尔米拉和伊拉克的博物馆(这些作品中有许多被转售以购买武器)。此外,即使在近期,独裁政权也经常破坏重要的艺术作品(塔利班摧毁的巴米扬佛像)。
此外,许多作品在自然事件中被毁坏或损坏。地震或其他自然灾害等事件经常导致珍贵作品的丢失。在1966年11月4日的佛罗伦萨洪水中,数千件珍贵的古代手稿被泥浆覆盖并严重损坏(有些至今仍在修复中)。切马布埃的珍贵十字架,一件14世纪的作品,也受到洪水影响,需要精心修复。即使在今天,许多地区仍面临洪水风险,而acqua alta(高水位)现象对威尼斯构成威胁。
佛罗伦萨洪水的图像。左图中，被洪水淹没的历史中心。中间的画面中，一些志愿者帮助将乌菲兹博物馆的画作运送到安全的地方。右图，志愿者在街上铲泥
契马布埃的十字架，左为洪水破坏前，右为修复后
在1755年摧毁里斯本的地震中,存放在皇家图书馆的大量珍贵古籍丢失(连同提香、鲁本斯、科雷吉奥和卡拉瓦乔的作品)。此外,许多作品在1734年马德里王宫大火中丢失(委拉斯凯兹、鲁本斯、博斯、布鲁盖尔、范戴克、埃尔·格列柯、达·芬奇、拉斐尔等人的无价之作)。即使在今天,像2018年巴西国家博物馆的火灾或2019年巴黎圣母院大教堂的火灾这样的事件仍然表明,这种破坏性事件仍然可能发生。
此外,一些导致艺术品损坏的自然现象是由人类活动引起的。事实上,污染和气候变化使艺术和建筑遗产面临风险。例如,酸雨正在加速埃及狮身人面像的侵蚀,但对大理石建筑来说也是一个严重问题。人们认为,气温上升正在催化化学反应,增加历史建筑的损坏。
左图显示 2019 年发生火灾的巴黎圣母院。中图显示火灾中的巴西博物馆。右图，哈佛大学每年冬天都会用防水罩包裹校园内的一些青铜和大理石雕像，以保护它们免受酸雨和酸雪的腐蚀
也有一些意外事件导致艺术品丢失(飞机失事和其他形式的运输)。2006年,一名男子在菲茨威廉博物馆(剑桥)踩到松开的鞋带后摔倒,打碎了三个17世纪的中国花瓶。而在2010年,一名女子在大都会博物馆摔倒在一幅毕加索画作上,使其受损(这幅画估价1.3亿美元,被认为是他的杰作之一)。2000年,苏富比的一名员工用粉碎机处理了一个盒子,但盒子并不是空的,而是装着一幅卢西安·弗洛伊德的画作。
此外,艺术品的忽视也是一个严重问题。壁画、古代绘画、雕像和纪念碑都是脆弱的作品,因此维护和修复是昂贵而精细的操作。2012年,西班牙一位业余修复者对一幅画的修复引起了轰动(但还有其他例子,如帕伦西亚的"土豆头”)。
第一个面板是毕加索的《梦》，在一次拍卖中损坏。第二块展板是毕加索的画作《演员》，这幅画在纽约大都会艺术博物馆被一名坠落的女人损坏。第三幅和第四幅是埃利亚斯·加西亚·马丁内斯 (Elías García Martínez) 绘制的《Ecce Home》，是 2012 年修复的结果
此外,我们还可以加上疏忽(如庞贝古城的倒塌)、破坏者和疯子(如损坏米开朗基罗的《圣母怜子图》的人)、艺术品贩运、经济利益(例如,在建造大坝时),以及其他原因。这就是为什么联合国教科文组织在审查世界遗产名录时,还保留了一个不那么著名的清单,其中包括了处于危险中的遗产地。
破坏一件艺术品超越了作品本身的经济价值。无论是在古代还是现代,当它被有意为之时,都是为了抹去一个民族的记忆(无论是宗教还是文化)。在近代,这些相同的机制被用来摧毁波斯尼亚、叙利亚和阿富汗的考古遗迹(被认为违背宗教教义)。此外,这场辩论比以往任何时候都更加热门,例如,那些呼吁归还在殖民时期被盗物品的人(例如,著名的贝宁青铜器,它代表了该国的历史,并散落在欧洲博物馆中)声称。
“
“一个不了解自己过去历史、起源和文化的民族,就像一棵没有根的树。” — 马库斯·加维
正如我们所看到的,遗产面临着来自自然现象的风险,但也面临着政治选择的风险,当用于保护的资金被削减时。我们每个人都有公民责任去保护我们的记忆,在我看来,这也延伸到了数据科学。事实上,人工智能的使用正变得越来越民主化,任何人都可以以较低的成本将其用于社会应用。
左图：一件贝宁青铜器，现藏于大英博物馆。中幅是吉萨狮身人面像礼仪胡须的一部分，现藏于大英博物馆。右图是希腊要求归还的帕特农神庙大理石。
简而言之,艺术作品是脆弱的,通常比人们想象的更容易受到威胁。科学和人工智能如何保护它们?
人工智能拯救人类创造力
首先,新的科学调查技术让我们能够了解这些作品。即使是最伟大的艺术家也会从草图开始他们的作品,并经常在过程中重新思考。今天,我们有几种技术可以分析绘画作品(如X射线),这些技术不仅是非侵入性的,而且还能讲述作品的故事。然而,这些技术产生的数据往往难以解释(特别是当有几个重叠的图像时),因此开发了机器学习算法用于图像分析。
X射线照射能够显示出底层素描或进行中的变化。例如,这显示了伦勃朗在他的杰作《织布工行会财务官》中多次微调了人物的构图。达·芬奇本人在画《岩间圣母》之前就画过天使和其他人物。虽然有时可能很容易识别艺术家的各种干预,但艺术家经常重画几次模式,产生几个重叠的图像。这些模式很难区分,人工智能有助于重建作品的不同阶段。
伦勃朗的绘画及其射线照相
人工智能在修复方面也被证明是有用的。例如,它已成功用于数字修复(照片、文章,甚至手稿)。剑桥的MACH实验室使用人工智能算法来识别手稿中的损坏并虚拟重建图像(这个过程被称为修复)。类似的技术已被用于重建受损照片、为黑白照片上色、重建壁画图像等。
上面的面板：修复具有大面积损坏区域的大图像区域。该图像显示了损坏的设计（左）、修复域（中）和最终结果（右）。图片来源：这里。底部面板：照片的数字修复（修复之前和之后）
作为一个有趣的例子,研究人员最近用人工智能重建并投影了伦勃朗的杰作《夜巡》原本的样子(这幅画在被移到另一个地方时被任意缩短了)。此外,这种技术可以用来重建被认为已经失传的作品:例如,著名的范·艾克兄弟的根特祭坛画(1432年)缺少两个镶板,研究人员使用卷积神经网络试图忠实地重建这两个镶板。
失传画作的重建仍然是一个有争议的应用。事实上,当有人试图用人工智能重建失传的克里姆特画作时(1945年,克里姆特的三幅杰作不可挽回地丢失了),研究人员明确表示,这个想法不是要替代,而是给人一个已经永远失传的东西的概念。
《神秘羔羊的崇拜》也被称为根特祭坛画
人工智能的另一个有趣用途是通过算法对绘画进行认证。事实上,作品的估值是一个巨大的市场,而且经常不容易归属作品(特别是如果它是画家本人或他工作室里的人的作品)。最近,有人提出了一种方法,通过研究作品的地形,可以重建作者的签名。简而言之,记录表面高度信息(空间分辨率为50微米),然后通过卷积神经网络(CNN)传递,这样就可以研究笔触的差异。
“
许多著名艺术家,包括埃尔·格列柯、伦勃朗和彼得·保罗·鲁本斯,都雇用了规模和结构各不相同的工作室,以满足市场对他们艺术的需求。因此,需要无偏见和量化的方法来洞察有争议的工作室绘画归属。
类似的方法可能对避免艺术品造假非常有用,甚至对于作品的年代和归属都有用。此外,能够识别作品签名的算法可以用来对抗艺术品贩运
用于识别作者笔触风格的数据准备和分析工作流程
人工智能更深入挖掘
人工智能及其应用也将对考古学和考古遗产产生影响。
此外，X射线不仅限于绘画。事实上，研究人员还经常分析玻璃（例如，为了了解其工艺）、木乃伊和雕像等物体。此外，还经常使用其他技术，例如 CT 扫描。安提凯西拉装置（神秘的希腊神器）本身已经通过 X 射线进行了分析，以研究其可能的操作。在所有这些情况下，应用于图像分析的人工智能算法已被证明非常有用。
另一个有趣的例子是重写：羊皮纸或书籍通过刮掉墨水而被擦除，然后再次重写（羊皮纸很昂贵，因此被抄写僧侣重复使用）。如今，可以使用成像技术重建被擦除的文本，使我们能够重新发现被认为丢失的古代杰作。最近，使用人工智能和 X 射线，可以转录并解码阿基米德重写本（其中包含两本被认为已丢失的阿基米德作品）
左图：印第安纳波利斯艺术博物馆非洲松叶权力雕像的射线照片。右图：阿基米德重写本在不同光源下的图像，以进行分析
公元 79 年可怕的火山喷发，大量的火山灰和火山灰覆盖了庞贝和赫库兰尼姆的城市。在这条毯子下面发现了一个有价值的纸莎草图书馆（纸莎草很少能在地中海气候下保存下来）。不幸的是，之前展开和破译它们的尝试导致了莎草纸的毁坏。幸运的是，新的成像技术使得分析它们成为可能，而无需展开它们。
以色列恩戈地发现的一张有 1,700 年历史的希伯来羊皮纸已成功尝试使用 X 射线方法。不幸的是，虽然以色列卷轴含有在 X 射线下显示良好的金属墨水，但赫克拉努斯纸莎草纸是用碳基墨水书写的，这意味着“在 X 射线中，文字和纸莎草之间没有明显的对比”扫描”。为此，研究作者使用了能量更高的 X 射线以及人工智能。作者使用 3D 卷积神经网络来检测文本并对其进行解密。
左边：赫库兰尼姆碎片的分析结果。右侧：训练神经网络以检测 CT 扫描数据中的碳墨水的系统概述
图像分析还可用于发现未知的考古遗址。考古遗址的发现通常是偶然事件（出于其他原因进行挖掘）或需要昂贵的调查。事实上，激光雷达技术（用激光瞄准物体或表面）已成功用于探测新的考古遗址（因此在墨西哥发现了安加穆科遗址）。这项技术还被用来揭示吴哥景观的人为变化。因此，可以利用人工智能分析激光雷达、热图像和卫星图像，以监测考古遗址的状态并研究干预措施。
过去，这些仪器安装在直升机或小型飞机上。然而如今，无人机越来越受欢迎，并且具有更大的灵活性。例如，一项研究项目使用无人机绘制庞贝遗址地图。绘制地图是验证哪些结构面临风险、跟踪现场演变并规划干预措施优先顺序的第一步。此外，无人机还可以用于水下考古等困难领域。
正如我们所见，人工智能可以用来重建受损的画作。同样的方法也可用于马赛克等考古文物。最近发表的一篇论文提出了一种有趣的方法。作者测试了 OpenAI 的 DALL-E 的“outpainting”能力（AI 将不完整的图像作为输入并填充缺失的部分）。他们要么使用已经损坏的马赛克（图形和几何图案）进行测试，要么通过人为去除保存完好的马赛克的部分来进行测试，以便比较结果。
方法和结果很有趣；它还通过在不同条件下进行尝试来利用现有算法。这证明了这些算法的灵活性和新兴特性。另一方面，正如作者指出的，结果并不总是令人兴奋：
“
然而，重建显示出一些错误，因此，在大多数情况下，它与手动重建的质量仍然相去甚远。当重新创建面部和存在裸体时，会获得最差的性能（这是由于 DALL-E 对图像内容的策略）。对于几何形状，性能似乎更好，但 DALL-E 在颜色再现和某些形状方面有一些限制，特别是当它们很小时。
使用人工智能进行马赛克重建。在上面的面板中：亚马逊战役的马赛克原图（左）和人工智能重建的马赛克（右）。在下图中：原始马赛克（左）被人为损坏（中）并通过算法重建（左）。
人工智能还可以用于对繁琐的任务进行分类和自动化。考古学家发现了数千件陶器（尤其是罗马陶器）碎片，分析数千件花瓶、双耳细颈瓶和盘子的碎片是一项乏味的工作。另一方面，所有这些碎片一旦被编目并研究它们之间的关系，可以为过去文明的日常生活提供有价值的信息。在剑桥，他们开发了一种算法，可以将碎片与数据库中的陶器剖面进行匹配。这种方法可以快速编目，然后通过其他算法研究考古遗址中各种类型陶瓷的分布。
这种方法不仅限于罗马陶瓷。亚利桑那大学的研究人员使用类似的方法对古代普韦布洛陶瓷的设计和图案进行分类。
考古学家经常发现铭文，但这些铭文往往在几个世纪的过程中遭到损坏，变得难以辨认。最近，DeepMind 推出了 Ithaca（之前称为 Pythia 的模型的后续版本），这是一种人工智能模型，能够在已损坏的文本中查找丢失的字符。DeepMind 的作者在最大的希腊铭文语料库之一上训练了他们的模型，以获得与人类铭文学家相似的结果。类似的方法也被尝试用于其他语言，例如斯基泰语、具有 3000 年历史的中国甲骨文和波斯楔形文字板。
左图：古罗马陶器。中间面板：罗塞塔石碑（使象形文字得以破译的石碑）。右图：中国甲骨文
虽然在已知语言（希腊语、拉丁语等）的情况下破译古代铭文并不容易，但也有语言丢失的情况。语言可以根据它们共有的特征（字母、词汇、语法、声音等）分为不同的语系。通常，语言有一个共同的词根（例如，新拉丁语言，拉丁语中的“aquam”，意大利语中的“acqua”，西班牙语中的“agua”），然后经历导致它们分歧的进化路径。这些原则已被语言学家用来寻找相似性和共同模式，以破译死亡语言。
人工智能已被证明能够发现模式并发现相似之处。因此，人们尝试用这种方法来解码丢失的语言，例如 Ugaritic 或 Linear B。在这种情况下，作者使用了基于 LSTM 和嵌入的模型，并获得了一些有趣的结果。使用的方法只不过是在丢失的文本中查找具有已知标记的跨度。
在上面的面板中：一块损坏的古希腊石碑讲述了卫城的故事，右侧是用皮提亚重建的铭文示例（正确时为蓝色，错误时为紫色）
最后
近年来，人们在艺术数字化方面做出了巨大努力。主要博物馆（例如大都会博物馆）创建了包含绘画、书籍、雕像、物品、文物等的大型数据库。通常，公众和学者可以免费访问这些巨大的数字图书馆。各机构本身正在采取协调一致的举措。例如，欧盟制定了将巨大文化遗产数字化的指导方针。
这些举措旨在实现藏品和文化遗产获取的民主化。事实上，博物馆中保存的许多作品，公众只需参观现场就可以看到。此外，博物馆只展示其藏品的一小部分（许多作品都存放在仓库中，除了罕见的展览外从未展出过），因此这些举措允许人们接触到通常看不到的作品。一方面，这些举措为想要研究这些作品的学者提供了宝贵的资源。另一方面，算法需要数据，这使得可以训练日益复杂的人工智能模型。
然而，正如我们所见，保存在博物馆中的作品是精致的物品，随时可能丢失。无论是保护还是修复，都是一项重要而艰巨的工作。在这些任务中，人工智能可以提供帮助（监控、研究等等）。另一方面，技术需要得到政策和投资的支持，以保护遗产。
尤其重要的是，人工智能近年来发展迅速，并且为日益强大的模型开辟了有趣的前景。事实上，正如我们所看到的，许多使用的模型都是卷积网络，它们已被证明对于涉及图像的任务是有效的。然而，机器学习的所有其他领域也可以使用。事实上，例如，无监督聚类可用于对陶瓷碎片进行分组。
此外，第一个用于重建铭文和翻译死语言的模型是基于编码器-解码器和 LSTM。Pythia 也使用了相同的架构，但后来的 DeepMind Ithaca 文章已经基于类似 Transformer 的架构。由于视觉变换器被证明对成像有效，我们预计未来几年会有更多类似的模型。
另一个值得注意的是，不一定需要为新任务开发新的复杂算法：正如我们所看到的，一些研究人员已经利用了可通过网站公开访问的 DALL-E。这表明许多可用的算法将来可以重新利用。
除了人工智能功能的技术演示之外，它还开辟了真实的视角和影响。例如，拥有良好的数字图像是修复绘画或马赛克的第一步。此外，许多考古遗址人手不足，监测费用昂贵且存在问题。更不用说人工智能将能够帮助做出决策、优先考虑干预措施并降低成本。
开放的道德问题当然仍然存在。应仔细对待马赛克所看到的结果。毕竟，模型有时不仅仅是重建历史，而且似乎是在重写历史。就像伦勃朗的画作一样，算法试图根据其掌握的数据进行猜测，事实上，展览策展人指出了原始部分和重建部分之间的分离。
此外，卫星图像和激光雷达技术还发现了数千个尚未探索的新考古遗址。这些可能早在考古学家开始研究之前就被盗墓者挖掘出来了。尽管考虑发布数据很重要，但我们也必须谨慎行事。
另一个棘手的问题是修复。自19世纪以来，每一项新技术都被用于修复，而没有考虑可能的损坏。例如，混凝土具有负载结构，有时会造成比预期更多的损坏。