维苏威火山挑战赛(Vesuvius Challenge)周一(2/5)颁发了70万美元予由Youssef Nader、Luke Farritor及 Julian Schilliger所组成的团队,因为他们利用电脑视觉与机器学习技术,成功地辨识了2000年前遭维苏威火山爆发淹没,且已碳化的赫库兰尼姆纸莎草纸卷(Herculaneum Papyri)中的4个段落,以及每个段落中的140个字元。
Herculaneum Papyri指的是在罗马古城赫库兰尼姆(Herculaneum)一栋别墅中所发现的逾1,800卷莎草纸(Papyri)卷轴,该别墅在西元79年因维苏威火山爆发而整个被吞没,人们一直到18世纪才发现这个被热泥与灰烬所掩埋的别墅,以及别墅中的大量莎草纸卷轴,之後该建筑亦因此被直接命名为莎草纸别墅(Villa of the Papyri)。维苏威火山挑战赛锁定的是存放在义大利图书馆中的800多个卷轴。
这些卷轴皆已碳化,而且非常脆弱,当科学家们企图以物理方式将它们打开时,往往直接使它们化为尘土。
维苏威火山挑战赛的发想始於2019年,当时肯塔基大学教育实验室的教授Brent Seales於一个粒子加速器中对赫库兰尼姆卷轴进行成像,生成解析度达4 μm 的3D CT扫描。该团队也扫描并拍摄了带有可见墨水的卷轴碎片,Seales的学生Stephen Parsons成功地利用机器学习模型侦测到碎片中的墨水,引起科技企业家Nat Friedman与Daniel Gross的注意,而在2023年3月发起维苏威火山挑战赛,奖赏任何开发相关工具、技术或发现结果的研究人员。
2023年8月,JPL创办人Casey Handmer透过持续数小时地观察3D CT扫描作品,发现卷轴中有着看起来像是墨水的裂纹图案,并声称已经碳化的卷轴中藏着一封信。
接着一名大学生Luke Farritor则开始在闲暇时训练一个关於裂纹模式的机器学习模型,且模型能力会随着每一个裂纹的发现而自动精进,再以可见的数十个墨水痕迹与完整字母进行训练,最终得到了该挑战赛的「首批字母奖」(First Letters Prize),赢得4万美元奖金。此一奖项要求参赛者必须在4平方公分的范围内找到至少10个字母,Farritor找到的是ΠΟΡΦΥΡΑΣ ,是古文的紫色(Porphyras)。
图片来源/Nat Friedman
另一名生物机器人研究生Youssef Nader采用不同的方法,他改善Parsons用在碎片中的机器学习方法,利用领域移转技术以让相关模型适用於卷轴,针对卷轴资料进行无监督预训练,再针对标签进行微调;Nader还设法找到了字母,并於标签资料中注释了看起来像是字母的图像,不断地重复进行使得卷轴内产生许多片段的推测性标签,用不同的方法在同样的区域找到了一致的ΠΟΡΦΥΡΑΣ,亦替他带来了1万美元的奖金。
随後大会亦决定颁发1万美元奖金予激发选手灵感的Handmer。
维苏威火山挑战赛是以众包及累积的方式持续进行着,其中的一项大奖高达70万美元,要求参赛者必须找出4个段落,每个段落至少140个字元,且有85%的字元是可恢复的,在有了先前的经验之後,曾获得3项分割工具奖(Segmentation Tooling Prizes)的Julian Schilliger与两名得到首批字母奖的Farritor及Nader共同组成了超级团队,透过3个不同却相互支援的模型,成功辨识出卷轴中的逾2,000个字元,在超乎标准的情况下拿下了大奖。
迄今该挑战赛的第一阶段已成功展开并阅读了第一卷的5%内容,内容与音乐、感官及快乐有关。简单地说,此一进展来自於扫描、分割(侦测纸卷中的皱褶并将它们展开或压平),与墨迹检测。
图片来源/Vesuvius Challenge官方网站
在宣布第一阶段大奖得主的同时,该挑战赛亦宣布将迈入第二阶段,指出现阶段每平方公分花费了超过100万美元来制作目前可阅读的文本,若依照此一价格,分割所有卷轴将耗资数亿甚至数十亿美元,因此接下来将专注於自动化,第二阶段的主要目标便是完善自动分割。
维苏威火山挑战赛表示,它们在第一阶段从一个碳块中提取了15列从未见过的文本,现在已具备相对成熟的技术,得以虚拟展开莎草纸卷轴并使用机器学习来识别墨水,今年的新目标是从一个卷轴的5%增加到扫描的所有4个卷轴的90%,以替阅读800个卷轴奠定基础。