人們常將藝術視為過去的最偉大旅程，鞏固時空中的一刻。讓我們暫時逃避現在的美麗交通工具。

有了無窮無盡的繪畫寶庫，這些來自不同時間和空間的藝術品之間的聯系常常會被忽略。即使是最有知識的藝術評論家，也不可能跨越數千年的時間吸收數百萬幅畫作，并且無法在主題，主題和視覺風格上找到意想不到的相似之處。

為了簡化此過程，麻省理工學院計算機科學與人工智能實驗室(CSAIL)和微軟的一組研究人員創(chuàng)建了一種算法，以發(fā)現大都會藝術博物館(大都會博物館)與阿姆斯特丹國立博物館之間的繪畫之間的隱藏聯系。

受國立博物館特別展覽“倫勃朗和貝拉克斯茲”的啟發(fā)，新的“ MosAIc”系統通過使用深層網絡了解兩個圖像的“接近” 程度，發(fā)現了來自不同文化，藝術家和媒體的成對或“類似”作品。在那次展覽中，研究人員受到了一種不太可能但相似的配對的啟發(fā)：弗朗西斯科·德·祖巴蘭(Francisco deZurbarán)的《圣塞拉皮翁The難》和揚·阿瑟琳(Jan Asselijn)的《受威脅的天鵝》，這兩幅作品描繪了深刻的利他主義場面與令人毛骨悚然的視覺相似度。

CSAIL博士說：“這兩位藝術家一生中沒有通信或彼此見面，但他們的畫作暗示著豐富的，潛伏的結構，構成了他們兩人的作品。” 學生馬克·漢密爾頓(Mark Hamilton)是有關“ MosAIc”的論文的主要作者。

為了找到兩幅相似的畫作，該團隊使用一種新的圖像搜索算法來發(fā)現特定藝術家或文化的最接近的匹配。例如，響應于有關“哪種樂器最接近此藍白色連衣裙的繪畫”的查詢，該算法檢索了藍白色瓷小提琴的圖像。這些作品不僅在樣式和形式上相似，而且源于荷蘭人和中國人之間更廣泛的瓷器文化交流。

漢密爾頓說：“圖像檢索系統使用戶能夠找到語義上與查詢圖像相似的圖像，作為反向圖像搜索引擎和許多產品推薦引擎的基礎。” “將圖像檢索系統限制為特定的圖像子集，可以對視覺世界中的關系產生新的見解。我們的目標是鼓勵與創(chuàng)造性人工制品的互動達到新的水平。”

這個怎么運作

對于許多人來說，藝術與科學是不可調和的：一種基于邏輯，推理和經證實的真理，另一種則基于情感，美學和美感。但是最近，人工智能和藝術有了新的調情，在過去的十年中，這種調情變得更加嚴重。

例如，這項工作的很大一部分以前集中于使用AI生成新藝術。有一個由麻省理工學院，NVIDIA和加州大學伯克利分校的研究人員開發(fā)的GauGAN項目。漢密爾頓和其他人以前的GenStudio項目;甚至是AI生成的藝術品，在蘇富比以51,000美元的價格售出。

但是，MosAIc的目的不是創(chuàng)造新藝術，而是幫助探索現有藝術。谷歌的“ X分離度 ”是一種類似的工具，可以找到將兩條藝術品連接起來的藝術路徑，但是MosAIc的不同之處在于，它僅需要一張圖像即可。它沒有找到路徑，而是發(fā)現用戶感興趣的任何文化或媒體中的聯系，例如找到共享的藝術形式“ Anthropoides paradisea”和“ Seth殺死蛇，Hibis的阿蒙神廟”。

漢密爾頓(Hamilton)指出，建立他們的算法是一項艱巨的嘗試，因為他們希望找到不僅顏色或樣式相似，而且含義和主題相似的圖像。換句話說，他們希望狗與其他狗靠近，人們與其他人靠近，等等。為了實現這一目標，他們在大都會博物館和國家博物館的組合開放訪問集合中，針對每個圖像探究了深層網絡的內部“激活”。他們如何判斷圖像相似性，就是通常稱為“功能”的這種深層網絡“激活”之間的距離。

為了找到不同文化之間的相似圖像，該團隊使用了一種新的圖像搜索數據結構，稱為“條件KNN樹”，該結構將相似圖像組合成樹狀結構。為了找到匹配的對象，他們從樹的“樹干”開始，然后跟隨最有前途的“分支”，直到他們確定找到最接近的圖像為止。數據結構通過允許樹快速將其自身“修剪”到特定的文化，藝術家或收藏品，快速產生對新型查詢的答案，從而改善了其前身。

漢密爾頓和他的同事感到驚訝的是，這種方法也可以用于幫助發(fā)現現有的深層網絡的問題，這些問題與最近涌現的“深造假”有關。他們應用此數據結構來查找概率模型(例如通常用于創(chuàng)建深造品的生成對抗網絡(GAN))崩潰的區(qū)域。他們將這些有問題的區(qū)域稱為“盲點”，并指出它們使我們對GAN的偏見有所了解。這樣的盲點進一步表明，即使大多數偽造品可以騙人，GAN仍難以代表數據集的特定區(qū)域。

測試MosAIc

該團隊評估了MosAIc的速度，以及它與人類對視覺類比的直覺之間的接近程度。

對于速度測試，他們希望確保其數據結構在通過快速，強力搜索簡單地搜索整個集合中提供價值。

為了了解系統與人類直覺的協調程度，他們制作并發(fā)布了兩個新的數據集，用于評估條件圖像檢索系統。一個數據集挑戰(zhàn)了算法以找到具有相同內容的圖像，即使它們已經使用神經樣式轉移方法進行了“樣式化”。第二個數據集挑戰(zhàn)了算法以恢復不同字體的英文字母。不到三分之二的時間，MosAIc能夠一次從5,000張圖像的“干草堆”中猜測出正確的圖像。

漢密爾頓說：“展望未來，我們希望這項工作能激發(fā)其他人思考信息檢索工具如何幫助藝術，人文科學，社會科學和醫(yī)學等其他領域。” “這些領域充滿了從未被這些技術處理過的信息，可以為計算機科學家和領域專家?guī)砭薮蟮撵`感。這項工作可以在新的數據集，新的查詢類型和新方式方面得到擴展了解作品之間的聯系。”