這已經不是什么秘密，機器學習模型調整和調整，以近乎完美的表現在實驗室中真正的設置往往會失敗。這通常歸因于AI經過訓練和測試的數據與它在世界上遇到的數據之間的不匹配，這就是數據移位問題。例如，訓練有素的AI可以在高質量的醫(yī)學圖像中發(fā)現疾病跡象，而在繁忙的診所中，這些圖像將被廉價相機捕獲的模糊或裁剪圖像所困擾。

現在，由來自Google的七個不同團隊的40名研究人員組成的小組已經確定了導致機器學習模型普遍失敗的另一個主要原因。被稱為“規(guī)格不足”的問題可能比數據移位更大。負責這項研究的Alex D'Amour表示：“我們要求的機器學習模型超出了我們現有方法所不能保證的范圍。”規(guī)格不足是統計中的已知問題，其中觀察到的影響可能有許多可能的原因。擁有因果推理背景的D'Amour想知道為什么自己的機器學習模型在實踐中經常失敗。他想知道規(guī)格不足是否也是這里的問題。D'Amour很快意識到，許多同事在自己的模型中都注意到了同樣的問題。他說：“實際上這是一個現象，到處都是。”

D'Amour的初步調查如雨后春筍般涌現，數十名Google研究人員最終研究了從圖像識別到自然語言處理(NLP)到疾病預測的各種不同的AI應用程序。他們發(fā)現規(guī)格不足歸咎于所有人的表現不佳。問題出在對機器學習模型進行訓練和測試的方式上，而且沒有容易解決的方法。

iRobot的機器學習工程師布蘭登·羅勒(Brandon Rohrer)說，這篇論文是“令人震驚的球”，他曾在Facebook和Microsoft工作過，但并未參與這項工作。

相同但不同

要確切了解正在發(fā)生的事情，我們需要備份一點。粗略地講，建立機器學習模型涉及對大量示例進行訓練，然后對許多尚未見過的類似示例進行測試。模型通過測試后，就可以完成。

Google研究人員指出的是，這個門檻太低了。訓練過程可以產生許多都通過測試的不同模型，但是，這是關鍵部分，這些模型將以小的任意方式有所不同，具體取決于像在訓練開始之前為神經網絡中的節(jié)點賦予隨機值之類的事情，選擇或表示訓練數據的方式，訓練的運行次數等。如果這些微小的，通常是隨機的差異不影響模型在測試中的表現，通常會被忽略。但事實證明，它們可能導致現實世界中的性能發(fā)生巨大變化。

換句話說，當今用于構建大多數機器學習模型的過程無法確定哪些模型可以在現實世界中工作，哪些模型不能在現實世界中工作。