您會聽到很多東西，那就是計算資源的可用性不斷提高為人工智能的重要進(jìn)步鋪平了道路。通過訪問強(qiáng)大的云計算平臺，人工智能研究人員已經(jīng)能夠在較短的時間內(nèi)訓(xùn)練更大的神經(jīng)網(wǎng)絡(luò)。這使AI能夠在計算機(jī)視覺，語音識別和自然語言處理等許多領(lǐng)域取得進(jìn)展。

但是，您聽到的更少的是當(dāng)前AI研究方向的更深層含義。當(dāng)前，人工智能的進(jìn)步主要與擴(kuò)展深度學(xué)習(xí)模型以及創(chuàng)建具有更多層和參數(shù)的神經(jīng)網(wǎng)絡(luò)有關(guān)。根據(jù)人工智能研究實驗室OpenAI的說法，“自2012年以來，最大規(guī)模的AI培訓(xùn)運行中使用的計算量呈指數(shù)增長，翻了3.4個月。”這意味著，在七年的時間里，該指標(biāo)增長了一個因子300,000。

這項要求對AI研究施加了嚴(yán)格的限制，并且還可能產(chǎn)生其他不太令人愉快的影響。

目前，越大越好

OpenAI的研究人員指出：“在許多當(dāng)前領(lǐng)域中，更多的計算似乎可以預(yù)期地導(dǎo)致更好的性能，并且通常是對算法進(jìn)步的補(bǔ)充。”

我們可以在許多項目中看到這種效果，研究人員得出的結(jié)論是，他們的進(jìn)步歸功于將更多的計算投入到問題上。

2018年6月，OpenAI推出了可以在專業(yè)水平上玩《 Dota 2》(一種復(fù)雜的戰(zhàn)斗競技場游戲)的AI。該機(jī)器人被稱為OpenAI Five，它參加了一場大型的電子競技比賽，但在決賽中輸給了人類玩家。該研究實驗室今年返回了OpenAI五號的改進(jìn)版本，并能夠從人類手中奪得冠軍。AI研究人員所說的秘訣是：“與周六在2018年國際邀請賽上的失利相比，OpenAI Five的勝利是一個重大變化：訓(xùn)練計算量增加了8倍。”

還有許多其他這樣的示例，其中計算資源的增加帶來了更好的結(jié)果。在強(qiáng)化學(xué)習(xí)中尤其如此，強(qiáng)化學(xué)習(xí)是AI研究的最熱門領(lǐng)域之一。

訓(xùn)練大型AI模型的財務(wù)成本

當(dāng)前AI狀態(tài)最直接的含義是訓(xùn)練人工智能模型的財務(wù)成本。根據(jù)OpenAI在其網(wǎng)站上發(fā)布的圖表，培訓(xùn)DeepMind歷史悠久的圍棋AIAlphaGoZero花費了1800 petaflop / s天。

FLOP是浮點運算。每秒petaflop(pfs-day)大約相當(dāng)于每天1020次操作。專門用于AI任務(wù)的Google TPU v3處理器執(zhí)行420 teraflops(或0.42 petaflops)的操作，每小時收費2.40-8.00美元。這意味著訓(xùn)練AlphaGoZero模型將花費大約246,800-822,800美元。那只是計算成本。

該領(lǐng)域的其他顯著成就也付出了類似的代價。例如，根據(jù)DeepMind發(fā)布的數(shù)據(jù)，其玩星際爭霸的AI由18個特工組成。每個AI代理都接受了16天Google TPU v3的培訓(xùn)，為期14天。這意味著，以當(dāng)前的價格計算，該公司為18個AI代理商花費了約774,000美元。