人工智能機(jī)器學(xué)習(xí)的慘痛教訓(xùn)

　　自1956年以來人工智能研究經(jīng)歷了許多波峰和波谷。從這段時(shí)間吸取的許多經(jīng)驗(yàn)教訓(xùn)中，有一些需要重新學(xué)習(xí)(反復(fù))，其中最重要的也是許多研究人員最難以接受的。

　　人工智能AI研究中可以得出的最大教訓(xùn)是，利用計(jì)算的通用方法最終是最有效的，而且幅度很大。這樣做的最終原因是摩爾定律，或者更確切地說是它對單位計(jì)算成本的持續(xù)指數(shù)下降的概括。大部分人工智能AI研究都是在座席可用的計(jì)算是恒定的情況下進(jìn)行的(在這種情況下，利用人類知識將是提高性能的唯一方法之一)，但是比典型的研究項(xiàng)目花費(fèi)的時(shí)間稍長一些，因此計(jì)算量會(huì)大大增加不可避免地變得可用。為了尋求在短期內(nèi)有所作為的改進(jìn)，研究人員尋求利用他們在該領(lǐng)域的人類知識，但從長遠(yuǎn)來看，唯一重要的是利用計(jì)算。這兩個(gè)不需要相互抵觸，但實(shí)際上，它們傾向于。花在一個(gè)上的時(shí)間就是不花在另一個(gè)上的時(shí)間。在一種或另一種方法中有對投資的心理承諾。而且，人類知識方法傾向于使方法復(fù)雜化，從而使其不適合利用利用計(jì)算的通用方法。有很多人工智能AI研究人員遲來的學(xué)習(xí)這個(gè)痛苦教訓(xùn)的例子，回顧一些最杰出的例子是有益的。而且，人類知識方法傾向于使方法復(fù)雜化，從而使其不適合利用利用計(jì)算的通用方法。有很多人工智能AI研究人員遲來的學(xué)習(xí)這個(gè)痛苦教訓(xùn)的例子，回顧一些最杰出的例子是有益的。而且，人類知識方法傾向于使方法復(fù)雜化，從而使其不適合利用計(jì)算的通用方法。有很多人工智能AI研究人員遲來的學(xué)習(xí)這個(gè)痛苦教訓(xùn)的例子，回顧一些最杰出的例子是有益的。
 

　　在計(jì)算機(jī)象棋中，1997年擊敗世界冠軍卡斯帕羅夫的方法基于大量的深度搜索。當(dāng)時(shí)，大多數(shù)計(jì)算機(jī)棋類研究人員都沮喪地看著這一點(diǎn)，他們一直追求利用人類對國際象棋特殊結(jié)構(gòu)的理解的方法。當(dāng)一種簡單的，基于搜索的方法(帶有特殊的硬件和軟件)被證明更為有效時(shí)，這些基于人類知識的國際象棋研究人員就不是輸家。他們說這次“蠻力”搜尋可能是贏家，但這不是一個(gè)普遍的策略，而且無論如何，這都不是人們下棋的方式。這些研究人員希望基于人類輸入的方法獲勝，但他們失望了。
 

　　在計(jì)算機(jī)Go中也看到了類似的研究進(jìn)展模式，只是又延遲了20年。最初的巨大努力是通過利用人類知識或游戲的特殊功能來避免搜索，但是一旦大規(guī)模有效地進(jìn)行搜索，所有這些努力就顯得無關(guān)緊要，甚至更糟。同樣重要的是通過自娛自樂的學(xué)習(xí)來學(xué)習(xí)價(jià)值功能。通過自我游戲進(jìn)行學(xué)習(xí)，以及通常進(jìn)行學(xué)習(xí)，就像在搜索中一樣，因?yàn)樗梢赃M(jìn)行大量的計(jì)算。搜索和學(xué)習(xí)是在人工智能AI研究中利用大量計(jì)算的最重要的兩類技術(shù)。在計(jì)算機(jī)圍棋中，就像在計(jì)算機(jī)象棋中一樣，
 

　　在語音識別方面。利用人類知識的特殊方法-單詞，音素，人類聲道等知識。另一方面，更新的方法本質(zhì)上更具統(tǒng)計(jì)性，并且進(jìn)行了更多的計(jì)算，基于隱馬爾可夫模型(HMM)。同樣，統(tǒng)計(jì)方法勝過了基于人類知識的方法。數(shù)十年來，這逐漸導(dǎo)致了所有自然語言處理的重大變化，統(tǒng)計(jì)學(xué)和計(jì)算逐漸成為該領(lǐng)域的主導(dǎo)。深度學(xué)習(xí)在語音識別領(lǐng)域的最新興起是朝著這一一致方向邁出的最新一步。深度學(xué)習(xí)方法對人類知識的依賴程度更低，使用的計(jì)算量更大，并且需要大量的培訓(xùn)，產(chǎn)生更好的語音識別系統(tǒng)。像在游戲中一樣，研究人員總是試圖使系統(tǒng)以研究人員認(rèn)為自己的思想起作用的方式工作-他們試圖將這些知識納入他們的系統(tǒng)中-但這最終被證明是適得其反的，并且極大浪費(fèi)了研究人員的時(shí)間，當(dāng)時(shí)根據(jù)摩爾定律，可以進(jìn)行大規(guī)模計(jì)算，并且找到了一種可以充分利用它的方法。
 

　　在計(jì)算機(jī)視覺中，存在類似的模式。早期的方法將視覺構(gòu)想為搜索邊緣或廣義圓柱體，或者根據(jù)SIFT特征進(jìn)行搜索。但是今天，所有這些都被丟棄了?，F(xiàn)代深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)僅使用卷積和某些不變性的概念，并且表現(xiàn)更好。
 

　　這是一個(gè)重要的教訓(xùn)。作為一個(gè)領(lǐng)域，由于我們繼續(xù)犯同樣的錯(cuò)誤，我們還沒有完全了解它。要看到并有效抵抗它，我們必須了解這些錯(cuò)誤的吸引力。我們必須吸取痛苦的教訓(xùn)，即從長遠(yuǎn)來看，建立我們認(rèn)為自己認(rèn)為不可行的方法。慘痛的教訓(xùn)基于以下歷史觀察：1)人工智能研究人員經(jīng)常試圖在其代理人中積累知識; 2)這在短期內(nèi)總是有幫助，并且使研究人員個(gè)人滿意，但3)從長期來看，它處于平穩(wěn)狀態(tài)甚至阻礙了進(jìn)一步的發(fā)展。4)突破性的進(jìn)展最終是通過基于搜索和學(xué)習(xí)的縮放計(jì)算的相反方法而實(shí)現(xiàn)的。最終的成功充滿了苦澀，
 

　　從痛苦的教訓(xùn)中應(yīng)該學(xué)到的一件事是通用方法的強(qiáng)大功能，即使可用的計(jì)算變得很大，這些方法仍會(huì)隨著計(jì)算量的增加而不斷擴(kuò)展。似乎以這種方式任意擴(kuò)展的兩種方法是搜索和學(xué)習(xí)。
 

　　從痛苦的教訓(xùn)中學(xué)到的第二點(diǎn)是，思想的實(shí)際內(nèi)容是巨大的，不可思議的復(fù)雜。我們應(yīng)該停止嘗試尋找思考思想內(nèi)容的簡單方法，例如思考空間，物體，多個(gè)主體或?qū)ΨQ性的簡單方法。所有這些都是任意的，本質(zhì)上復(fù)雜的外部世界的一部分。它們不是內(nèi)置的，因?yàn)樗鼈兊膹?fù)雜性是無限的。相反，我們應(yīng)該只構(gòu)建可以發(fā)現(xiàn)和捕獲這種任意復(fù)雜性的元方法。這些方法的基本要求是它們可以找到良好的近似值，但是對它們的搜索應(yīng)采用我們的方法，而不是我們的方法。我們希望人工智能AI代理能夠像我們一樣發(fā)現(xiàn)，而不包含我們發(fā)現(xiàn)的東西。