大學(xué)在遠(yuǎn)程評(píng)估學(xué)生方面一直面臨著挑戰(zhàn)。組織遠(yuǎn)程考試的實(shí)際困難引出了一些有趣的替代方案，例如開放書籍考試和基于研究的論文寫作。如果學(xué)生查找書籍作為參考，提交的質(zhì)量可能會(huì)提高。
這同樣適用于人工智能。如果人工智能系統(tǒng)可以查找記憶庫(kù)以供參考，而不是記住我們的語言，那么它的輸出可能會(huì)更好。這就是DeepMind聲稱通過RETRO實(shí)現(xiàn)的目標(biāo)。在教授人工智能進(jìn)行圍棋等自學(xué)游戲和預(yù)測(cè)復(fù)雜的蛋白質(zhì)結(jié)構(gòu)方面獲得了信譽(yù)后，谷歌收購(gòu)了人工智能公司DeepMind，試圖掌握機(jī)器用來理解人類語言的自然語言處理。預(yù)先訓(xùn)練的語言模型通過預(yù)測(cè)響應(yīng)中接下來應(yīng)該出現(xiàn)的單詞和句子來生成文本。
DeepMind的RETRO是一個(gè)模型，其性能通過外部資源得到增強(qiáng)——一個(gè)大約2萬億字的大量文本語料庫(kù)。從正確的角度來看，這將需要175個(gè)人來完成一生的持續(xù)閱讀。
當(dāng)模型生成文本時(shí)，它會(huì)查找此外部資源以使其預(yù)測(cè)更準(zhǔn)確。研究人員聲稱，這樣的模型設(shè)計(jì)使得更容易理解人工智能如何推斷和拾取信息。培訓(xùn)成本更低，使組織更容易獲得培訓(xùn)。
鑒于我們復(fù)雜的語言，自然語言處理對(duì)于機(jī)器來說是一項(xiàng)艱巨的任務(wù)。數(shù)十億美元的研究資金已經(jīng)投入到語言模型中。
去年，OpenAI的語言模型GPT-3展示了計(jì)算機(jī)以復(fù)雜而有意義的句子進(jìn)行響應(yīng)的可能性。語言模型往往在狹窄的范圍之外搖搖欲墜。GPT-3表明，如果一個(gè)語言模型足夠大，它可以是通用的。參數(shù)或內(nèi)部配置值的數(shù)量越多，模型的精度越高。其他大型組織已經(jīng)開發(fā)了自己的大型模型，爭(zhēng)先恐后創(chuàng)建更大更好的通才語言模型，加載數(shù)十億個(gè)參數(shù)。
2021年底，NVIDIA和微軟開發(fā)了Megatron-Turing NLG 530B模型，該模型在整個(gè)維基百科上以英語訓(xùn)練，6300萬篇英語新聞文章，38GB的Reddit討論，GitHub，Project Gutenberg的書籍等等。該模型具有高達(dá)5300億個(gè)參數(shù)，經(jīng)過全面訓(xùn)練以執(zhí)行推理。值得注意的是，它比GPT-3的1750億個(gè)參數(shù)改進(jìn)了3倍，同時(shí)將其他大型語言模型遠(yuǎn)遠(yuǎn)拋在了后面。谷歌和北京人工智能研究院構(gòu)建的模型超過一萬億個(gè)參數(shù)。
雖然大型語言模型正在流行，但它們對(duì)于訓(xùn)練以及為數(shù)字助理等下游AI應(yīng)用程序提供服務(wù)方面變得過于繁瑣。他們也是數(shù)據(jù)、計(jì)算能力和能量的吞噬者。研究人員總是被訓(xùn)練的例子數(shù)量不足所束縛。想象一下，試圖訓(xùn)練這樣一個(gè)模型來識(shí)別銀行欺詐。給暗示新型欺詐的對(duì)話貼上標(biāo)簽需要花費(fèi)很長(zhǎng)時(shí)間。
人工智能研究團(tuán)隊(duì)正試圖解決這個(gè)問題。DeepMind的RETRO就是這樣一次嘗試，只有70億個(gè)參數(shù)。另一種方法是GPT-3成功演示的很少的學(xué)習(xí)，它使用一組非常小的標(biāo)記示例來訓(xùn)練模型。這是變革性的，因?yàn)镚PT-3可以用16個(gè)例子進(jìn)行訓(xùn)練。
Meta（前身為Facebook）正在探索很少的學(xué)習(xí)，以便在其社交媒體平臺(tái)上進(jìn)行內(nèi)容審核，這需要快速執(zhí)行政策。隨著有害內(nèi)容的不斷發(fā)展，Meta努力尋找足夠的標(biāo)記內(nèi)容。它已經(jīng)部署了一種新的AI模型，該模型首先在免費(fèi)提供的通用大型文本語料庫(kù)上進(jìn)行訓(xùn)練。然后，根據(jù)之前標(biāo)記的策略數(shù)據(jù)對(duì)其進(jìn)行訓(xùn)練。最后，它對(duì)新政策的簡(jiǎn)明文本進(jìn)行了培訓(xùn)。
它使用一個(gè)名為Entailment的新框架作為“簡(jiǎn)單學(xué)習(xí)者”。蘊(yùn)涵涉及在句子之間建立邏輯結(jié)果。例如，如果“汽車超速行駛”，那么“汽車在行駛”也必須為真。簡(jiǎn)而言之，人工智能工具可以識(shí)別仇恨信息，因?yàn)樗私鈨?nèi)容違反的政策。該工具用于快速檢測(cè)和刪除仇恨言論和疫苗懷疑帖子。
2021年是自然語言處理的標(biāo)志性一年，因?yàn)楦鹘M織正在競(jìng)爭(zhēng)更大更好的模型。書面文字在使人工智能對(duì)社會(huì)的價(jià)值空前重要。這場(chǎng)爭(zhēng)奪自然語言模型霸權(quán)的競(jìng)賽會(huì)有終點(diǎn)線嗎？不會(huì)很快。但人工智能肯定會(huì)變得更加智能，成為更好的，普通人更容易接近的助手。這些努力中的每一項(xiàng)都將成為推動(dòng)進(jìn)步的墊腳石，即使只是一點(diǎn)點(diǎn)。最終，我們可以期望使用一種更離散的智能機(jī)器，直到它發(fā)生故障，它才會(huì)被忽視，就像電力一樣。
中國(guó)貿(mào)促微信