|
編輯：夢(mèng)佳、白峰 【新智元導(dǎo)讀】自從API開(kāi)放以后，GPT-3真的要成精了！可以陪你從詩(shī)詞歌賦談到人生哲學(xué)，還可以畫(huà)圖表搞運(yùn)維做PPT，真的無(wú)所不能。GPT-3到底有沒(méi)有說(shuō)的那么神，又是否過(guò)譽(yù)呢？上半年的疫情，讓很多朋友，戀人都不得不相隔兩地，我在海淀頭，君在朝陽(yáng)尾，日日思君不見(jiàn)君，只能...這個(gè)時(shí)候有個(gè)GPT-3陪你，看星星看月亮，從詩(shī)詞歌賦談到人生哲學(xué)。豈不美哉。還玩什么戀與制作人啊，直接申請(qǐng)一個(gè)API接口，和GPT-3聊天就好了。未來(lái)，紙片人+GPT-3的電子男女朋友，市場(chǎng)潛力巨大。他有時(shí)候很直男，總是講一些蹩腳的玩笑哄你開(kāi)心，尬聊的樣子真可愛(ài)。  來(lái)源：計(jì)算機(jī)科學(xué)家Kevin Lacker博客有時(shí)候又化身文藝青年，浪子詩(shī)人，時(shí)不時(shí)吟誦一些脫離俗套和低級(jí)趣味、另辟蹊徑的隨想，警示金句如下，「世界上任何你看不慣的東西，都可以用「這不好玩」來(lái)應(yīng)對(duì)」「如果我知道人生的意義是什么，我還會(huì)上這兒來(lái)浪費(fèi)時(shí)間嗎？」  如果說(shuō)最近c(diǎn)omputer science圈子里什么最火，那非GPT-3莫屬。簡(jiǎn)單來(lái)說(shuō)，GPT-2 和 GPT-3 都是一種續(xù)寫(xiě)文本的 AI 模型，開(kāi)頭給幾句提示，后面的故事全靠他的語(yǔ)言模型一點(diǎn)一點(diǎn)續(xù)寫(xiě)。思路順暢，很少遇到「寫(xiě)作瓶頸」。GPT-3 是著名人工智能科研公司 OpenAI 開(kāi)發(fā)的文本生成 (text generation) 人工智能，相關(guān)論文在5月份發(fā)表，當(dāng)時(shí)就以天文數(shù)字級(jí)別的1750億參數(shù)量引發(fā)了巨大轟動(dòng)。對(duì)于語(yǔ)言模型來(lái)講，大小真的很重要。要知道，人的大腦也才只有860億個(gè)神經(jīng)元。API開(kāi)放了以后，各路網(wǎng)友腦洞大開(kāi)，讓GPT-3寫(xiě)代碼，做簡(jiǎn)歷，簡(jiǎn)直是比男朋友還管用。寫(xiě)SQL畫(huà)圖表搞運(yùn)維做PPT，GPT-3 要成精！ 你可能還停留在GPT-3驚人的文本生成能力，但看了下面這些應(yīng)用，你一定會(huì)被震撼到，「找老黃買(mǎi)顯卡來(lái)不及了，趕快申請(qǐng)API，我要開(kāi)發(fā)自己的GPT應(yīng)用」！給GPT-3一個(gè)提示，融入各種融入流行文化的表情包就到手了。  什么，Excel中也能用GPT-3了，還能進(jìn)行自動(dòng)推理？演示表格里列了幾個(gè)大公司的CEO，把含有數(shù)據(jù)的單元格框住，Loading 一秒鐘，自動(dòng)推斷出了Ben Horowitz所屬的公司，need no operation！為什么你的圖表這么low，別人做的可視化卻賊漂亮，只能強(qiáng)行解釋一波，「不會(huì)寫(xiě)代碼，好看的圖表都是代碼寫(xiě)的」?，F(xiàn)在有了GPT-3，就不用解釋了，只需把你的數(shù)據(jù)喂給GPT-3，不用Excel表格，嘴說(shuō)就行！「3個(gè)蘋(píng)果，5個(gè)梨，2個(gè)橙子」，bang！精美的Dash 圖表就生成了。找工作寫(xiě)簡(jiǎn)歷是個(gè)頭疼的事，現(xiàn)在你只要告訴GPT-3你在哪個(gè)公司工作了幾年，后面的事就不用管了，條理清楚，格式精美的簡(jiǎn)歷就幫你「編好了」，工作年限、主要職責(zé)、項(xiàng)目經(jīng)歷一應(yīng)俱全。向老板匯報(bào)工作要做PPT，只需要把文本一復(fù)制，就能生成合適的演示文稿。想找個(gè)運(yùn)維的工作，不會(huì)操作AWS？「你好，我需要?jiǎng)?chuàng)建一個(gè)AWS實(shí)例，謝謝」。等一秒鐘，GPT-3：「我好了，你復(fù)制下代碼就行」！不會(huì)寫(xiě)SQL你好意思說(shuō)自己是運(yùn)維？不好意思，有了GPT-3真的可以為所欲為！運(yùn)維：「GPT-3，我想查詢下年齡在25到35之間的工人的薪資信息」，GPT-3：好的，SQL拿去「select salary from worker where age between 25 and 35」。吃了3000億token的GPT-3，內(nèi)部如何工作的？ 將包含3000億個(gè)token的文本喂給GPT-3進(jìn)行無(wú)監(jiān)督訓(xùn)練，目前OpenAI已經(jīng)完成了這一壯舉。你現(xiàn)在看到的所有實(shí)驗(yàn)都來(lái)自于這個(gè)龐大且昂貴的模型。據(jù)估計(jì)，它花費(fèi)的成本高達(dá)460萬(wàn)美元。我們?cè)賮?lái)看看它的訓(xùn)練細(xì)節(jié)，GPT-3在所有文本中進(jìn)行滑動(dòng)，每滑動(dòng)一個(gè)窗口就會(huì)生成大量示例。GPT-3如何處理「robotics」這個(gè)單詞并產(chǎn)生「A」 呢？「robotics」經(jīng)歷了下面三個(gè)過(guò)程，首先被轉(zhuǎn)換為詞向量，中間經(jīng)過(guò)96個(gè)Transformer的洗禮，最后再將向量重構(gòu)為單詞 「A」，如果不是「A」，就開(kāi)始計(jì)算并反向傳遞誤差，直到得出正確的單詞，這一過(guò)程要重復(fù)數(shù)百萬(wàn)次。訓(xùn)練好的模型如何食用呢？只需要簡(jiǎn)單的微調(diào)即可。比如想應(yīng)用在英法機(jī)器翻譯上，只需要提供給GPT-3少量的平行語(yǔ)料對(duì)。這樣說(shuō)可能不夠直觀，我們使用Python來(lái)演示下如何教會(huì)GPT-3干活。寫(xiě)LaTeX公式對(duì)非學(xué)術(shù)研究人員來(lái)說(shuō)是個(gè)頭疼的事，但有了GPT-3，LaTeX語(yǔ)法轉(zhuǎn)換竟是如此簡(jiǎn)單。前面我們說(shuō)了，如果你想應(yīng)用在特定任務(wù)上，需要給GPT-3一點(diǎn)小小的「提示」，它才能領(lǐng)會(huì)到你具體想干啥。跟OpenAI申請(qǐng)一個(gè)GPT-3的API Key，你就能一鍵調(diào)用這個(gè)1750億參數(shù)的模型了。 想寫(xiě)一個(gè)從a到b的積分，如果不給提示，GPT-3直接返回原文了，但是，如果你輸入個(gè)例子，告訴它你想把自然語(yǔ)言翻譯為L(zhǎng)aTeX，那GPT-3就心領(lǐng)神會(huì)了，完美輸出了f（x）從a到b的積分公式。  OpenAI CEO：GPT-3 只是驚鴻一瞥，是否過(guò)譽(yù)？ GPT-3對(duì)于小白來(lái)講，也是一個(gè)直觀地感受到人工智能如此強(qiáng)大的入口。OpenAI 的CEO Sam Altman講，他把GPT-3展示給一個(gè)10歲的小男孩兒，他當(dāng)即說(shuō)自己想進(jìn)入人工智能領(lǐng)域。一名開(kāi)發(fā)者認(rèn)為，GPT-3 確實(shí)讓我預(yù)感到，在未來(lái)10年內(nèi)，AI有望通過(guò)圖靈測(cè)試。圖靈測(cè)試目的就是測(cè)試機(jī)器是否具備人類(lèi)智能。關(guān)于人類(lèi)智能的討論，又涉及到一個(gè)問(wèn)題，如何定義「人類(lèi)智能」。到底是只談到它具備人類(lèi)的「智力」（包括思維能力學(xué)習(xí)能力等），還是說(shuō)它應(yīng)該完整地具有一個(gè)「人格」，甚至擁有靈魂等等超越性的東西。讓人想起網(wǎng)上那段著名有關(guān)上帝的靈魂拷問(wèn)。但業(yè)界也紛紛傳出聲音，認(rèn)為GPT-3有過(guò)譽(yù)之嫌。Altman在一條推特中謙遜地表示，「GPT-3的宣傳最近太過(guò)火了，確實(shí)讓人印象深刻，但它仍然有嚴(yán)重的弱點(diǎn)，有時(shí)會(huì)犯非常愚蠢的錯(cuò)誤。人工智能將改變世界，但 GPT-3只是一個(gè)非常早期的驚鴻一瞥。我們還有太多問(wèn)題需要解決。」業(yè)界專(zhuān)家：GPT-3表現(xiàn)出了推理能力，但還不是真正的智能 更有人預(yù)測(cè)，按照這種進(jìn)化速度，GPT-3五年內(nèi)可以部分替代，甚至在某些地方超越心理醫(yī)生了?！敢院蟠蠹易钌习a的娛樂(lè)就是和GPT-3交流互動(dòng)了?！?/section>也有網(wǎng)友提出GPT-3并非是全知全能，對(duì)長(zhǎng)篇大論理解能力差，邏輯推理也繞不過(guò)幾個(gè)彎，還是沒(méi)法給美國(guó)執(zhí)業(yè)醫(yī)師考試USMLE寫(xiě)解析，暫時(shí)沒(méi)法取代內(nèi)科大夫.....還想取代內(nèi)科大夫，要啥自行車(chē)？新智元也就GPT-3是否具有認(rèn)知智能等問(wèn)題，采訪了一位NLP領(lǐng)域的資深技術(shù)專(zhuān)家，他認(rèn)為GPT-3跟認(rèn)知智能還是有點(diǎn)距離，但GPT-3做到了few-shot learning，GPT-3 模型本身就已經(jīng)學(xué)習(xí)到了大量的經(jīng)驗(yàn)，給一些小樣本做個(gè)微調(diào)，這種做法和BERT 很像，而成績(jī)主要?dú)w功于Transformer，分布式學(xué)習(xí)+ 長(zhǎng)距離依賴，單就原理上來(lái)說(shuō)，沒(méi)有本質(zhì)的突破。而網(wǎng)友展示的例子背后，也說(shuō)不定有多少bad case。認(rèn)知智能的定義很寬泛，目前也沒(méi)有形成統(tǒng)一。理解，自主決策，可思考我認(rèn)為是其中的幾個(gè)核心點(diǎn)，GPT-3展現(xiàn)出來(lái)的推理能力只是認(rèn)知智能的一種表現(xiàn)形式。反而是近兩年逐漸興起的知識(shí)圖譜，在推理智能上表現(xiàn)出了一定潛力，知識(shí)圖譜增強(qiáng)了認(rèn)知智能的可解釋性(路徑可知)，但目前在算力、模型、數(shù)據(jù)上還存在很大的缺陷，還有很長(zhǎng)的路要走，要時(shí)刻保持清醒。從長(zhǎng)期來(lái)看，構(gòu)建大規(guī)模的知識(shí)圖譜數(shù)據(jù)，將知識(shí)圖譜學(xué)習(xí)和深度學(xué)習(xí)結(jié)合起來(lái)是一個(gè)重要趨勢(shì)。不論是否過(guò)譽(yù)，GPT-3都預(yù)示著一種可以想見(jiàn)的未來(lái)。就算GPT-3的理解能力不能和人類(lèi)劃等號(hào)，但在人類(lèi)永恒的交流欲望面前，GPT-3，一個(gè)溫柔，情緒穩(wěn)定，老實(shí)肯干，懂得分析和思考的AI也許終有一天會(huì)勝過(guò)人類(lèi)的陪伴。參考鏈接：
https://www./2020/07/20/1005454/openai-machine-learning-language-generator-gpt-3-nlp/
|
