|
作者 | 貝爽 寫作應(yīng)該是各行各業(yè)，各種職業(yè)都會用到的基礎(chǔ)技能。 雖為基礎(chǔ)技能，但要做好卻不難簡單，想必你一定經(jīng)歷過深夜論文沒靈感、合作方案寫不出來這些類似的痛苦。如果這個時候能有一個什么都懂的全能大神幫我指點(diǎn)迷津，或者直接完成，那簡直再好不過了！ 最近一位Twitter網(wǎng)友在體驗(yàn)了一款A(yù)I神器后，發(fā)現(xiàn)愿望竟然真的實(shí)現(xiàn)了！ 1 “百科全書式”寫作助手 這款A(yù)I神器是Open AI開發(fā)的GPT-3自然語言處理模型。簡單來說，GPT-3是一款A(yù)I文本生成器，它可以根據(jù)上文提示，自動補(bǔ)齊下文。官方說法是，這款GPT-3涵蓋了1750億個參數(shù)，遠(yuǎn)超GPT-2和其他AI文本生成模型，達(dá)到了目前的最佳SOTA，而且其寫作水平能夠與人類媲美。 但是實(shí)際效果如何，咱誰也沒用過?？赡苁浅鲇趯Ξa(chǎn)品的自信，兩個月前，OpenAI將這款耗費(fèi)了1200萬美元的商用GPT-3模型，對外開源了，現(xiàn)在人人皆可拿來作為自己的“文案”助手。 最近一位名為Delian的網(wǎng)友在體驗(yàn)完之后，忍不住在Twitter分享了令他難以置信的使用效果。Delian是家風(fēng)投公司創(chuàng)始人，他希望GPT-3能在“如何召開有效的董事會會議？”的問題上給出一些建議，因此，他針對這個問題，在GPT-3中輸入了上文： 內(nèi)容大意是：公司創(chuàng)始人前期打造一支高質(zhì)量的董事會成員對于公司初期發(fā)展至關(guān)重要。而大多說創(chuàng)始人沒有意識到這一點(diǎn)。他建議公司在完成A輪融資后就可以開始招募董事會成員，而且招募對象一定好涵蓋公司所在領(lǐng)域的各個方向的專家。另外，他還舉了一個實(shí)例進(jìn)行了論證了這個觀點(diǎn)。 可以看出，上文內(nèi)容屬于商業(yè)運(yùn)營和投資范疇，若非專業(yè)人員很難給出相應(yīng)的回應(yīng)。 但是，接下來GTP-3生成的下文讓他非常滿意。（話題涉及主觀看法，暫不論對錯） 以下是翻譯內(nèi)容： 內(nèi)容概要：GPT-3首先肯定了穩(wěn)定高質(zhì)量的董事會成員對公司發(fā)展的價(jià)值，然后對如何執(zhí)行招聘董事會成員的工作給出了具體建議，首先是確定需要招聘的人員清單。
對于GPT-3呈現(xiàn)出的結(jié)果，Delian表示遠(yuǎn)超出了預(yù)期?？梢钥闯?，首先模型基本理解了上文大意，并且在無其他提示的情況下，給出了非常詳細(xì)的意見和建議，雖然并非完全正確，但問題本身也是開放性的問題。同時，下文也基本遵循了上文的格式，如分段和主標(biāo)題樣式。 另外，經(jīng)過多項(xiàng)測試后，Delina發(fā)現(xiàn)任何領(lǐng)域的專業(yè)問題，它都能自動生成相互匹配的下文，比如有關(guān)同性戀故事的劇本，行業(yè)專家的技術(shù)訪談、或者有關(guān)選舉的政治話題等統(tǒng)統(tǒng)不在話下。 Delin還把如此強(qiáng)大的GTP-3形容為：
聽著非常心動了，每天為文案熬禿頭的朋友們，可以來嘗試體驗(yàn)一下，為你們奉上開源地址，Github地址：https://github.com/openai/gpt-3 2 GPT-3：超大模型，無需微調(diào) 其實(shí)，GPT-3的出色性能還不知如此。這個版本的模型是在今年的五月份剛剛被推出，與之前的GPT-2本相比，它在參數(shù)上高出了100倍。更重要的是，GPT-3實(shí)現(xiàn)了無需微調(diào)的最佳SOTA。 一般來說，GPT自然語言模型工作分為上游預(yù)訓(xùn)練和下游特定任務(wù)兩個主要階段。無需微調(diào)，意味著在經(jīng)過大型語料庫的預(yù)訓(xùn)練后，GPT-3在處理諸如語言翻譯、完型填空、文本生成等常見NLP任務(wù)時，無需針對下游任務(wù)作出特殊處理。 同時，它也意味著其處理任務(wù)的性能表現(xiàn)，主要取決于它的預(yù)訓(xùn)練過程。 首先從預(yù)訓(xùn)練階段的模型大小來看，從論文中的數(shù)據(jù)顯示，在經(jīng)過幾項(xiàng)簡單的任務(wù)訓(xùn)練（刪除文本中的隨機(jī)符號）后，模型越大學(xué)習(xí)曲線越陡峭，而越是陡峭，代表學(xué)習(xí)性能越強(qiáng)。因此，可以說下游任務(wù)的學(xué)習(xí)能力主要由模型大小決定。 在GPT-3中的模型和體系架構(gòu)與GPT-2基本一致，包括其中描述的修改后的初始化，預(yù)規(guī)范化和可逆記號化，不同之處在于，在GPT-3各層中使用了Sparse Transformer架構(gòu) 。同時，研究人員訓(xùn)練了8種不同大小的模型，范圍從1.25億個參數(shù)到1,750億個參數(shù)，三個數(shù)量級。最后一個為“GPT-3”。 可以看出，模型越大，它在可訓(xùn)練總數(shù)、層級數(shù)、學(xué)習(xí)比率方面的表現(xiàn)越高。 另外，從語料庫來講，模型越大越需要大的語料庫作為支撐，GPT-3采用的數(shù)據(jù)集（Common Crawl）包含了近一萬億個單詞。 CommonCrawl數(shù)據(jù)是從2016年到2019年，每個月的CommonCrawl的41個分片中下載的，構(gòu)成了過濾前的45TB壓縮明文和過濾后的570GB，大致相當(dāng)于4000億字節(jié)。 請注意，在訓(xùn)練過程中，并非按大小對數(shù)據(jù)集進(jìn)行采樣，而是較高質(zhì)量的數(shù)據(jù)集采樣頻率更高，因此，在訓(xùn)練過程中CommonCrawl和Books2數(shù)據(jù)集采樣的次數(shù)少于一次，而其他數(shù)據(jù)集則采樣了2 -3次。這本質(zhì)上是接受了少量的過度擬合，換取了更高質(zhì)量的訓(xùn)練數(shù)據(jù)。 因此，基于超大模型和與數(shù)據(jù)庫的GPT-3在預(yù)訓(xùn)練階段能夠表現(xiàn)出極好的性能。 3 存在一定的局限性 不過，從此前的測試中，我們也可以看出GPT-3的文本生成還是存在一些局限性的。具體我們可以從Q&A問答中來看一下。對于常識性性問題，GPT-3還是非常擅長的。如， GPT-3自身的學(xué)習(xí)經(jīng)驗(yàn)主要是從網(wǎng)上抓取，因此在回答一些常識性問題時，它可以從網(wǎng)上找到準(zhǔn)確的對應(yīng)答案。但在處理對于一些“不言而喻”的問題時，它就可以出現(xiàn)錯誤，比如下文： Q：烤面包機(jī)和鉛筆哪一個較重？ A：鉛筆比烤面包機(jī)重。 雖然在這些問題上存在缺陷，不過，GPT-2在處理一些邏輯性問題，或者閱歷理解任務(wù)時，幾乎可以達(dá)到人類的水平。因此，在很多方面可以作為人類很好的輔助工具。 論文地址：https:///abs/2005.14165 https://delian./p/quick-thoughts-on-gpt3 https:///blog/demystifying-gpt-3/  |
|
|
