2023成都積分入學(xué)什么時(shí)候開始申請(qǐng)
2023-01-31
GPT-4參數(shù)過100萬億？OpenAI CEO辟謠：知道你急，但你先別急！
更新時(shí)間：2023-01-20 14:05:20作者：智慧百科
新智元報(bào)道
編輯：編輯部
【新智元導(dǎo)讀】關(guān)于ChatGPT的種種傳聞和爭(zhēng)議，正主親自來回應(yīng)了。
最近，借著ChatGPT的火爆，OpenAI身價(jià)大漲，估值一度達(dá)到290億美元。
在2019年就給OpenAI投了10億美?元的「金主爸爸」微軟，
沒錯(cuò)，OpenAI現(xiàn)在可是微軟手中的「香餑餑」，微軟的、、，個(gè)個(gè)都等著ChatGPT等AI工具的加持。
被微軟當(dāng)作大展宏圖利器的OpenAI，現(xiàn)在已經(jīng)聚焦了全世界的目光。
對(duì)此，OpenAI的CEO Sam Altman是怎樣看的呢？
時(shí)下頂流：ChatGPT
對(duì)不起，這個(gè)問題我回答不了
大家最關(guān)心的問題，當(dāng)然是ChatGPT整合進(jìn)微軟必應(yīng)和Office的問題了。
記者就此提問后，Altman眨了眨眼睛，回避了直接回答。
他的發(fā)言可是相當(dāng)有意思——
「你是一個(gè)非常有經(jīng)驗(yàn)的專業(yè)記者。你知道我不能對(duì)此發(fā)表評(píng)論。我知道你知道我不能對(duì)此發(fā)表評(píng)論。你知道我知道你知道[我]不能對(duì)此發(fā)表評(píng)論。既然生命很短暫，我們的時(shí)間都很寶貴，為什么要問這個(gè)問題呢？」
?精彩地回避掉了問題焦點(diǎn)，還講了一套段子精彩回懟，小編只能說，采訪的語言藝術(shù)，被您拿捏了。
不過在隨后的采訪中，Altman也表示：雖然估值高達(dá)290億美元，但其實(shí)現(xiàn)在OpenAI還未盈利。
的確，考慮到一天現(xiàn)在，這件事并不令人驚訝。
陰陽一下谷歌
ChatGPT誕生之后，因?yàn)橐槐菊?jīng)地胡說八道，和所有語言模型都無法避免的訓(xùn)練數(shù)據(jù)「帶毒」問題，被很多人所質(zhì)疑。
擔(dān)心會(huì)引起聲譽(yù)風(fēng)險(xiǎn)，這就是谷歌遲遲未能將自己手中的LaMDA等語言模型商業(yè)化的主要原因（至少，谷歌是這么聲稱的）。
挑事的主持人當(dāng)然不會(huì)放過這個(gè)話題，她直接問Altman：「谷歌對(duì)員工解釋，之所以沒有推出ChatGPT類似產(chǎn)品，是因?yàn)镚PT技術(shù)還不夠完美，可能會(huì)損害公司聲譽(yù)，你對(duì)此怎么看待呢？」
對(duì)此，Altman意味深長(zhǎng)地一笑：「我希望等谷歌發(fā)布新產(chǎn)品的那一天，他們能記得自己說過的話。我就說這么多?！?/p>
細(xì)品一下他的表情
沒有一句廢話，深藏功與名，Altman，真有你的。
那么，對(duì)于谷歌的人工智能，Altman是如何評(píng)價(jià)的呢？
聰明如他，是這么回答的：「關(guān)于他們的新聞，我了解得不多，不太好進(jìn)行評(píng)價(jià)……嗯，我認(rèn)為他們是一家有能力的公司，他們有好的產(chǎn)品，但我對(duì)此確實(shí)一無所知?！?/p>
雖然這么說，但顯然，Altman非常了解坊間關(guān)于「ChatGPT是谷歌搜索引擎終結(jié)者」的言論。
對(duì)此，他是這樣評(píng)論的——
「在我看來，每當(dāng)有人說『一項(xiàng)技術(shù)是某個(gè)巨頭公司的終結(jié)者』時(shí)，這種言論通常都是錯(cuò)誤的?？赡苋藗兺耍雀枰灿蟹磽舻臋C(jī)會(huì)，他們擁有非常聰明、有能力的人才?！?/p>
「不過，搜索引擎確實(shí)會(huì)有一個(gè)變化，可能會(huì)在某個(gè)時(shí)刻到來。但在短期內(nèi)，不會(huì)有太急劇的變化。我猜，在相當(dāng)長(zhǎng)的時(shí)間內(nèi)，人們會(huì)以現(xiàn)有的方式繼續(xù)使用谷歌。雖然谷歌發(fā)布了紅色代碼，但短期內(nèi)不會(huì)有太大變化，我猜。」
教學(xué)系統(tǒng)大震動(dòng)
去年12月，ChatGPT大紅大紫之際，就有諸多學(xué)者和研究人員發(fā)出警告：。最近，
對(duì)此，Altman表示：「我理解教育工作者的擔(dān)憂。事實(shí)上，教育界目前發(fā)生的事情，也是其他行業(yè)未來變化的序章?！?/p>
「短期來說，我們會(huì)幫助教育工作者以及其他行業(yè)的從業(yè)者，為他們提供辨別人工智能生成內(nèi)容的工具。但從長(zhǎng)遠(yuǎn)來看，人工智能產(chǎn)生的影響終會(huì)質(zhì)變，這是所有人都無法改變的?！?/p>
「我們現(xiàn)在已經(jīng)身處一個(gè)新的世界，從現(xiàn)在開始，我們要辨別哪些文字內(nèi)容由人工智能生成。但這也未嘗不可。計(jì)算器的出現(xiàn)改變了數(shù)學(xué)的計(jì)算方式，但我們已經(jīng)習(xí)慣它的存在，我們甚至可以在考試時(shí)使用計(jì)算器?！?/p>
「當(dāng)然，ChatGPT等人工智能所帶來的變化將會(huì)更加深遠(yuǎn)，不過，這種變化帶來的好處也會(huì)是前所未有的。雖然老師們擔(dān)心學(xué)生用ChatGPT作弊，但也有老師表示，ChatGPT是一個(gè)很好的私人家教?！?/p>
「我本人也在用它學(xué)習(xí)，體驗(yàn)之后我發(fā)現(xiàn)，通過和ChatGPT對(duì)話進(jìn)行學(xué)習(xí)，趣味性要遠(yuǎn)超其他教學(xué)方式。比起從書本中學(xué)習(xí)，我更樂意讓ChatGPT來教我?！?/p>
「這是個(gè)不斷進(jìn)化的世界，人是適應(yīng)性的動(dòng)物。面對(duì)變化，我們總能適應(yīng)，總能利用環(huán)境讓自己變得更好。」
ChatGPT爆火的原因
ChatGPT誕生以來，僅用了5天的時(shí)間，用戶數(shù)就成功達(dá)百萬，破了紀(jì)錄。
在Altman看來，DALL·E之所以獲得了如此多的關(guān)注，是因?yàn)樗淖兞舜蠹覍?duì)人工智能的認(rèn)知。
「還在5-7年前，所有人都以為，人工智能的出現(xiàn)會(huì)將人類從體力勞動(dòng)中解放出來。比如人工智能會(huì)代替人們?cè)诠S工作，或替人們駕駛卡車，甚至還會(huì)做一些要求不高的認(rèn)知工作?！?/p>
「而當(dāng)人工智能發(fā)展到一定階段，它可能會(huì)從事更高級(jí)別的認(rèn)知?jiǎng)趧?dòng)，比如寫代碼。而發(fā)展到最后一步，人工智能就會(huì)掌握人類的創(chuàng)造力。」
「而如今來看，人工智能的發(fā)展與人們?cè)?jīng)的預(yù)測(cè)可謂南轅北轍，相去甚遠(yuǎn)?！?/p>
「當(dāng)然，我們也理解人們對(duì)ChatGPT爆火的疑惑。一個(gè)公司真正負(fù)責(zé)任的做法，不是一股腦地將產(chǎn)品推出，讓人們手足無措?！?/p>
「我們需要循序漸進(jìn)，讓普通用戶、平臺(tái)機(jī)構(gòu)和政策制定者盡快熟悉我們的產(chǎn)品，了解它的優(yōu)勢(shì)和短處?！?/p>
「這也是為什么，據(jù)我們的上一代產(chǎn)品GPT-3的推出，已經(jīng)有兩年半的時(shí)間了。人們對(duì)于ChatGPT各種各樣的反饋也能讓我反思，相較于GPT-3，哪些修改是不合適的?！?/p>
萬眾矚目的GPT-4
文中，Romero援引了硅谷工程師Igor Baikov9月時(shí)的一條推文表示：
「OpenAI已經(jīng)在訓(xùn)練GPT-4，并計(jì)劃于12月-2月間發(fā)布?！?/p>
根據(jù)Romero的預(yù)測(cè)，OpenAI將下一代模型的重點(diǎn)更多地放在優(yōu)化數(shù)據(jù)處理上，而不是參數(shù)大小上，因此GPT-4的規(guī)模很可能與GPT-3相似，而且訓(xùn)練成本更低。
除此之外，還有傳言稱，GPT-4的參數(shù)量高達(dá)100萬億，并且已經(jīng)先進(jìn)到「與人類無異」，甚至「通過了圖靈測(cè)試」。
對(duì)于這些傳聞，Altman哭笑不得：「過于荒謬，一派胡言，完全不知從何而來?！?/p>
「我知道網(wǎng)友們都想通過各種爆料先睹為快。我有的時(shí)候也會(huì)把這些『內(nèi)部貼』當(dāng)樂子看。但這些帖子傳了足足六個(gè)月，我總在想『現(xiàn)在人都這么閑了嗎？』」
「而且關(guān)于GPT-4的謠言越傳越離譜，仿佛他們是故意把期待值拉到不該有的高度，然后等著被我們打臉?biāo)频摹１热?，一些網(wǎng)友甚至認(rèn)為GPT-4會(huì)是真正的AGI（人工通用智能）?！?/p>
「對(duì)于這一切，我只能說，他們?cè)跁?huì)失望這件事上，是不會(huì)失望的。」
此外，在采訪中，主持人也向Altman求證GPT-4發(fā)布的具體時(shí)間。Altman表示：我知道你急，但你先別急。
總有一天我們會(huì)發(fā)布的，只要我們確定它足夠安全。目前來看，GPT-4的發(fā)布會(huì)比大家期待的要晚一些。
我理解大家急切的心情，但當(dāng)我們真正發(fā)布時(shí)，人們一定會(huì)覺得，等待是值得的。
簡(jiǎn)單來說就是：別急，該來的總會(huì)來的。
謠言始末
事實(shí)上，這個(gè)謠言最初的來源，很可能就是OpenAI自己……
2021年8月，Cerebras的CEO曾在wired的采訪中透露：「我們從與OpenAI的交談中得知，GPT-4將會(huì)有大約100萬億個(gè)參數(shù)」。
在當(dāng)時(shí)，這很可能就是他們所相信的。但那是2021年，就機(jī)器學(xué)習(xí)研究而言，這基本上是很久以前的事了。
而這一切的開始，還是要回到2020年那篇「Scaling Laws For Neural Language Models」論文中。來自O(shè)penAI的研究團(tuán)隊(duì)發(fā)現(xiàn)，當(dāng)增加模型規(guī)模超過多個(gè)數(shù)量級(jí)時(shí)，訓(xùn)練損失有可預(yù)見的減少：
論文地址：https://arxiv.org/abs/2001.08361
于是，模型的規(guī)模也開始迅速膨脹。比如，GPT-3（175B）、Gopher（280B）、Megatron-Turing NLG（530B）。
但DeepMind發(fā)表于2022年的論文「Training Compute-Optimal Large Language Models」表明，實(shí)際上需要將訓(xùn)練集和模型以相等的比例縮放。因此，當(dāng)模型的大小翻倍時(shí)，訓(xùn)練所需的token數(shù)量也應(yīng)該翻倍。
為了驗(yàn)證這個(gè)結(jié)果，研究人員在大量的數(shù)據(jù)上訓(xùn)練出了Chinchilla——一個(gè)700億參數(shù)，在1.4萬億token上訓(xùn)練的「小模型」。雖然它比GPT-3小2.5倍，但卻用了幾乎5倍的數(shù)據(jù)。
實(shí)踐證明，Chinchilla不僅更好，而且較小的規(guī)模使推理更便宜，微調(diào)更容易。
論文地址：https://arxiv.org/abs/2203.15556
根據(jù)上述分析，也正如Sam Altman所言，GPT-4的規(guī)模極大概率會(huì)與GPT-3相差不多。
當(dāng)然，我們也可以大膽地預(yù)測(cè)一下：
無論具體設(shè)計(jì)如何，GPT-4都將是一個(gè)堅(jiān)實(shí)的進(jìn)步，但絕不是一個(gè)具有100億參數(shù)的類似人腦的AGI。
最后，AGI何時(shí)出現(xiàn)？
AGI（Artificial General Intelligence）也是最近大火的概念。它何時(shí)會(huì)出現(xiàn)呢？ 對(duì)此，Altman是這樣回答的—— 「當(dāng)我們?cè)浇咏麬GI出現(xiàn)的節(jié)點(diǎn)，我就越難回答這個(gè)問題。在我看來，AGI的概念將比人們想象的要模糊得多，同時(shí)，它的出現(xiàn)是一個(gè)漸進(jìn)的過程。」
「如果將AGI的發(fā)展看做一條上升的折線，我認(rèn)為在短期內(nèi)，折線斜率越低，即AGI的發(fā)展越低調(diào)，越有利于其長(zhǎng)期發(fā)展，這也是對(duì)全社會(huì)最安全的一條發(fā)展路徑?！?/p>
「當(dāng)然，AGI到達(dá)哪個(gè)階段，才可以認(rèn)定其技術(shù)上的成功？關(guān)于這點(diǎn)，人們會(huì)有巨大的分歧?！?/p>
參考資料：
https://www.theverge.com/23560328/openai-gpt-4-rumor-release-date-sam-altman-interview
https://smokingrobot.beehiiv.com
https://www.youtube.com/watch?v=ebjkD1Om4uw&feature=youtu.be