中文字幕亚洲欧美日韩在线不卡,亚洲欧美日产综合在线网性色,思思久久精品6一本打道,综合视频中文字幕

·ChatGPT背后的大規(guī)模預(yù)訓(xùn)練模型GPT-3.5能力強(qiáng)大，領(lǐng)先國(guó)內(nèi)大模型一個(gè)代差。國(guó)內(nèi)大模型百花齊放，如果要追趕并生產(chǎn)出類ChatGPT產(chǎn)品，首先要有能跟國(guó)際比肩的高性能基座模型，并在基座模型上優(yōu)化。與此同時(shí)要有長(zhǎng)期投入的環(huán)境，解決高端GPU算力“卡脖子”問題。
·ChatGPT還存在不可避免的缺陷：常識(shí)缺失。究其原因，OpenAI在訓(xùn)練ChatGPT時(shí)，每一次進(jìn)步都是算法+數(shù)據(jù)巧妙設(shè)計(jì)的結(jié)果，但這些訓(xùn)練過程都沒有考慮常識(shí)知識(shí)的加入。

ChatGPT的火爆，已經(jīng)引起了國(guó)內(nèi)AI界的熱烈討論。

“全能網(wǎng)友”ChatGPT火出圈，國(guó)際科技巨頭布局AI聊天機(jī)器人，國(guó)內(nèi)大小企業(yè)能否迎頭趕上？差距在哪？成立于2019年的人工智能企業(yè)北京智譜華章科技有限公司（下稱“智譜AI”）CEO張鵬2月7日對(duì)澎湃科技（www.thepaper.cn）表示，ChatGPT背后的大規(guī)模預(yù)訓(xùn)練模型GPT-3.5能力強(qiáng)大，領(lǐng)先國(guó)內(nèi)大模型一個(gè)代差。國(guó)內(nèi)大模型百花齊放，如果要追趕并生產(chǎn)出類ChatGPT產(chǎn)品，首先要有能跟國(guó)際比肩的高性能基座模型，例如類GPT-3模型。在基座模型上優(yōu)化，包括加入代碼的訓(xùn)練增強(qiáng)邏輯性，做監(jiān)督性的訓(xùn)練、強(qiáng)化學(xué)習(xí)的訓(xùn)練和用戶反饋的數(shù)據(jù)監(jiān)督訓(xùn)練，或許能得到與ChatGPT背后的模型相媲美的大模型。
西安中科創(chuàng)星科技孵化器有限公司（下稱“中科創(chuàng)星”）創(chuàng)始合伙人米磊認(rèn)為，國(guó)內(nèi)差距主要在于資金長(zhǎng)期投入和投入環(huán)境上，“OpenAI（ChatGPT的創(chuàng)建者）從2015年開始研發(fā)至今，背后是堅(jiān)持不懈的長(zhǎng)期巨額資金投入，不管是熱還是冷，都堅(jiān)持不斷創(chuàng)新。最后十年磨一劍，坐冷板凳把ChatGPT做出來了?！迸c此同時(shí)，當(dāng)前國(guó)內(nèi)面臨的高端GPU算力“卡脖子”問題仍然待解。
通用人工智能是指具有一般人類智慧，可以執(zhí)行人類能夠執(zhí)行的任何智力任務(wù)的機(jī)器智能。ChatGPT的出現(xiàn)能否說明人類已經(jīng)接近通用人工智能？張鵬認(rèn)為，它離真正的通用人工智能甚至認(rèn)知智能仍有距離。通過大規(guī)模預(yù)訓(xùn)練模型技術(shù)，ChatGPT實(shí)現(xiàn)了部分認(rèn)知推理能力和內(nèi)容生成能力。但它仍然欠缺認(rèn)知中嚴(yán)謹(jǐn)?shù)闹R(shí)和邏輯，欠缺生成結(jié)果的可解釋性。
究其原因，OpenAI在訓(xùn)練ChatGPT的時(shí)候歷經(jīng)從最基礎(chǔ)的1750萬基座模型GPT-3到加入代碼的Code-Davinci-002再到加入了指令微調(diào)的InstructGPT，最后到最近加入強(qiáng)化學(xué)習(xí)的Text-Davinci-003和ChatGPT，每一次進(jìn)步都是算法+數(shù)據(jù)巧妙設(shè)計(jì)的結(jié)果，但這些訓(xùn)練過程都沒有考慮常識(shí)知識(shí)的加入。因此對(duì)于認(rèn)知大模型，張鵬表示，或許可以通過加入記憶模塊和自我反思機(jī)制，實(shí)現(xiàn)進(jìn)一步突破。
ChatGPT曾在誘導(dǎo)下寫出毀滅全人類的計(jì)劃書，因此需要考慮監(jiān)管問題。目前ChatGPT還存在不可避免的缺陷，暫時(shí)不太可能完全替代某一個(gè)職業(yè)，但隨著用戶量的急劇增加，給ChatGPT的反饋信息越來越多，模型迭代訓(xùn)練后，張鵬表示，未來或可替代簡(jiǎn)單重復(fù)、技術(shù)含量不大的工作?！翱傮w上，目前技術(shù)已經(jīng)跑在前頭了，安全、法律、道德等層面對(duì)它的約束和應(yīng)對(duì)還是要跟上?！?br/>以下是澎湃科技與智譜AI首席執(zhí)行官?gòu)堸i、中科創(chuàng)星創(chuàng)始合伙人米磊的對(duì)話實(shí)錄。
【國(guó)內(nèi)大模型百花齊放，底層技術(shù)與國(guó)外有代差】
澎湃科技：最近ChatGPT很火，國(guó)際科技巨頭都在布局這塊。
張鵬（智譜AI首席執(zhí)行官）：ChatGPT最近挺熱的，但其實(shí)這個(gè)事兒不是很新鮮，往前推已經(jīng)有幾年時(shí)間了，最早可以追溯到2018年左右開始做大規(guī)模預(yù)訓(xùn)練模型，2020年OpenAI發(fā)布了GPT-3語言模型，引起對(duì)生成式AI的關(guān)注。去年生成式AI的另一個(gè)頂峰是圖像生成模型的推出，引起了AIGC（人工智能生成內(nèi)容）領(lǐng)域的火熱。但背后的根本是大規(guī)模語言模型技術(shù)，這個(gè)技術(shù)從國(guó)外起步，現(xiàn)在把這個(gè)模型推到了千億甚至萬億級(jí)別的規(guī)模之后會(huì)產(chǎn)生從量變到質(zhì)變的變化。GPT-3之后，國(guó)內(nèi)外的研究機(jī)構(gòu)、廠商開始追捧這個(gè)技術(shù)，布局研發(fā)工作。
米磊（中科創(chuàng)星創(chuàng)始合伙人）：ChatGPT確實(shí)是人工智能發(fā)展史上一個(gè)很大的突破，比較驚艷，標(biāo)志著人工智能發(fā)展從量變走向質(zhì)變。它是人工智能在繼互聯(lián)網(wǎng)浪潮中異軍突起之后一次大的性能提升，不僅可以直接干活提高生產(chǎn)效率，還能有很大的想象空間，超出了大家的預(yù)期，所以一下子就火了。從硬科技的視角來看，人工智能的底層技術(shù)可以分為算法、數(shù)據(jù)和算力，科技巨頭在這方面有明顯優(yōu)勢(shì)，無論是資源平臺(tái)，還是資金、人才，都占有先機(jī)。ChatGPT就是數(shù)據(jù)和算力結(jié)合的一個(gè)代表性創(chuàng)新案例。
澎湃科技：國(guó)內(nèi)目前的發(fā)展或追趕情況是怎樣的？
張鵬：ChatGPT火出圈確實(shí)有不太一樣的地方，它不是純研究，而是一個(gè)封裝得非常好的產(chǎn)品，而且選擇了聊天這樣一個(gè)泛用場(chǎng)景，所以引起非常廣泛的關(guān)注。
其實(shí)國(guó)內(nèi)還有其他一些廠家也在做這個(gè)事，目前還是百花齊放的狀態(tài)。比如百度文心，華為有盤古模型，字節(jié)跳動(dòng)和達(dá)摩院也有自己的模型。這些模型大部分是語言模型，但也有一些多模態(tài)的模型，比如達(dá)摩院的M6模型是多模態(tài)的模型，它不光可以生成文本，也可以生成圖像。
但可能都限于某些比較小眾的應(yīng)用，所以沒有形成非常大規(guī)模的市場(chǎng)影響力。其次，深究下來，我們?cè)诘讓蛹夹g(shù)上跟國(guó)外還有一定的代差，ChatGPT背后的GPT-3.5模型確實(shí)非常強(qiáng)，領(lǐng)先國(guó)內(nèi)大模型一個(gè)代差，在這點(diǎn)上還值得我們?nèi)プ汾s。
米磊：大模型是非常難的一個(gè)方向，對(duì)技術(shù)要求很高，投入也很大，所以國(guó)內(nèi)做這方面的初創(chuàng)企業(yè)并不多。技術(shù)上，跟國(guó)外比，國(guó)內(nèi)還是有一定差距，ChatGPT基本上可以商用了，但國(guó)內(nèi)也沒有那么弱。國(guó)內(nèi)在數(shù)據(jù)量、預(yù)訓(xùn)練模型、算法方面緊跟國(guó)際，做得還是很強(qiáng)的，中國(guó)也還是很有機(jī)會(huì)的。
澎湃科技：具體差距是什么？
張鵬：ChatGPT的能力源自于背后的基座模型，也就是大規(guī)模預(yù)訓(xùn)練模型。ChatGPT的基座模型是GPT-3，在GPT-3和ChatGPT之間還有一系列模型，也就是在GPT-3的基礎(chǔ)上做了很多改進(jìn)和優(yōu)化，形成了GPT-3.5這樣的系列模型。這一系列模型的能力是ChatGPT能取得當(dāng)前這樣的效果的基礎(chǔ)。
GPT-3.5和GPT-3之間就是一個(gè)代差，國(guó)內(nèi)大量的工作大概是在GPT-3的水平甚至比GPT-3還差一些的水平，所以這就是我說的技術(shù)上的代差，國(guó)內(nèi)外的差距就在于模型的基礎(chǔ)性能上。
去年，斯坦福大學(xué)基礎(chǔ)模型研究中心的負(fù)責(zé)人Percy Liang等開展了一項(xiàng)研究，對(duì)全球范圍內(nèi)將近30個(gè)大模型橫向評(píng)測(cè)，列了7項(xiàng)評(píng)測(cè)指標(biāo)，其中6項(xiàng)是關(guān)于模型本身的評(píng)測(cè)性能，代表了模型本身能力的強(qiáng)弱，包括準(zhǔn)確性、魯棒性、公允性、偏見度、校準(zhǔn)誤差、惡意性。這個(gè)榜單里的模型絕大部分都是國(guó)外的，包括和ChatGPT相關(guān)的InstructGPT模型。當(dāng)然這里面也有我們與清華多個(gè)實(shí)驗(yàn)室共同訓(xùn)練的大規(guī)模中英文預(yù)訓(xùn)練語言模型GLM-130B，這是國(guó)內(nèi)唯一一個(gè)入選、能跟這些頂尖模型一較高下的基座模型。
米磊：在資金投入和投入環(huán)境上也存在差異。OpenAI從2015年開始研發(fā)至今，背后是堅(jiān)持不懈的長(zhǎng)期巨額資金投入，不管是熱還是冷，都堅(jiān)持不斷創(chuàng)新，最后十年磨一劍，坐冷板凳把ChatGPT做出來了。中國(guó)長(zhǎng)期投入的這種環(huán)境跟美國(guó)還是有差距的。說到底還是要按客觀規(guī)律辦事，所以我們呼吁大家關(guān)注和支持硬科技，希望大家能多一些耐心，做長(zhǎng)期資本來支持科技創(chuàng)新。
澎湃科技：國(guó)內(nèi)企業(yè)如果要追趕，生產(chǎn)出類ChatGPT產(chǎn)品，要從哪些方面入手？
張鵬：我們一直在做關(guān)于千億模型和萬億模型的研究，也在思考我們與ChatGPT的距離。首先，我們認(rèn)為要有能夠跟國(guó)際比肩的性能非常好的基座模型，也就是類似GPT-3和GLM-130B這樣的模型。有了基座模型之后，還要在基座模型上做優(yōu)化，包括加入代碼的訓(xùn)練，增強(qiáng)它的邏輯性，做監(jiān)督性的訓(xùn)練，做強(qiáng)化學(xué)習(xí)的訓(xùn)練和用戶反饋的數(shù)據(jù)監(jiān)督訓(xùn)練。還要做很多這樣的工作，才能得到跟ChatGPT背后的模型相媲美的模型。然后在大模型的基礎(chǔ)上再去開發(fā)出產(chǎn)品，這是工程性的問題。
米磊：還是回到算法、數(shù)據(jù)和算力上。國(guó)內(nèi)要在軟硬件上同時(shí)下功夫，一方面把算法做得更好一點(diǎn)，尤其是優(yōu)化算法，包括認(rèn)知算法、反思算法。另一方面提升數(shù)據(jù)量，解決算力問題，因?yàn)楝F(xiàn)在還面臨高端GPU算力卡脖子問題。
【通向認(rèn)知智能的重要一步，需受安全、道德等約束】
澎湃科技：現(xiàn)在人們會(huì)和ChatGPT交流自己的職業(yè)會(huì)不會(huì)被它替代。
張鵬：目前ChatGPT還有一些不可避免的缺陷，暫時(shí)還不太可能完全替代某一個(gè)職業(yè)或某一份工作。但隨著用戶量的急劇增加，給ChatGPT的反饋信息越來越多，模型迭代訓(xùn)練后，是真的有可能替代一些簡(jiǎn)單重復(fù)、沒有太大技術(shù)含量的工作。
米磊：人工智能會(huì)逐步把人類低端、重復(fù)性的工作代替，但創(chuàng)新是代替不了的。
澎湃科技：ChatGPT的出現(xiàn)能否說明我們已經(jīng)接近了通用人工智能？
張鵬：說通用人工智能還早，頂多算是通向通用人工智能中的認(rèn)知智能很重要的一步，通過大規(guī)模預(yù)訓(xùn)練模型技術(shù)，實(shí)現(xiàn)了部分認(rèn)知推理能力和內(nèi)容生成能力。當(dāng)然它仍然會(huì)“一本正經(jīng)地胡說八道”，犯一些常規(guī)性和知識(shí)性的錯(cuò)誤，這就是它的一個(gè)缺陷，它仍然欠缺認(rèn)知當(dāng)中嚴(yán)謹(jǐn)?shù)闹R(shí)和邏輯這個(gè)部分，它生成的結(jié)果的可解釋性還比較欠缺。
米磊：透過ChatGPT，我們已經(jīng)能看到初級(jí)智能時(shí)代的曙光了，未來它將會(huì)帶來一場(chǎng)生產(chǎn)力的革命。過去60年是信息時(shí)代，未來60年是智能時(shí)代，到時(shí)候大概率是要替代掉現(xiàn)在的搜索引擎模式。
澎湃科技：你們?nèi)ツ曷?lián)合清華的幾個(gè)實(shí)驗(yàn)室訓(xùn)練出了GLM-130B模型，后續(xù)有哪些發(fā)展規(guī)劃？
張鵬：自2022年8月發(fā)布以來，GLM-130B收到了41個(gè)國(guó)家266個(gè)研究機(jī)構(gòu)的使用需求，包括Google、Microsoft、Stanford、MIT、UC Berkely、CMU、Harvard、華為、百度、阿里巴巴、騰訊、頭條、智源、北京大學(xué)、浙江大學(xué)、香港大學(xué)等。當(dāng)前OpenAI的GPT對(duì)中國(guó)禁用，英偉達(dá)的A100等高端芯片對(duì)中國(guó)禁售，我們?cè)谧龃竽Ｐ偷倪^程中挑戰(zhàn)巨大，但同時(shí)也有這份責(zé)任心，要做大模型的中國(guó)創(chuàng)新，要做能媲美GPT系列的認(rèn)知大模型。接下來從GPT-3到GPT-3.5到ChatGPT這條路徑中的必要工作我們會(huì)持續(xù)去做，基于GLM-130B模型提供基礎(chǔ)服務(wù)能力，比如文本生成、代碼輔助編寫等。
澎湃科技：在大模型中加入記憶模塊和自我反思機(jī)制嗎？
張鵬：這是我們的一個(gè)構(gòu)想，團(tuán)隊(duì)正在這方面持續(xù)探索。首先要解決犯知識(shí)性錯(cuò)誤的問題，因?yàn)楝F(xiàn)在ChatGPT是純用生成的方式來回答問題，沒有結(jié)合常識(shí)知識(shí)和背景性質(zhì)的數(shù)據(jù)，所以它回答問題的時(shí)候雖然語句上是通順的，但知識(shí)性的細(xì)節(jié)會(huì)出錯(cuò)。這是模型本身的缺陷，在訓(xùn)練時(shí)可能沒有加入更多的知識(shí)，或者生成這個(gè)結(jié)果后沒有用事實(shí)性的邏輯推理方式去檢查。記憶模塊就是為了解決知識(shí)內(nèi)容犯錯(cuò)的問題，把這些知識(shí)記住就不需要胡說八道，直接從記憶里檢索出來就好了。
澎湃科技：總的來說，ChatGPT會(huì)帶來哪些技術(shù)和社會(huì)挑戰(zhàn)？
張鵬：技術(shù)挑戰(zhàn)就是它離真正的通用人工智能甚至認(rèn)知智能這個(gè)目標(biāo)還有一些距離，包括加入基于self-instruct的自我反思機(jī)制，需要從技術(shù)上持續(xù)突破。
對(duì)于社會(huì)問題，根據(jù)我們的觀察，首先要考慮安全風(fēng)險(xiǎn)，它曾經(jīng)在誘導(dǎo)下寫出毀滅全人類的計(jì)劃書，因此需要考慮如何避免或受到監(jiān)管。其次，每個(gè)技術(shù)的誕生都會(huì)存在濫用的問題，現(xiàn)在國(guó)外有些學(xué)校、科研機(jī)構(gòu)、期刊雜志禁止使用ChatGPT寫論文。此外，可能會(huì)引起工作崗位、職業(yè)的變更，甚至?xí)鹨恍┎环€(wěn)定因素。總體上，目前技術(shù)已經(jīng)跑在前頭了，安全、法律、道德等層面對(duì)它的約束和應(yīng)對(duì)還是要跟上。
澎湃科技：大小企業(yè)都在做大模型或類ChatGPT產(chǎn)品，怎樣的企業(yè)會(huì)勝出？
張鵬：做這件事需要幾方面要素，首先要有深厚的技術(shù)積累，持續(xù)深入研究，并有成果產(chǎn)出。
第二需要有大量資源，包括數(shù)據(jù)、算力。這一點(diǎn)上，國(guó)內(nèi)和國(guó)際的大企業(yè)有天生的優(yōu)勢(shì)。
第三需要生態(tài)建設(shè)，一項(xiàng)新的技術(shù)在投入使用過程中不能靠一兩個(gè)公司或者少量的人就能把整個(gè)事情做起來，它需要一個(gè)生態(tài)。比如大家愿意在產(chǎn)品中嵌入并應(yīng)用這些技術(shù)，技術(shù)本身會(huì)接收到更多反饋，然后不斷迭代，這需要一個(gè)良好的應(yīng)用生態(tài)環(huán)境去促進(jìn)不斷升級(jí)和迭代。
從這幾個(gè)要素可以判斷哪些企業(yè)或機(jī)構(gòu)能夠在這件事上走得更遠(yuǎn)。