2023成都積分入學什么時候開始申請
2023-01-31
圖靈獎得主LeCun評ChatGPT不算創(chuàng)新，被網(wǎng)友罵檸檬精
更新時間：2023-01-25 16:05:16作者：智慧百科
豐色 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
“ChatGPT并不算創(chuàng)新?！?/p>
“OpenAI做的這個東西跟其他實驗室相比，根本算不上什么進步?！?/p>
這兩天，圖靈獎得主LeCun公開和大熱趨勢“唱反調(diào)”，瞬間引發(fā)網(wǎng)友圍觀。
要知道，ChatGPT功能強大又好玩，火爆全網(wǎng)，任誰看了都得感嘆一句“技術(shù)也太強了吧”，AI大佬對此卻“不敢茍同”？
對此，不少網(wǎng)友稱LeCun就是在“酸”OpenAI的成就：
“OpenAI現(xiàn)在讓谷歌和Meta都處于ChatGPT的陰影之下。這就是為什么它不算革命性的創(chuàng)新?！?/p>
但也有學者為他撐腰，稱“ChatGPT就是一年前的InstructGPT的改進版本，我必須同意LeCun的這個說法”。
具體是怎么回事兒？
“ChatGPT不算技術(shù)創(chuàng)新，只是組合得很好罷了”
LeCun是在上周于Zoom的媒體和高管小型聚會上發(fā)表了這些觀點。
說ChatGPT不創(chuàng)新，是就底層技術(shù)而言。
他表示，過去許多公司和實驗室都建立了ChatGPT這種數(shù)據(jù)驅(qū)動的人工智能系統(tǒng)，因此OpenAI的這個作品算不上獨樹一幟。
盡管ChatGPT在這里面可能最強大，公眾都被它的能力所折服，覺得它能給大家的工作和生活帶來非常大的變化，但它也真的算不上革命性的科學。
他指出，除了谷歌Meta，還有6家初創(chuàng)公司都擁有著非常相似的技術(shù)。
“這些技術(shù)都是公開的，算不上rocket science，如果你愿意一探究竟的話，可以發(fā)現(xiàn)它背后沒有任何秘密可言?！?/p>
(Ps. rocket science即火箭科學，指特別困難的事情。）
他稱ChatGPT僅僅是“組合得很好”。
具體都“組合”了以下這些關(guān)鍵技術(shù)：
首先，它的核心就是以自監(jiān)督學習的方式預訓練的Transformer架構(gòu)。
其中，自監(jiān)督學習是“我LeCun”早就提倡的。有多早？那時OpenAI都還沒誕生呢。
Transformer呢，更不用多說。是谷歌2017年就提出的，GPT-3等大量語言模型都是基于它。
而說起語言模型，它的歷史就更早了。
第一個神經(jīng)網(wǎng)絡(luò)語言模型，是Yoshua Bengio在大約20年前提出的。（注意力機制的概念最早也是Bengio發(fā)明的，然后被谷歌采納用于Transformer，然后成為所有語言模型中的關(guān)鍵元素）。
也就是說，ChatGPT不僅用的都是別人的技術(shù)，還是很早就有的技術(shù)。
另外，LeCun還指出OpenAI的程序都用到了強化學習，也就是通過人類agent對機器的輸出進行的排名（就像谷歌的網(wǎng)頁排名一樣），來改善系統(tǒng)性能。
而這種方法不是OpenAI，而是谷歌的DeepMind部門首創(chuàng)。
總而言之，LeCun認為，ChatGPT并非“憑空而來”，而是在此前這么多年這么多項技術(shù)的積累上組合出來的。
所以，它算不上底層技術(shù)上的創(chuàng)新：
與其說是科學突破的案例，不如說是體面的工程案例。
有趣的是，LeCun還給ChatGPT找到了同樣的例子。
那就是贏得了DARPA 2005年挑戰(zhàn)賽的自動駕駛汽車，來自企業(yè)家Sebastian Thrun。
他表示，該獲獎項目用到的這個技術(shù)也是在基礎(chǔ)科學方面并不是特別創(chuàng)新，只是設(shè)計得非常好。
好了，不管是現(xiàn)場聽眾還是屏幕前的你，現(xiàn)在肯定會問了：
你說OpenAI的ChatGPT“沒什么大不了的”，那為什么谷歌和Meta等公司都沒人做出來呢？
對此，LeCun“有備而來”，笑著自問自答道：
它們不是不能，是不想，因為做這種東西太費錢了，得不到什么收益。
網(wǎng)友：你就酸吧
媒體ZDNet將LeCun的這些觀點整理成文章進行了發(fā)表，得到了LeCun本人的親自轉(zhuǎn)發(fā)。
并在轉(zhuǎn)發(fā)語中再次強調(diào)ChatGPT和其他大型語言模型LLM并非憑空而來，而是數(shù)十年來不同人貢獻的成果。
因此，沒有AI實驗室已經(jīng)明顯領(lǐng)先于其他實驗室。（也就是說OpenAI還是那個OpenAI，沒有因為ChatGPT就比別人更牛了）
對于此番言論，有網(wǎng)友的評價卻是：
LeCun，你在嫉妒在“酸”。
具體be like：
“LeCun這個觀點多有意思啊，就是想說Meta的技術(shù)與其他實驗室不相上下，沒有產(chǎn)品只是因為Meta領(lǐng)導層不愿意做。”
“如果Galactica（Meta的語言模型）也獲得了類似ChatGPT的成功，你就不會說這僅僅是幾十年來各種人的貢獻的結(jié)果。你的觀點聽起來讓人覺得是你很嫉妒。我認為如果你能衷心祝賀OpenAI，大家可能還會對你贊許有加?！?/p>
言辭可以算是很犀利了。
于是，就在今天，LeCun又作出了這樣一個公開說明：
我不是在批評OpenAI的工作或他們的主張。
而是想糾正一下公眾和媒體的看法，大家說它是一個“全新的突破”這樣評價真的太高了。
你認為ChatGPT究竟配不配得上這樣的評價呢？
[1]https://www.zdnet.com/article/chatgpt-is-not-particularly-innovative-and-nothing-revolutionary-says-metas-chief-ai-scientist/
[2]https://twitter.com/ylecun/status/1617921903934726144
[3]https://twitter.com/ylecun/status/1617609026820542464
