2023成都積分入學(xué)什么時候開始申請
2023-01-31
特斯拉自動駕駛之父離職教“網(wǎng)課“，AI大佬原來都這么熱愛授業(yè)解惑
更新時間：2022-08-26 10:05:54作者：未知
解釋最新科技進(jìn)展，報道硅谷大事小情
他曾開創(chuàng)斯坦福第一門深度學(xué)習(xí)課，如今“講課癮”又犯了。
文｜杜晨 編輯｜VickyXiao 題圖來源 | 斯坦福大學(xué)網(wǎng)站
幾年前，斯坦福大學(xué)博士生 Andrej Karpathy 做了一件令 AI 社區(qū)非常敬佩的事情：在學(xué)校里創(chuàng)辦了一門深度學(xué)習(xí)本科課程，并且將視頻全部免費(fèi)公開。
作為深度學(xué)習(xí)的早期研究者和教育者之一 ，Karpathy 賭對了 方向 。 經(jīng)過十多年的 快速發(fā)展和技術(shù)創(chuàng)新，現(xiàn)在深度學(xué)習(xí)技術(shù)已經(jīng)驅(qū)動著搜索、圖像識別、社交網(wǎng)絡(luò)、工業(yè)自動化、自動駕駛等諸多關(guān)鍵領(lǐng)域和產(chǎn)業(yè)。
由于研究成就突出， Karpathy 自己也成為了 應(yīng)用 AI 技術(shù)發(fā)展的受益者 ，走出學(xué)術(shù)進(jìn)入業(yè)界的第一份工作，就是特斯拉的 特 斯拉 出任 AI 部門 總監(jiān)，領(lǐng)導(dǎo) Autopilot 以及整個特斯拉自動/輔助駕駛 技術(shù)項目 的 研發(fā) ，并帶領(lǐng)公司 深入到了機(jī) 器人 等更多前沿 領(lǐng) 域。
上個月，Karpathy 宣布從特斯拉正式離職。
當(dāng)人們還在關(guān)注他下一站要去哪，他卻毫無意外地“重操舊業(yè)”，當(dāng)起了“老師”。
/ 把“錘子”交到每個人的手上 /
就在上周，Karpathy 重新啟用了 注冊了 多 年 但從沒用過 的 YouTube “小號” ， 發(fā)布了一條長達(dá)2個半小時的教學(xué)視頻，題為《手把手帶你入門神經(jīng)網(wǎng)絡(luò)和反向傳播：構(gòu)建 micrograd”》。
他 表示 ， 關(guān)于 反向傳播（神經(jīng)網(wǎng)絡(luò) 的基礎(chǔ)算 法之 一）以及構(gòu)建神經(jīng)網(wǎng)絡(luò)的工作，這條視頻是目前為 止門檻 最 低、最全面的 講解 。 他還宣稱 ， 只要觀 眾對 Python 有基礎(chǔ) 了解，并且還記得一 點(diǎn)高中水平的微積分 ，就可以輕松入門：
“如果看完還不了解反向傳播和神經(jīng)網(wǎng)絡(luò)的核心，那我就直播吃鞋 ”
圖片來源：Andrej Karpathy
通過這門課，Karpathy 用基本的 Python 編程方法，以及他自己開發(fā)的 Micrograd 引擎， 帶著大家完成 神經(jīng)網(wǎng)絡(luò)構(gòu) 建、編寫損失函數(shù)、手動調(diào)優(yōu)等基礎(chǔ)操作，并且在過程中對反向傳播等關(guān)鍵知識進(jìn)行了系統(tǒng)的介紹 。
至于授課風(fēng)格，Karpathy 也是非常理解當(dāng)代年輕工程師在寫代碼時候的煩惱，貫徹了"talk is cheap, show me the code"的理念：整堂課的大部分時間基本就是在直播自己的屏幕畫面，手把手教大家寫代碼……
圖片來源： Andrej Karpathy / YouTube
Karpathy 曾在多倫多大學(xué)、斯坦福大學(xué)就讀，師從的 Geoff Hinton、李飛飛教授都是當(dāng)今深度學(xué)習(xí)的領(lǐng)軍人物。他也是 OpenAI 的創(chuàng)始成員之一，曾在早期的谷歌大腦、Google Research、DeepMind 等知名研究機(jī)構(gòu)實(shí)習(xí)。
作為深度學(xué)習(xí)領(lǐng)域的知名學(xué)者和從業(yè)者，Karpathy 出鏡相當(dāng)頻繁，經(jīng)常在 CVPR、NeurIPS 等知名學(xué)術(shù)會議的上發(fā)表論文和演講，還曾作為英偉達(dá) Geforce 技術(shù)大會主演講嘉賓。
頗為搞笑的是，在2014年，他曾經(jīng)以自己的“血肉之軀”，在 ImageNet 挑戰(zhàn)賽上對一個卷積神經(jīng)網(wǎng)絡(luò)發(fā)起了挑戰(zhàn)，并且獲得了勝利，因此被學(xué)術(shù)界和行業(yè)里戲稱為 ImageNet 的“人類基準(zhǔn)” (the human benchmark of ImageNet)。
圖片來源： Andrej Karpathy
然而很多人對 Karpathy 印象最深，最感激他的，反而是他在博士就讀期間做的一件大善事：
創(chuàng)辦了 CS231n，斯坦福第一門面向本科生的深度學(xué)習(xí)課程。
圖片來源： Andrej Karpathy、斯坦福大學(xué)
CS231n 以計算機(jī)視覺為主要方向，深入淺出探討深度學(xué)習(xí)技術(shù)，創(chuàng)課第一年就有總計150名學(xué)生報名，到了2016年翻了一倍，次年又再翻了一倍。目前這門課已經(jīng)成為了斯坦福校內(nèi)所有院系里報名人數(shù)最多、最受歡迎的課程之一。課程的 TA 都有16人；和 Karpathy 一起創(chuàng)課的李飛飛，至今仍在擔(dān)任主講人。
更重要的是，從創(chuàng)課的第二年，Karpathy 就把 CS231n 的授課視頻、講義、作業(yè)、筆記等大量相關(guān)資源全部公開，放在互聯(lián)網(wǎng)上。不止是報名的學(xué)生，就算沒報名上的、其它院校的學(xué)生，乃至于世界上的任何人，只要有網(wǎng)絡(luò)，就可以免費(fèi)上課。
再往前推五年，隨著 Udacity、Coursera 等公司的成立，“慕課” (MOOC) 的理念早已廣為人知。在這些知名公司的平臺上，也有著不少計算機(jī)科學(xué)和機(jī)器學(xué)習(xí)方面的課程。
然而 CS231n 的橫空問世，特別是它更加先進(jìn)和實(shí)時的課程設(shè)計，以及沒有任何商業(yè)味道的開放屬性，使其成為了前沿深度學(xué)習(xí)技術(shù)向全社會普及的關(guān)鍵節(jié)點(diǎn)。
圖片來源： Andrej Karpathy、斯坦福大學(xué)
關(guān)于為何要免費(fèi)開放課程，Karpathy 曾經(jīng)表示，自己在當(dāng)時非常強(qiáng)烈地感覺到深度學(xué)習(xí)將會成為具有巨大革命性意義的技術(shù)，有望在社會的各方各面得到廣泛運(yùn)用，就像一把好用的錘子。
但是在當(dāng)年，很多人連錘子都“買不起”，更別提了解它的能力和掌握它的用法——是他決定站出來，做這個給大家免費(fèi)發(fā)放錘子的人。
這門課最有意思的體驗，在于它沒有一個提前定好、絕不偏離的課程設(shè)置：
“別的科目上課，講的可能是19世紀(jì)的知識。在我們的課上，經(jīng)常今天講的論文是上周，甚至昨天剛剛發(fā)表的，”Karpathy 說到，“我們講的不是核物理，不是上太空，你只需要基本的微積分和代數(shù)知識，就可以聽懂我們的課程，了解和掌握當(dāng)下正在發(fā)生的新事物。每次的課程都在改變，感受非常不一樣，但是大家都非常享受這樣的體驗。”
由于創(chuàng)課當(dāng)時 Karpathy 還是一位博士生，當(dāng)老師確實(shí)占用了他大量的時間和精力。每年教兩次，每次四個月，一到上課的那段時間，他都不得不開動120%的精力，甚至博士學(xué)位的相關(guān)研究工作都不得不停擺。
“盡管如此，我還是覺得這門課是我讀博期間的高光時刻?！?/strong>
Andrej Karpathy 圖片來源本人
如果簡單瀏覽一遍 Karpathy 的履歷，一般人可能不會以為他是一個教學(xué)型的學(xué)者。但實(shí)際上他真的特別熱衷于傳道授業(yè)解惑，特別是給大家分享他本人的學(xué)習(xí)結(jié)果，和掌握技能的獨(dú)特經(jīng)驗。
他曾經(jīng)以博士生過來人的身份寫過一些經(jīng)驗談，發(fā)表在斯坦福官網(wǎng)以及個人播客上。比如對于本科生備戰(zhàn)考試，他真誠告誡大家“熬夜不值”、“多找多換 TA”、“備考初期自學(xué)，考前多交流”等。 而 對于糾結(jié)是否讀 博 的學(xué) 生，他專門寫過 一篇 “博士生存指南 ”萬字文 ， 從前期準(zhǔn)備、 導(dǎo)師選擇 、 研究課題、著述發(fā)表 、 學(xué)術(shù)演講 等諸多方面 ，分享了大量 的 指導(dǎo)思想和具體經(jīng)驗……
圖 片來源：Andrej Karpathy
如果你以為他只講深度學(xué)習(xí)，那就太小看人家了：
對于非本專業(yè)的內(nèi)容，他也會用自己的業(yè)余時間，做長期、系統(tǒng)性的研究和測試，然后寫成文章。比如他在 GitHub 賬號上曾經(jīng)寫過一篇“生物黑客”的文章，分享了自己在體育鍛煉、斷食、血液檢測、體能藥物、睡眠研究等方面做過的測試經(jīng)驗。
少為人知的是，Karpathy 還是一個專業(yè)的魔方老師……
在解魔方這件事上他有一個 alter ego，名叫 Badmephisto。他有 一個專門講授魔方知識的網(wǎng)站，做過一個教你如何解魔方的 app（iPhone & Android），還在 YouTube 上傳了大量 教學(xué)視頻，總共有900多萬觀看量……
老哥可真是上課上癮啊……
Karpathy 在谷歌實(shí)習(xí)期間內(nèi)部渠道搞到了一臺 Google Glass，錄制了這段在自行車上解魔方的視頻 動圖 來源：Andrej Karpathy
/ AI 大佬都愛講課 /
值得注意的是，不止 Karpathy，深度學(xué)習(xí)/AI 領(lǐng)域的大佬級別人物，都特別愛“講課”。
這么說確實(shí)有點(diǎn)廢話文學(xué)了……因為這些大佬當(dāng)中，很多人本身就在知名院校有著常規(guī)或終身教職，一部分進(jìn)入工業(yè)界的人士，之前也有很強(qiáng)學(xué)術(shù)和教學(xué)背景。但他們即使現(xiàn)在在工業(yè)界身居高位忙到不行，仍然對深度學(xué)習(xí)知識的傳播和普及充滿熱情。
比如 Karpathy 在多倫多大學(xué)的老師 Geoff Hinton 教授。他 是反向傳播等深度學(xué)習(xí)核心算法的發(fā)明人，深度學(xué)習(xí)領(lǐng)域的“三劍客”之一，圖靈獎獲得者。有這樣一種對于他的評價：當(dāng)其他人還在質(zhì)疑機(jī)器/深度學(xué)習(xí)的時候，Hinton 在多倫多一邊默默地教書，一邊持續(xù)著研究推進(jìn)，終于以一己之力復(fù)活了機(jī)器學(xué)習(xí)研究和行業(yè)，堪稱深度學(xué)習(xí)之父。
自從 創(chuàng)立的 DNNResearch 公司于2013年 被谷歌收購 ，Hinton 在 谷歌 一直有 職位 ，但實(shí)際上他的主要研究工作還是在 多倫 多 大 學(xué)的計算機(jī)科學(xué)系 。 雖然近年來他已經(jīng)不怎么講常規(guī)課程了，但他仍然會花很多時間和精力，指導(dǎo)學(xué)生研究和參與論文寫作。并且，他也參與錄制了一些深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)方面的免費(fèi)網(wǎng)課內(nèi)容。
截圖 來源：Coursera
“三劍客”的另外兩位成員 Yoshua Benjio 和 Yann LeCun，也有各自的教職。
Bengio 是蒙特利爾大學(xué)教授，也創(chuàng)辦了 Mila 人工智能研究所并擔(dān)任科學(xué)總監(jiān)。他至今仍在學(xué)校和 Mila 研究所帶領(lǐng)和指導(dǎo)著大量的研究生、博士生和博士后研究員。他經(jīng)常參加各種外部機(jī)構(gòu)的演講和授課邀請，之后的視頻也都會公開在網(wǎng)上。
LeCun 在 Meta 擔(dān)任副總裁兼首席AI科學(xué)家，還是紐約大學(xué)電氣和計算機(jī)工程系教授。他曾經(jīng)誠懇地表示過，自己可能沒有辦法及時查收和回復(fù)學(xué)校郵箱和電話留言。 不過， 至少去年他 還在紐約大學(xué)的 數(shù) 據(jù) 科學(xué) 中心 (NYU-CDS) 教深度學(xué)習(xí)的相關(guān)課程。另外因為疫情等原因， NYU-CDS 的所有由 LeCun 教授的深度學(xué)習(xí)課程， 在2020年也都 完全線上化并 免 費(fèi)公開了：
視線轉(zhuǎn)回國內(nèi)，前幾年離職回校教書的原騰訊 AI Lab 主任張潼，也是一個有趣的例子。 他是機(jī)器學(xué)習(xí)領(lǐng)域知名的國際專家，曾經(jīng)在美國大學(xué)拿到終身教職，在 IBM 研究院、雅虎研究院、百度 IDL 擔(dān)任研究和管理方面的高級別職位，還是 ICML 、NIPS 等 一系列國際頂級學(xué)術(shù)會議的主席或領(lǐng)域主席 。
然而可能是因為更享受教書和學(xué)術(shù)界的環(huán)境，張潼在2019年初離開了騰訊 AI Lab，來到了港科大數(shù)學(xué)系和計算機(jī)科學(xué)工程系，直接就拿到了專為特別杰出且成就非凡的學(xué)者才設(shè)立的講席教授 (chair professor) 資格。
當(dāng)然他也沒有完全離開業(yè)界，在港科大和創(chuàng)新工場之間牽線搭橋，幫助兩家機(jī)構(gòu)成立了聯(lián)合實(shí)驗室，專注于基礎(chǔ)科研。現(xiàn)在的他，在港科大做研究、帶學(xué)生，這一學(xué)期還教了 COMP6211E 和 MATH6450J 兩個和機(jī)器學(xué)習(xí)優(yōu)化相關(guān)的課程。
這些熱愛傳道授業(yè)解惑的頂尖學(xué)者讓我們看到：即便在高度商業(yè)化的今天，一項技術(shù)、一種知識，仍然可以通過教育這種古典的形式，加上“免費(fèi)網(wǎng)課”的創(chuàng)新手段，來完成更高效、更具公益性的普及。
這樣的大佬們，請多來點(diǎn)，不要停。
注：封面圖來自于斯坦福大學(xué)網(wǎng)站，版權(quán)屬于原作者。如果不同意使用，請盡快聯(lián)系我們，我們會立即刪除。
2）分享到你的朋友圈和群里
3）趕快關(guān)注硅星人吧！
關(guān)注硅星人，你就能了解硅谷 最新的科技進(jìn)展和灣區(qū)的大事小情，變身最in技術(shù)潮人