中文字幕亚洲欧美日韩在线不卡,亚洲欧美日产综合在线网性色,思思久久精品6一本打道,综合视频中文字幕

    <sub id="dxmnt"><ol id="dxmnt"></ol></sub>

      1. 算法周刊·專訪|業(yè)界AI大牛投身學術圈,周伯文:學術研究不僅僅停留在論文

        更新時間:2022-06-19 08:10:56作者:未知

        算法周刊·專訪|業(yè)界AI大牛投身學術圈,周伯文:學術研究不僅僅停留在論文


        5月30日,清華大學聘任周伯文博士為電子工程系長聘教授、清華大學惠妍講席教授的消息在業(yè)界引起注意。
        又一業(yè)界AI大牛投身學術圈,工業(yè)界AI人才轉投學界越來越普遍。電氣和電子工程師學會會士(IEEE Fellow)、前京東高級副總裁周伯文博士此次動向的特殊之處在于,更加強調產(chǎn)學研融合創(chuàng)新,從源頭上重視成果的產(chǎn)業(yè)化落地。
        據(jù)公開報道,周伯文此前還創(chuàng)立了銜遠科技。查閱銜遠科技網(wǎng)站,這是一家聚焦為蓬勃興起的萬億級產(chǎn)業(yè)數(shù)智化賽道打造領先的人工智能技術平臺與產(chǎn)品的科技公司。
        周伯文日前向澎湃新聞(www.thepaper.cn)講述加盟清華大學的初衷,探討工業(yè)界AI人才返流和對話型AI當下的三大局限,并為青年學生提出人工智能求學“干貨”。
        20多年來長期從事人工智能基礎理論和前沿技術研究,周伯文在語音和自然語言處理、語音機器翻譯、深度語義理解等領域取得突出成就,多篇論文被國際學者他引過千。
        他在接受澎湃新聞專訪時表示,過去幾十年自己一直在做同一件事情,就是在技術前沿拓展已有的知識、已有的能力、已有的模型并應用這些創(chuàng)新解決實際問題。過去的積累和沉淀也讓他決心在下一階段進一步探索、鞏固產(chǎn)業(yè)界與學術界融合創(chuàng)新的高校科研團隊,為真正做出學術意義、經(jīng)濟效益、社會價值三位一體的前沿成果而努力。
        “一方面,我們應該對過去幾年人工智能的進展感到鼓舞和激勵,另一方面,確實也提出了很多潛在問題。為什么我在這個時間點愿意回到高校做前沿研究,我認為前沿的研究還有很多問題沒有解決。尤其是近年來在工業(yè)界應用場景中遇到的許多‘硬骨頭’問題需要回到高校中,通過建立更緊密的產(chǎn)、研、學、試、用的協(xié)同工作機制來解決,”周伯文說,“清華大學是國內在協(xié)同創(chuàng)新方面最活躍、最具深遠洞察的高校,我在清華建立的科研團隊不僅致力于把產(chǎn)業(yè)界的核心難題拿回實驗室攻克,也要把學術界最精華的思考、實驗范式和前沿成果更好地產(chǎn)品化、方案化,這個團隊與已有模式最大的不同在于,我們最希望實現(xiàn)的是基礎研究與創(chuàng)新產(chǎn)品的循環(huán)促進,把技術研究和產(chǎn)業(yè)研發(fā)結合得更緊密、更有機?!?br/>周伯文已有的學術成果體現(xiàn)與工業(yè)界實際場景的緊密結合。他曾于2017年出任京東集團副總裁、京東人工智能事業(yè)部總裁、京東人工智能研究院創(chuàng)始院長,后來獲晉升為京東智聯(lián)云總裁(負責云計算、人工智能、物聯(lián)網(wǎng)及企業(yè)信息化等業(yè)務)、集團技術委員會主席、集團高級副總裁。
        在加入京東前擔任過IBM Research人工智能基礎研究院院長、IBM Watson Group首席科學家(Chief Scientist)、IBM 杰出工程師等職位,既負責IBM在人工智能和深度學習基礎研究方面的戰(zhàn)略規(guī)劃和研究,也深度參與人工智能技術的產(chǎn)品化與商業(yè)化。
        早在2003年,他研發(fā)了世界首個嵌入式大詞匯量雙向語音翻譯系統(tǒng),并成功推動其后續(xù)產(chǎn)品化并獲得成功市場應用。他曾帶領團隊開發(fā)IBM Watson Platform、 定義并推出京東NeuHub人工智能開放平臺,其核心技術廣泛應用于跨模態(tài)搜索、語音翻譯、智能客服、導購助手、內容生成、數(shù)字虛擬人等大規(guī)?;ヂ?lián)網(wǎng)應用,及智能供應鏈、AI質檢、智能產(chǎn)品設計、組織數(shù)智化協(xié)同等產(chǎn)業(yè)數(shù)智化應用。其中,2019年NeuHub被科技部授予智能供應鏈國家人工智能開放平臺,他和團隊也打造了數(shù)智化展會平臺,支撐了包括2020和2021年中國國際服務貿(mào)易會等在內多個重大活動的線上線下融合辦會。
        隨著人工智能戰(zhàn)略的深入實施,中國目前擁有許多能夠很好解決單一問題的人工智能企業(yè),也具備世界一流的單項人工智能技術?!凹訌娙斯ぶ悄墚a(chǎn)業(yè)鏈,就是將人工智能技術投入到實體經(jīng)濟方方面面的應用當中,其實現(xiàn)有賴于AI與實體產(chǎn)業(yè)的融合創(chuàng)新?!敝懿恼f,“今天,AI在實體產(chǎn)業(yè)中的大規(guī)模應用只是剛剛開始。學界和產(chǎn)業(yè)界正迎來‘黃金時代’?!?br/>工業(yè)界AI人才返流
        在中國,工業(yè)界AI人才“返流”,科技公司AI負責人轉投或重返學界越來越普遍。
        去年11月,復旦大學官宣螞蟻集團原首席AI科學家漆遠加盟復旦,出任“復旦-浩清”特聘教授、復旦人工智能創(chuàng)新與產(chǎn)業(yè)研究院院長。在加入阿里之前,漆遠已是美國普渡大學計算機系和統(tǒng)計學系終身副教授。
        去年8月,字節(jié)跳動AI Lab原總監(jiān)李磊宣布加入美國加利福尼亞大學圣塔芭芭拉分校。再早些時候,百度公司前總裁張亞勤2020年組建清華大學智能產(chǎn)業(yè)研究院,并任研究院院長、清華大學智能科學講席教授。
        字節(jié)跳動原副總裁兼人工智能實驗室主任、IEEE Fellow馬維英2020年加入清華大學智能產(chǎn)業(yè)研究院任首席科學家。2019年3月,香港科技大學和創(chuàng)新工場宣布成立計算機感知與智能控制聯(lián)合實驗室,出走騰訊AI Lab的張潼任聯(lián)合實驗室主任,目前張潼也在香港科技大學數(shù)學系任教。
        事實上,過去幾十年,國際上學術界和產(chǎn)業(yè)界人才互動一直是非常明顯的趨勢,也有非常多成功案例。
        周伯文在海外工作時,就有很多身邊的案例。回國前,他在IBM T. J. Watson研究中心工作了15年。“在中心里我一直有很多同事,他們在工業(yè)界做科研很長一段時間之后加入CMU、Yale、JHU、Columbia等高校?!?br/>“學術研究不僅僅停留在論文上,也有很多希望在產(chǎn)業(yè)上解決實際問題的研究者,他們同樣有很大的影響力。不管是從學術界去工業(yè)界,還是從工業(yè)界回到學術界,這取決于每個學者當前關注的、研究的問題。”
        周伯文表示,從全球來看,這種產(chǎn)學研結合不是近年來才有的新興事物,往往正是成功的產(chǎn)學研結合成果深刻地改變了我們的生活。將前沿理論變?yōu)閯潟r代的應用需要對技術、產(chǎn)品、市場都有深刻洞察,尤其是像人工智能這樣講究落地的學科,結合現(xiàn)實問題,進行更多探索性的學術研究是非常有必要的。
        產(chǎn)學研結合過程中,學術研究和產(chǎn)業(yè)化具有不同特性。學術研究的目的是探索新知,在具備廣闊視野的基礎上,必須聚焦才能深入,從文獻、綜述開始了解前人的工作需要大量的知識建構過程,然后研究者需要提出一個很具體的待開拓的研究方向,是一個從簡到繁的工作。
        而產(chǎn)業(yè)化則更傾向于解決問題,尤其是通過技術成果的創(chuàng)新應用解決有很多實際約束條件的問題,這里面很重要的一個工作是技術的產(chǎn)品化,即需要面向明確的使用者、具象化的場景做好符合技術成果能力邊界的產(chǎn)品設計,并在工程上做足測試、試驗和驗證,判斷是否能夠以合理成本規(guī)?;M行復制和應用,最后的目標才是產(chǎn)品的市場化及大規(guī)模交付。
        凡是能夠規(guī)模化、商業(yè)化成功的產(chǎn)品,其設計、開發(fā)、集成和生產(chǎn)過程都是十分精益的。所有的復雜度都隱藏在產(chǎn)品后面,留給用戶的是可靠、簡單、易用的體驗,由繁至簡?!八晕覀兛吹酱蠖鄶?shù)影響深遠的產(chǎn)學研成果的落地,都需要經(jīng)歷一個從簡到繁、從繁到簡的過程?!?br/>在實際工作中,工業(yè)界的研發(fā)更傾向于逆向的市場問題導向,以待解決的業(yè)務問題倒逼思考用何種產(chǎn)品,才能在可控成本和用戶體驗得到保證的情況下解決實際問題,接著圍繞產(chǎn)品尋找既可規(guī)?;挚筛咝Ы鉀Q問題的技術。
        更多時候,對市場問題的技術認知是一個過程。工業(yè)界的研發(fā)需要“對問題一層一層抽象”,“前面是市場需求與機會的洞察,后面則具象成技術、產(chǎn)品問題,所需要的技術邊界的突破最后歸納成學術研究的基礎問題?!?br/>周伯文認為,新型的產(chǎn)學研融合,不再僅僅是原有比較普遍的單鏈條地從學校、公司到市場的科研成果轉化,也需要從市場開始,對真正能夠提高國計民生、提高國家硬科技水平能力,同時能夠提高市場效率、提高企業(yè)競爭力、提高生活水平的重大問題形成認知,提煉抽象成學術問題的同時還要把這種問題抽象的能力更好地傳遞給學生和青年學者,建設工業(yè)界與學術界相互牽引,雙螺旋同步上升的良好生態(tài)。
        要做真問題
        2007年,蘋果手機iPhone誕生。比這更早的是,2003年,手持設備上大詞匯雙向語音翻譯系統(tǒng)就已經(jīng)出現(xiàn)了,不同語言的兩個人可以通過一個手持設備互相用語音實時對話。而這項技術背后的研發(fā)者就是當時還在IBM工作的周伯文。
        “當時最好的商用手持設備PDA,我記得只有32兆存儲,206兆赫茲的定點CPU,都沒有浮點計算能力,它的算力、存儲現(xiàn)在看都像恐龍一樣原始。而且語音識別也好,機器翻譯、語音合成也好,都是對算力、模型大小有很高的要求,而且為滿足用戶自由交流需要的詞匯量越大,需要的模型越大,計算越復雜。所以當時我一個人開始做這個項目的時候,大家都覺得挑戰(zhàn)非常大,近乎不可能?!?br/>在手持設備的大規(guī)模雙向語音翻譯系統(tǒng)出現(xiàn)之前,周伯文研發(fā)的前一個系統(tǒng)和其他同行的工作已經(jīng)證明,更大型的計算設備是可以實現(xiàn)實時翻譯的。
        但一個現(xiàn)實問題是,語音翻譯系統(tǒng)的使用者不可能隨時隨身攜帶笨重的大電腦,在本世紀初的通信條件、云計算遠遠沒有普及的年代這套系統(tǒng)也不可能隨時連接到服務器?!八院苊鞔_,只有把這個技術放在手持設備上落地才能真正給用戶帶來價值,解決在語言不通情況下的信息交流問題?!?br/>從學術研究的角度來看,語音翻譯系統(tǒng)技術已有研發(fā),“前一個項目已經(jīng)成功結束了,我也做出了我的貢獻,寫好的論文也發(fā)表了,本來我可以選擇去做下一個熱點的學術研究?!比绻侔褜氋F的科研時間花在一個手持語音翻譯系統(tǒng)的研究上,可以確定的是這一定需要做大量的優(yōu)化與工程工作,這些工作量巨大,但很難基于這些工作發(fā)表論文,而不可確定的是這個想法的可行性,因為以前沒有人做過。所以,很多人會覺得這是一個沒有那么迷人的項目。
        但當時的周伯文很堅定,“這東西是真正能帶來價值的事情。”
        “非常感謝,當時我在IBM的領導們也都很支持我去嘗試。所以我花了快一年的時間,基本上所有周末、晚上我都在實驗室寫代碼、調試硬件設備?!碑斈隂]有安卓也沒有iOS系統(tǒng),當時幾乎所有手持設備上使用的Windows CE作為人工智能系統(tǒng)的開發(fā)環(huán)境與操作系統(tǒng)都十分困難,“不方便做profiling,也很難debug。”
        周伯文不得不從最底層的操作系統(tǒng)來設計他的語音翻譯系統(tǒng),自己根據(jù)底層硬件,適配驅動程序,從頭開始編譯嵌入式Linux系統(tǒng),自己寫開發(fā)工具鏈,重新設計語音翻譯系統(tǒng)的架構和重寫代碼,更重要的是還得找到新算法?!霸瓉泶蠹易龅钠毡榧軜嬍瞧俨际降模聪茸稣Z音識別,再做機器翻譯,再做語音合成。但這樣的‘大道場’架構放在手持設備這樣的‘螺螄殼’里,第一速度太慢,第二內存不夠,第三語音識別的準確率會影響機器翻譯的準確率?!?br/>為此他提出了新的模型和新的架構來重構語音識別系統(tǒng),其中的一個創(chuàng)新是將語音識別和機器翻譯結合在一起聯(lián)合搜索,多項創(chuàng)新融合將語音翻譯在準確率不變的情況下速度提升了100多倍?!八缘?003年年底我們推出了這個系統(tǒng)之后,當時確實改變了很多人的思考方式。后來這個領域的研究和成果比賽,很多公司和高校如CMU都開始往手持設備上走?!被谄渫瞥龅谋銛y語音翻譯產(chǎn)品也在多個應用場景里獲得商業(yè)化的成功,后來這個工作的一部分發(fā)表在Proceeding of IEEE期刊關于語音翻譯領域進展的綜述文章里。
        回過頭來看,如果純粹是為了論文影響力的最大化,當年周伯文做這件事并不算一個“聰明”的舉動,在產(chǎn)品化方面花費的精力其實也可以用來撰寫更多的新論文。但他的選擇是堅持技術創(chuàng)新要為實際問題服務,選擇讓解決實際問題引導研究方向,這是當年泡在實驗室的價值所在。周伯文說,“要去解決用戶實際需要的問題?!?br/>對話型AI三大局限
        “我這幾十年一直做的都是同一件事情,就是如何在技術的前沿拓展我們已有的知識、已有的能力、已有的模型、系統(tǒng)、算法。我很慶幸,在學術上有一些自己獨特的建樹。”
        周伯文的研究方向涉及多模態(tài)(語言、語音與其他)與知識的表征、理解、交互與推理、可信賴人工智能的新方式等。他和合作者是最早提出自注意力加上多跳機制的研究者,這種新機制通過利用語言內部自帶的結構,通過多遍自注意力的方式讓深度神經(jīng)網(wǎng)絡學習詞與詞、句與句之間的依存關系,令計算機理解和表達自然語言的能力大幅提升,相關工作被包括Transformer在內的論文引用1800多次。他提出的兩個關于自然語言生成新模型結構,被AI生成領域分別引用1700余次和近1000次。
        不管是在IBM Watson、在京東主導智能客服,還是主持2030重大專項科研項目,他都在研究對話型AI。周伯文認為,對話型AI不僅僅是一種應用,更應該是AI學習的一種手段。
        就像人類之間對話一樣,一個好的AI對話系統(tǒng)不僅能幫助用戶,而且能夠讓AI學習得更快。“對話過程本身是非常好的學習手段,不要僅僅把對話型AI作為一個應用去研究,還要把它作為一種學習機制來研究,這是接下來對話型AI需要拓展的一個地方?!?br/>自然語言處理(NLP)的一個新分支Prompt AI,也就是提示型AI,它是研究者們?yōu)榱讼掠稳蝿赵O計出來的一種輸入形式或模板,能夠幫助預訓練語言模型“回憶”起自己在預訓練時“學習”到的東西。prompt給預訓練模型提示,預訓練模型一“看到”它就知道自己要完成什么任務。
        “Prompt AI是一種很簡單的以對話型AI作為學習手段的方法,這已經(jīng)開始引起了很多人的注意。但從長遠來看,如何讓對話成為AI的學習手段,這是非常重要的研究課題?!?br/>在語言理解和人機對話領域最令人印象深刻的就是人們見證了超大規(guī)模預訓練語言模型的出現(xiàn)。對話型AI目前進展很大,一個重要原因就是大訓練模型使得AI在預訓練中“見過”大部分上下文,因此能夠更好地根據(jù)上下文預測接下來應該說什么。
        但目前對話型AI仍有三大局限。周伯文認為,一是底層機制沒有改變,AI系統(tǒng)缺乏常識,缺乏對世界的認知模型和對演繹機理的理解?!叭伺c人之間的對話,顯式表達的內容只是整個對話的一部分,對話中隱含的另外一部分是關于你和我對這個世界共同的理解。”
        “比如在對話中我們都知道‘清華大學’、‘人工智能’、‘IBM’這些概念及其背后的含義……但是在AI對話中,我們沒有好的模型去融合這些沒在對話內容里呈現(xiàn)的常識對理解與預測對話的作用。這是一個巨大的問題?!?br/>周伯文提出,要構建場景驅動的知識表征機制,在每輪對話中,以輪次對話內容為核心,實時構建對話相應的外延?!皩υ捴猩婕暗交蛘邲]涉及到的實體,把它們的關系、邏輯構建出來,用知識的結構化、可微分求導表征作為對話模型的一部分?!边@也是他目前的工作方向之一。
        其次,對話型AI缺乏實時的推理歸納能力,這是因為當前的大模型訓練只是根據(jù)大量數(shù)據(jù)出現(xiàn)的上下文做了模型化提取,缺乏可解釋性的邏輯關系推理。
        第三個局限在于,對話型AI缺乏駕馭對話的能力。人與人之間的對話是動態(tài)的,在對話過程中會評估對話有效性、對話參與人的感受、距離目的達成的差距,從而調整對話。而對話型AI“要不就是極易收斂,沒有拓展對話外延;要不就是對話被對方牽引著”。也就是通常表現(xiàn)為不具備開放式的對話能力,對話范圍窄,無法主動高效地引導話題。如果在復雜的任務導向型對話中,對話型AI缺乏對話策略的自學習和更多博弈論的研究。
        雖然過去幾年進展巨大,但目前對話型AI的缺陷也很明顯,同時這也蘊藏著巨大的學術研究機會?!拔覀€人對這個領域非常興奮。”
        好的AI一定是接地氣的
        談到轉身學界,周伯文說,自己的另一個重要驅動力和未來工作重點就是培養(yǎng)復合型人工智能人才。
        國內高校近年掀起設立人工智能學科的熱潮。自2019年3月全國35所高校獲首批人工智能新專業(yè)建設資格后,人工智能已連續(xù)3年成“爆款”。
        教育部日前公布的2021年度普通高等學校本科專業(yè)備案和審批結果顯示,95所高校新增備案人工智能本科專業(yè),其中包括北京大學、同濟大學、中南財經(jīng)政法大學、西南大學等。
        “我個人認為,隨著我們國家高水平的年輕人越來越多,不管是學習能力、學術能力還是研究能力都會很強,人工智能人才短缺問題一定能得到很好緩解,我也相信我們一定會出很多原創(chuàng)性的科研成果。”
        人工智能是解決實際問題的學科,不僅需要前沿的技術研究,更重要的是落地實際產(chǎn)業(yè)問題才能創(chuàng)造價值。DeepMind用人工智能程序AlphaFold2在蛋白質結構預測上大顯身手后,又利用人工智能控制核聚變,而核聚變能也是全世界能源發(fā)展的前沿方向。
        要讓研究在真實的行業(yè)場景里扎扎實實解決問題。 “正如今年4月清華大學電子工程系成立70周年紀念大會所倡導‘讓研究成果在學術上上書架,在產(chǎn)業(yè)上上貨架’?!敝懿恼f,這些理念的提出非常激動人心,“真正產(chǎn)生創(chuàng)造性影響的人工智能就是需要這樣‘頂天立地’的?!?br/>周伯文表示,因此人工智能需要復合型人才,當前人工智能教育特別要重視培養(yǎng)有真問題導向、產(chǎn)業(yè)視角、能將人工智能和行業(yè)良好結合的人才。
        這類人才需要具備抽象能力,將實際場景抽象成有學術品位的前沿問題。在解決問題的過程中能拓展學術前沿的新認知,完成拓展后對產(chǎn)業(yè)的轉化能夠水到渠成。
        “我們需要更多鼓勵學界和業(yè)界的雙向聯(lián)動,鼓勵更多學術界的老師和學生能幫助產(chǎn)業(yè)界落地更好的技術方法,同時也鼓勵更多產(chǎn)業(yè)界的同仁們帶給學校更多真問題?!?br/>對于復合型人工智能人才的培養(yǎng),周伯文建議,一是學生要有學術追求并同時關注實際應用。“好的AI一定是接地氣的,所以也希望學生們盡早接地氣,不要純粹以論文為導向?!?br/>其次,對學生而言,學好人工智能必須打好扎實基礎,從本科學習階段開始掌握概率統(tǒng)計、隨機過程、線性代數(shù)、微積分、圖論以及編程能力、計算機體系結構等工程能力。
        “我建議優(yōu)秀的本科生可以在打好數(shù)理與專業(yè)基礎之余進入實驗室,學習科學研究的方法論和嘗試解決一些問題?!敝懿奶岢?,在導師指導下開展研究和應用,培養(yǎng)興趣與好奇心,特別是學習如何提出好問題。
        此外,隨著人工智能研究的深入,機器學習、數(shù)據(jù)挖掘、自然語言處理、計算機視覺等人工智能子領域之間的壁壘就越低。“20年前做人工智能,做視覺的基本上不了解自然語言處理在做什么,做自然語言處理的不了解語音識別在做什么。”因此當下在研究生階段要盡早融會貫通,形成對不同學科的見解,交叉融合創(chuàng)新。

        本文標簽: 周伯文  學術  人工智能  論文  翻譯