中文字幕亚洲欧美日韩在线不卡,亚洲欧美日产综合在线网性色,思思久久精品6一本打道,综合视频中文字幕

    <sub id="dxmnt"><ol id="dxmnt"></ol></sub>

      1. 谷歌AI看不懂網(wǎng)友評(píng)論,會(huì)錯(cuò)意高達(dá)30%,網(wǎng)友:你不懂我的梗

        更新時(shí)間:2022-07-18 16:20:55作者:未知

        谷歌AI看不懂網(wǎng)友評(píng)論,會(huì)錯(cuò)意高達(dá)30%,網(wǎng)友:你不懂我的梗

        Pine 發(fā)自 凹非寺
        量子位 | 公眾號(hào) QbitAI

        給你兩句話,來(lái)品一下它們所蘊(yùn)含的情感:

        “我真的會(huì)謝?!?/p>

        “聽我說謝謝你,因?yàn)橛心?,溫暖了四季······?/p>



        或許你會(huì)說,這很簡(jiǎn)單啊,不就是最近經(jīng)常被玩的梗嗎?

        但如果問問長(zhǎng)輩,他們可能就是一副“地鐵老人看手機(jī)”的模樣了。

        不過與流行文化之間有代溝這事,可不僅限于長(zhǎng)輩們,還有AI。

        這不,一位博主最近就po出了一篇分析谷歌數(shù)據(jù)集的文章,發(fā)現(xiàn)它對(duì)Reddit評(píng)論的情緒判別中,錯(cuò)誤率竟高達(dá)30%。



        就比如這個(gè)例子:

        谷歌數(shù)據(jù)集把它判斷為“生氣”。

        還有下面這條評(píng)論:

        谷歌數(shù)據(jù)集將其判別為“困惑”。



        網(wǎng)友直呼:你不懂我的梗。

        人工智能秒變?nèi)斯ぶ钦?,這么離譜的錯(cuò)誤它是怎么犯的?

        斷章取義它最“拿手”

        這就得從他判別的方式入手了。

        谷歌數(shù)據(jù)集在給評(píng)論貼標(biāo)簽時(shí),是把文字單拎出來(lái)判斷的。

        我們可以看看下面這張圖,谷歌數(shù)據(jù)集都把文字中的情緒錯(cuò)誤地判斷為憤怒。



        不如我們由此來(lái)推測(cè)一下谷歌數(shù)據(jù)集判別錯(cuò)誤的原因,就拿上面的例子來(lái)說,這四條評(píng)論中均有一些“臟話”。

        谷歌數(shù)據(jù)集把這些“臟話”拿來(lái)作為判斷的依據(jù),但如果仔細(xì)讀完整個(gè)評(píng)論,就會(huì)發(fā)現(xiàn)這個(gè)所謂的“依據(jù)”只是用來(lái)增強(qiáng)整個(gè)句子的語(yǔ)氣,并沒有實(shí)際的意義。

        網(wǎng)友們的發(fā)表的評(píng)論往往都不是孤立存在的,它所跟的帖子、發(fā)布的平臺(tái)等因素都可能導(dǎo)致整個(gè)語(yǔ)義發(fā)生變化。

        比如單看這條評(píng)論:

        單單依靠這個(gè)很難判斷其中的情緒元素。但如果知道他是來(lái)自一個(gè)肌肉網(wǎng)站的評(píng)論,或許就不難猜出了,(他只是想稱贊一下這個(gè)人的肌肉)。



        忽略評(píng)論的帖子本身,或者將其中某個(gè)情感色彩強(qiáng)烈的詞語(yǔ)單拎出來(lái)判斷其情緒元素都是不合理的。

        一個(gè)句子并不是孤立存在的,它有其特定的語(yǔ)境,其含義也會(huì)隨著語(yǔ)境的變化而變化。

        將評(píng)論放入完整的語(yǔ)境中去判斷其情緒色彩,或許會(huì)大大提升判別的準(zhǔn)確率。

        但造成30%這么高的失誤率可不僅僅只是“斷章取義”,其中還有更深層次的原因。

        “我們的梗AI不懂”

        除了語(yǔ)境會(huì)干擾數(shù)據(jù)集判別之外,文化背景也是一個(gè)非常重要的因素。

        大到國(guó)家地區(qū),小到網(wǎng)站社群都會(huì)有其內(nèi)部專屬的文化符號(hào),這種文化符號(hào)圈層之外的人很難解讀,這就造成了一個(gè)棘手的問題:

        若想更準(zhǔn)確地判斷某一社區(qū)評(píng)論的情緒,就得針對(duì)性地對(duì)其社區(qū)進(jìn)行一些數(shù)據(jù)訓(xùn)練,深入了解整個(gè)社區(qū)的文化基因。

        在Reddit網(wǎng)站上,網(wǎng)友評(píng)論指出“所有的評(píng)分者都是以英語(yǔ)為母語(yǔ)的印度人”。



        這就導(dǎo)致會(huì)對(duì)一些很常見的習(xí)語(yǔ)、語(yǔ)氣詞及一些特定的“梗”造成誤解。

        說了這么多,數(shù)據(jù)集判別失誤率這么高的原因也就顯而易見了。

        但與此同時(shí),提高AI判別情緒的精確度也有了清晰的方向。

        例如博主也在這篇文章中就給出了幾條建議:

        首先,在對(duì)評(píng)論貼標(biāo)簽時(shí),得對(duì)他所處的文化背景有深刻地理解。以Reddit為例,要判斷其評(píng)論的情緒色彩,要對(duì)美國(guó)的一些文化、政治理解透徹,并且還要能夠迅速get到專屬網(wǎng)站的“梗”;

        其次,要測(cè)試標(biāo)簽對(duì)一些諷刺、習(xí)語(yǔ)、梗的判別是否正確,確保模型能夠整整理解文本的意思;

        最后,核查模型判斷與我們真實(shí)判別,以做出反饋,更好地訓(xùn)練模型。

        One More Thing

        AI大牛吳恩達(dá)曾發(fā)起過一項(xiàng)以數(shù)據(jù)為中心的人工智能運(yùn)動(dòng)。



        將人工智能從業(yè)者的重點(diǎn)從模型/算法開發(fā)轉(zhuǎn)移到他們用于訓(xùn)練模型的數(shù)據(jù)質(zhì)量上。吳恩達(dá)曾說:

        用于訓(xùn)練數(shù)據(jù)的好壞對(duì)于一個(gè)模型也至關(guān)重要,在新興的以數(shù)據(jù)為中心的 AI 方法中,數(shù)據(jù)的一致性至關(guān)重要。為了獲得正確的結(jié)果,需要固定模型或代碼并迭代地提高數(shù)據(jù)質(zhì)量。

        最后,你覺得在提高語(yǔ)言AI判別情緒這件事上,還有什么方法呢?

        歡迎在留言區(qū)討論~

        參考鏈接:
        [1]https://www.reddit.com/r/MachineLearning/comments/vye69k/30_of_googles_reddit_emotions_dataset_is/
        [2]https://www.surgehq.ai/blog/30-percent-of-googles-reddit-emotions-dataset-is-mislabeled
        [3]https://mitsloan.mit.edu/ideas-made-to-matter/why-its-time-data-centric-artificial-intelligence

        本文標(biāo)簽: 谷歌  你不懂  吳恩達(dá)  ai  語(yǔ)境