科技改變生活 · 科技引領(lǐng)未來
科技改變生活 · 科技引領(lǐng)未來
【新智元導(dǎo)讀】GPT-3長大了，會(huì)說風(fēng)涼話了，最近還為馬斯克做了一首詩，詩中懟起馬斯克的言行毫不含糊。有馬斯克這個(gè)「宇宙網(wǎng)紅」在的地方總有口水和笑料。最近，以他的形象為靈感來源，AI把他徹徹底底地諷刺了一通。據(jù)《經(jīng)濟(jì)學(xué)人》報(bào)道，總部位于舊金
【新智元導(dǎo)讀】GPT-3長大了，會(huì)說風(fēng)涼話了，最近還為馬斯克做了一首詩，詩中懟起馬斯克的言行毫不含糊。
有馬斯克這個(gè)「宇宙網(wǎng)紅」在的地方總有口水和笑料。
最近，以他的形象為靈感來源，AI把他徹徹底底地諷刺了一通。
據(jù)《經(jīng)濟(jì)學(xué)人》報(bào)道，總部位于舊金山的 OpenAI 在7月中旬向藝術(shù)家 Arram Sabeti 等人提供了 GPT-3語言的早期版本，測試他的性能。
Sabeti 使用這個(gè)算法生成了這首詩，題目叫做「Elon Musk by Dr. Seuss」，
詩中寫道：
證券交易委員會(huì)說: 「馬斯克，你的推特是個(gè)污點(diǎn)。如果你晚上不停止發(fā)個(gè)沒完，真的會(huì)讓你丟掉飯碗/... 」
馬斯克喊道，「為什么？/我寫的推文不刻薄/我沒全用大寫/我的推文干干凈凈，無懈可擊。」
「但是你的推特可以影響市場/這就是為什么我們很惱火。你可能是個(gè)天才/也是個(gè)億萬富翁，但這不意味著你可以這么無聊! 」
感覺不押韻？讀讀英文原版你再試試？好像rap的節(jié)奏已經(jīng)躍然紙上...
The sec said, Musk,/your tweets are a blight./They really could cost you your job,/if you don’t stop/all this tweeting at night./…
Then Musk cried, Why?/The tweets I wrote are not mean,/I don’t use all-caps/and I’m sure that my tweets are clean./
But your tweets can move markets/and that’s why we’re sore./You may be a genius/and a billionaire,/but that doesn’t give you the right to be a bore!
說起馬斯克和Open AI其實(shí)頗有淵源，只是最近他的關(guān)注重心都在特斯拉和SpaceX身上。
2015年，馬斯克與幾個(gè)企業(yè)家共同創(chuàng)立了 OpenAI，其中包括前 Y Combinator 總裁Sam Altman。馬斯克去年2月表示，他已經(jīng)有一年多沒有與 OpenAI「密切合作」了。他還說他「不同意 OpenAI 團(tuán)隊(duì)的一些想法。」
看來GPT-3對(duì)這個(gè)前老板很是不滿啊。
GPT-3長大了，都會(huì)說風(fēng)涼話了。
「你讀的越多，你知道的東西就越多。」這句話似乎既適用于機(jī)器，也適用于蹣跚學(xué)步的孩子。
孩童對(duì)事物的理解來源于對(duì)現(xiàn)實(shí)世界和大人話語的模仿。模仿是語言習(xí)得最重要的方式之一。模仿不僅僅是針對(duì)字詞本身，更是對(duì)風(fēng)格的模仿。
諷刺馬斯克發(fā)推的這首詩，就來自于藝術(shù)家Adam Sabeti的測試。當(dāng)然不是所有的情況都是一把成，有些任務(wù)他反復(fù)試了幾次，然后選了最好的一版。「我通常不需要費(fèi)什么功夫就可以讓他在一個(gè)簡單的提示下寫出令人驚訝的連貫的文本。」
成果相當(dāng)驚人，包括劇本和歌詞在內(nèi)生成的作品竟然頗具文學(xué)欣賞價(jià)值。
下面是一部黑色電影劇本，由Raymond Chandler（著名推理小說家）執(zhí)導(dǎo)的，關(guān)于巫師少年哈利 · 波特的故事:
哈利 ·波特，《私家偵探》。
場景: 一個(gè)昏暗的小辦公室，清晨，救世軍的家具。有種令人骯臟的氣氛。哈利 · 波特，穿著破爛的斜紋軟呢西裝，沒熨過的襯衫，沒有擦亮的鞋子，坐在桌子后面，看上去非常憔悴、有些皺巴巴的，一副內(nèi)心充滿怨恨的樣子。
在辦公室的一角，一片七零八落的陰影在外面的狂風(fēng)中嘎嘎作響。哈利把一根長長的食指放在一把38手槍的槍托上，看著面前的一張照片。這張照片里面是一位身穿晚禮服的金發(fā)美女。她一手拿著雞尾酒，一手沉思地看著另一只手里的香煙。她的面頰上掛著一滴眼淚。哈利看了她好一會(huì)兒，嘆了口氣，然后放下槍站了起來。
他整理好衣服，撓撓頭，然后好像下定決心似地轉(zhuǎn)過身，拿起手槍，離開了辦公室。他穿過前面的房間，從臟兮兮的窗戶往外看。一位老婦人正在用拖把清洗外面的人行道。一個(gè)穿著灰色雙排扣西裝的年輕人靠在大樓上。哈利又嘆了口氣，走出了門。他走向那個(gè)年輕人，粗魯?shù)亟o了他下巴一拳。
是不是有內(nèi)味兒了？一個(gè)成年暗黑版的哈利波特躍然紙上。
再來看看GPT-3寫的霉霉版「哈利波特之歌」
哈利他戴著眼鏡
一雙明亮的綠眼睛
女孩子們總是不停尖叫
因?yàn)樗胁ㄌ氐男惆l(fā)
即使在他超級(jí)緊張的時(shí)候
他仍然有著那「超音速」的顴骨
我不驚訝他們?yōu)槟闩牧艘徊侩娪?/p>
因?yàn)槲译S時(shí)都想看到你
是的，哈利，寶貝，你是我最喜歡的角色
我要走一千英里
就為能見到你
哈利，哈利，你真好
我為你身心顫動(dòng)
每當(dāng)你微微一笑
我很樂意做你的女朋友
歌詞真的霉霉「本霉」了。
當(dāng)然也有很多生成的產(chǎn)物只是表層信息的模仿，并沒有真正地理解。又回到了當(dāng)時(shí)抨擊GPT-3無法理解人類話語的例子，「太陽有幾只眼睛？」GPT-3回答「有一只」，而沒有意識(shí)到這個(gè)問題的荒謬本質(zhì)。
其實(shí)舉一個(gè)不太恰當(dāng)?shù)睦樱帽日憬「呖紳M分作文，堆砌了全部的華麗辭藻和高級(jí)詞匯，但是卻有些「冷僻難懂」，詞匯包括沒幾個(gè)大人能認(rèn)識(shí)的「嚆」、「翮」、「嚆矢」、「濫觴」、「振翮」幾個(gè)生詞。評(píng)論紛紛稱有故弄玄虛之嫌。然而仔細(xì)想來，18歲的少年，可能不會(huì)深刻知曉什么萬物至理，無外乎是從書籍和閱讀中習(xí)得，才寫得一手好文章。
三聯(lián)撰文寫道，「浙江高考滿分作文，別用文學(xué)的標(biāo)準(zhǔn)苛求它」同樣地，GPT-3的文章也不要用人類理解能力的標(biāo)準(zhǔn)來苛責(zé)。
與此同時(shí)，GPT-3學(xué)習(xí)的過程，就和讓孩童咿呀學(xué)語的過程一樣，也要規(guī)避一定的風(fēng)險(xiǎn)性。比如說，不應(yīng)該讓孩子們看到不該看的東西，GPT-3也一樣。
互聯(lián)網(wǎng)上的信息林林總總，當(dāng)中肯定有大量「少兒不宜」的信息，Open AI是不希望GPT-3隨意習(xí)得的。比如「黑人」、「猶太人」、「女人」和「gay」等提示語往往連帶著產(chǎn)生種族主義、反猶太主義、厭女癥和恐同等的內(nèi)容。這也是由于GPT-3基于統(tǒng)計(jì)方法的認(rèn)知過程，及其根本性的理解缺失。研究指出，像「女人」這樣的詞經(jīng)常與歧視女性的內(nèi)容聯(lián)系在一起，而且很多時(shí)候這種聯(lián)系會(huì)在文本中不經(jīng)意間重新出來。
這同時(shí)也是人工智能研究中的一個(gè)熱點(diǎn)問題。例如，眾所周知，很多面部識(shí)別系統(tǒng)對(duì)白人面孔的識(shí)別效果要好于對(duì)黑人面孔的識(shí)別，因?yàn)榘兹嗣婵自谒麄兊挠?xùn)練集中更為常見。去年，IBM 發(fā)布了一組訓(xùn)練圖片，其中包含了更多樣化的人臉組合。
Open AI本身就是為了研究如何減輕人工智能系統(tǒng)帶來的風(fēng)險(xiǎn)而成立的，這使得GPT-3可能引發(fā)的失誤更加值得人們注意。它的前身GPT-2于2019年發(fā)布過一個(gè)過濾器，通過限制模型談?wù)撁舾性掝}的能力，試圖掩蓋偏見的問題。
GPT的初代版本其實(shí)早在2018年就已經(jīng)問世了，當(dāng)時(shí)包含1.17 億個(gè)參數(shù)。
用業(yè)界專家的話說，「應(yīng)試成績還不錯(cuò)，但是對(duì)于很多科目都需要監(jiān)督式學(xué)習(xí)，東家 OpenAI 對(duì)此并不滿意，成績也沒有在業(yè)界引起特別的反響。」
正是GPT-1 開創(chuàng)了「先預(yù)訓(xùn)練、后微調(diào)」的教學(xué)先河。
2019年，第二代已經(jīng)初具自由寫作的能力，驚艷世人；如今第三代的表現(xiàn)更是震驚四座。
而且，大熱的GPT-3將成為OpenAI的第一個(gè)商業(yè)產(chǎn)品，Reddit也已經(jīng)注冊(cè)成為第一個(gè)客戶。
遙想在五年前，OpenAI還是個(gè)非營利組織呢！
OpenAI由Elon Musk、Sam Altman、Ilya Sutskever、Greg Brockman、Wojciech Zaremba和John Schulman共同創(chuàng)立，他們共同捐贈(zèng)了10億美元。
2018年，OpenAI通過博客宣布，馬斯克將離開董事會(huì)，但仍將擔(dān)任顧問和捐贈(zèng)者。
當(dāng)時(shí)很多人猜測，馬斯克離開OpenAI的真正原因是利益沖突。知情人士表示，「我認(rèn)為他離開的主要原因是利益沖突他挖走了OpenAI的頂級(jí)科學(xué)家Andrej Kaparthy，讓他成為特斯拉的自動(dòng)駕駛部門的負(fù)責(zé)人。」
不過呢，馬斯克也似乎把OpenAI的「初心」帶走了。他離開后，OpenAI開始「大轉(zhuǎn)型」，從非營利組織變?yōu)闋I利性組織 。
一年后，擔(dān)任SpaceX和特斯拉首席執(zhí)行官的馬斯克在推特上證實(shí)，他在一年多的時(shí)間里沒有「密切」參與OpenAI。
不過馬斯克似乎沒趕上好時(shí)候。就在他走后不久，也就是在2019年，OpenAI開始盈利，并從微軟公司又籌集了10億美元來資助其研究。這是總部位于舊金山的研究實(shí)驗(yàn)室從其AI模型中獲利的第一步。
用GPT-3開始盈利似乎也合乎常理，畢竟訓(xùn)練他可是花了460萬美元！
經(jīng)濟(jì)學(xué)人的文章認(rèn)為，不久之后，GPT-3很可能會(huì)被一個(gè)更加復(fù)雜和數(shù)據(jù)饑渴的模型所取代。
有人對(duì)GPT的未來進(jìn)行了描繪。「GPT-4 將會(huì)比人類寫得更好，而且，當(dāng)它對(duì)自己的答案不確定時(shí)，還可以進(jìn)行研究。」GPT-4作為進(jìn)階版，將更有鉆研精神。
此前Open AI的論文中曾經(jīng)提到，自2012年以來，要訓(xùn)練一個(gè)人工智能模型在基準(zhǔn)測試ImageNet圖像分類任務(wù)中達(dá)到同等的分類效果，所需的算力每16個(gè)月就會(huì)減少1/2。算法演進(jìn)速度吊打摩爾定律。
也就是說，在過去的7年內(nèi)，訓(xùn)練神經(jīng)網(wǎng)絡(luò)的效率每16個(gè)月就會(huì)翻一番。照這個(gè)速度，新一代的GPT或許會(huì)cheap&good！
MIT研究員Lex Fridman預(yù)測，訓(xùn)練GPT-4預(yù)計(jì)會(huì)花費(fèi)26億美元。2024年，訓(xùn)練GPT-4只需要花費(fèi)4000萬美元，到2032年，估計(jì)只需要花費(fèi)500萬美元。
看來之后，Open AI這筆生意還挺劃算...
劉熙