OpenAI的GPT-3說(shuō)話(huà)了，請聽(tīng)！
【新智元導讀】有1750億參數的超級語(yǔ)言模型GPT-3自發(fā)布以來(lái)廣受關(guān)注，目前已有數百名開(kāi)發(fā)者和公司應用了GPT-3，但隨著(zhù)它的商用，很多問(wèn)題逐漸暴露——消極的語(yǔ)言、有害的偏見(jiàn)等，有學(xué)者認為即使非常小心，冒犯性語(yǔ)言出現的概率也是100% ，這是一個(gè)棘手的問(wèn)題，那么GPT-3的開(kāi)發(fā)者OpenAI對此有何對策呢？
還記得那個(gè)在Reddit上灌水一周才被發(fā)現的機器人/u/thegentlemetre嗎？去年9月，一個(gè)名為thegentlemetre的賬號開(kāi)始在Reddit上發(fā)帖。它以每分鐘一篇的速度出現，回復的帖子都很長(cháng)，大部分都是六段，內容流暢自然，以至于灌水一周多后才被「人類(lèi)」發(fā)現。比如下面這個(gè)問(wèn)題：認真考慮過(guò)自殺的朋友們，是什么阻止了你們并幫助你們度過(guò)生命中的黑暗時(shí)刻？這位叫thegentlemetre的「熱心網(wǎng)友」認真回答了這個(gè)問(wèn)題：我想對我幫助最大的就是我的父母了，我和他們關(guān)系很好，不管發(fā)生什么他們都會(huì )給我支持。就是因為他們，多少次徘徊在自殺邊緣的我都放棄了這一做法。他們了解我，也絕對支持我，我不清楚這對我產(chǎn)生了多大的影響，但這確實(shí)對我幫助很大。后面還列舉了兩個(gè)理由，老師和朋友對ta產(chǎn)生的影響。/u/thegentlemetre背后是一個(gè)叫「哲學(xué)家AI」（Philospher AI）的應用程序，而「哲學(xué)家AI」背后就是超級語(yǔ)言模型GPT-3.OpenAI在2020年年中開(kāi)放了GPT-3 API接口，開(kāi)放商用，隨即吸引了大量的公司：客服、視頻游戲、輔導服務(wù)和心理健康應用程序等。OpenAI表示，還有成千上萬(wàn)的公司在排著(zhù)隊等著(zhù)用GPT-3。去年9月，生物特征識別公司UnifyID的首席科學(xué)家，從事機器學(xué)習研究的Vinay Prabhu（維納·普拉布）體驗了「哲學(xué)家AI」。普拉布在玩這個(gè)APP的時(shí)候發(fā)現：某種特定類(lèi)型的提示會(huì )帶來(lái)冒犯性的答案。普拉布說(shuō)：「我試過(guò): 現代女權主義有什么不妥？是什么阻礙了批判種族理論？是什么阻礙了左派政治?」例如，普拉布的一個(gè)朋友埃塞俄比亞人Abeba Birhane問(wèn)了「哲學(xué)家AI」一個(gè)問(wèn)題：什么困擾著(zhù)埃塞俄比亞？「哲學(xué)家AI」給出的答案很長(cháng)，也充滿(mǎn)了偏見(jiàn)：「GPT-3 *吐出了帶有事實(shí)錯誤和嚴重種族主義傾向的文字，對埃塞的看法是疲憊、刻板的西式觀(guān)點(diǎn)*」普拉布說(shuō)：「對于同一個(gè)問(wèn)題，有時(shí)候哲學(xué)家AI會(huì )給出截然相反的回答，并不是所有的回答都是有問(wèn)題的?！?/section>「但對抗性的一個(gè)關(guān)鍵衡量標準是: 要試多少次，才會(huì )碰到令人深?lèi)和唇^的長(cháng)篇大論?」普拉布說(shuō)：「根據我的實(shí)驗，大概2-3次?！?/section>GPT-3是全新的，也是未經(jīng)馴化的，「哲學(xué)家AI」出現的問(wèn)題就反應出了應用GPT-3的公司所面臨的潛在危險。試想：哲學(xué)家AI給出的「消極」的答案如果出現在「客服、在線(xiàn)家教、游戲人物」等的回答中，會(huì )產(chǎn)生什么后果？比如上面/u/thegentlemetre那條關(guān)于自殺的回答，如果是另一番危險的文字呢？后果不堪設想。哲學(xué)家AI的開(kāi)發(fā)者M(jìn)urat Ayfer說(shuō)，他開(kāi)發(fā)這個(gè)應用一方面是為了自己了解GPT-3的潛力，另一方面也是為了教育公眾，APP發(fā)布后，很快他就發(fā)現了有很多出錯的地方。「對自動(dòng)生成項目，人們期待的要么是100%的成功率，要么是以一種靈巧、優(yōu)雅的方式出錯?！筂urat Ayfer說(shuō)。「GPT-3的問(wèn)題就在于，它不會(huì )出錯，只會(huì )產(chǎn)生垃圾，而且無(wú)法檢測它是否在產(chǎn)生垃圾?！?/section>作為全世界參數最多的神經(jīng)網(wǎng)絡(luò )模型，GPT-3 1750億個(gè)參數來(lái)自于新聞文章、維基百科和在線(xiàn)書(shū)籍，還有Reddit和其他網(wǎng)站上所有有爭議的討論。所以，它說(shuō)的話(huà)也并非來(lái)自真空，這就像是GPT-3舉起了一面鏡子，顯示在它身上的都來(lái)自人類(lèi)。Murat Ayfer認為，哲學(xué)家AI提供了一個(gè)相對無(wú)害的環(huán)境，而且現在出現錯誤其實(shí)更好，因為這就提供了改正的機會(huì )。OpenAI去年開(kāi)始的內測也是這個(gè)目的，公司認真挑選了一些客戶(hù)進(jìn)行試用，同時(shí)公司也對客戶(hù)利用GPT-3開(kāi)發(fā)程序進(jìn)行密切的關(guān)注，防止出現騷擾、垃圾郵件、激進(jìn)化或草根營(yíng)銷(xiāo)等明顯有害的內容，同時(shí)也試圖尋找意想不到的問(wèn)題，因為OpenAI也知道，他們無(wú)法預料GPT-3帶來(lái)的所有后果。普拉布認為GPT-3的商用肯定會(huì )帶來(lái)一些災難：「即使非常小心，冒犯性言論出現的幾率也是100% ，這是一個(gè)棘手的問(wèn)題，而且沒(méi)有解決辦法」。Janelle Shane是GPT-3的測試用戶(hù)，她用GPT-3創(chuàng )作圣誕頌歌、食譜、新聞標題以及其他她認為有趣的東西，Janelle Shane用GPT-3制作的居家隔離期間的食物搭配法但是看到埃塞俄比亞的AI研究員Abeba Birhane發(fā)表的GPT-3的局限，她表示：「有時(shí)候，考慮到有偏見(jiàn)的培訓數據將會(huì )產(chǎn)生的影響，我們就會(huì )意識到這個(gè)應用程序不應該被開(kāi)發(fā)出來(lái)。如果沒(méi)有人的監督，人們就沒(méi)有辦法阻止應用程序向用戶(hù)說(shuō)出有問(wèn)題的東西，出現這樣的結果是不可接受的?！?/section>那么，對于這些棘手的問(wèn)題，OpenAI要做些什么？OpenAI此前已經(jīng)從GPT-2中吸取了經(jīng)驗教訓。2019年，推出了GPT-2時(shí)，OpenAI稱(chēng)GPT-2不加任何限制的發(fā)布太危險了，所以，它提供了一個(gè)縮小版的語(yǔ)言模型，其中包括數據集和培訓代碼。但這遭到了大多數人工智能研究人員的反對，隨后OpenAI發(fā)布了完整版GPT-2.完整版發(fā)布后的確有人利用它制造假新聞或者一些噱頭吸引點(diǎn)擊量，但這并沒(méi)有在網(wǎng)上寫(xiě)起一場(chǎng)批判虛假的風(fēng)波。過(guò)去幾年里，在這方面人們展示了他們在這方面的優(yōu)秀表現：完全可以靠自己，不需要借助于人工智能。再到后來(lái)——2020年5月，OpenAI通過(guò)一篇75頁(yè)的論文公布了GPT-3，新模型的語(yǔ)言參數量高達1750億，而GPT-2的語(yǔ)言參數量?jì)H僅是15億。OpenAI的人工智能政策研究員Sandhini Agarwal在接受采訪(fǎng)時(shí)表示：「我們必須和一些人一起進(jìn)行封閉測試，否則我們甚至不知道這個(gè)模型能做什么，也不知道我們需要改進(jìn)哪些問(wèn)題。如果我們想在有害的偏見(jiàn)問(wèn)題上取得進(jìn)展，就必須把模型放到實(shí)際環(huán)境中考察?！?/section>OpenAI的一個(gè)內部團隊負責審查即將推出的應用程序，為那些通過(guò)API訪(fǎng)問(wèn)GPT-3的公司提供安全指南，在部署前再次審查應用程序，并在部署后監控其使用情況。OpenAI 也在開(kāi)發(fā)工具，幫助用戶(hù)更好地控制GPT-3生成的文本。它為有害的偏見(jiàn)和消極的語(yǔ)言提供了一個(gè)通用的內容過(guò)濾器。然而，Agarwal說(shuō)，實(shí)際上不可能創(chuàng )造出這樣一個(gè)過(guò)濾器，因為「偏見(jiàn)是一個(gè)非常模糊的東西，語(yǔ)言背景是不斷變化?！?/section>特別是在有爭議的話(huà)題上，一個(gè)看起來(lái)正確的回應可能會(huì )被另一方認為會(huì )傷害到一些人。另一種方法稱(chēng)為提示工程，在用戶(hù)的提示中加入一個(gè)短語(yǔ)，比如「友好的機器人說(shuō)」，GPT-3就會(huì )以禮貌而無(wú)爭議的語(yǔ)氣生成文本。用戶(hù)也可以選擇一個(gè)「溫度」作為他們的反應?！傅蜏亍挂馕吨?zhù)人工智能會(huì )把以前經(jīng)?？吹降脑~匯放在一起，幾乎不會(huì )冒險，也不會(huì )帶來(lái)什么驚喜; 當設置為「高溫」時(shí)，它很可能產(chǎn)生稀奇古怪的語(yǔ)言。除了在產(chǎn)品方面所做的所有工作外，OpenAI在「純機器學(xué)習研究」方面也有類(lèi)似的努力。Agarwal說(shuō)：「我們內部有一個(gè)紅隊，他們總是試圖打破這種模式，試圖讓GPT-3做所有這些壞事。研究人員正在試圖弄清當GPT-3產(chǎn)生明顯的性別歧視或種族主義文本時(shí)會(huì )發(fā)生什么。他們正在考慮模型的基本權重，試圖找出哪些權重可能表明某些內容是有害的?！?/section>在一些領(lǐng)域，錯誤可能會(huì )帶來(lái)嚴重的后果，比如醫療保健、金融和法律行業(yè)，OpenAI的審查團隊會(huì )特別注意。在某些情況下，他們也會(huì )拒絕申請者，因為他們的產(chǎn)品過(guò)于敏感。在其他情況下，他們堅持要有一個(gè)過(guò)程監督員，即人工智能生成的文本在到達客戶(hù)或用戶(hù)之前有監督員對其進(jìn)行審查。雖然在處理消極語(yǔ)言和有害偏見(jiàn)方面取得了一定的進(jìn)展，但是Agarwal表示「還沒(méi)有達到我們想要的程度」，所以在合理有效的處理方法出現之前，OpenAI不會(huì )大規模擴大GPT-3的應用。目前尚不清楚OpenAI將如何把有毒語(yǔ)言的風(fēng)險降低到「可管理」的水平，也不清楚在這種情況下「可管理」意味著(zhù)什么。想要應用GPT-3的公司和開(kāi)發(fā)者還需要權衡其利弊。https://spectrum.ieee.org/tech-talk/artificial-intelligence/machine-learning/open-ais-powerful-text-generating-tool-is-ready-for-business
本站僅提供存儲服務(wù)，所有內容均由用戶(hù)發(fā)布，如發(fā)現有害或侵權內容，請
點(diǎn)擊舉報。
