·生產(chǎn)中的模型由“安全系統(tǒng)”團(tuán)隊管理。開發(fā)中的前沿模型有“準(zhǔn)備”團(tuán)隊，該團(tuán)隊會在模型發(fā)布之前識別和量化風(fēng)險。然后是“超級對齊”團(tuán)隊，他們正在研究“超級智能”模型的理論指南。
·一個新的“安全顧問小組”將位于技術(shù)團(tuán)隊之上，向領(lǐng)導(dǎo)層提出建議，并且董事會被授予否決權(quán)。
當(dāng)?shù)貢r間12月18日，OpenAI在官網(wǎng)中宣布，其正在擴(kuò)展內(nèi)部安全流程，以抵御有害人工智能的威脅。一個新的“安全顧問小組”將位于技術(shù)團(tuán)隊之上，向領(lǐng)導(dǎo)層提出建議，并且董事會被授予否決權(quán)。
這項更新引起注意很大程度上是因為，此前OpenAI首席執(zhí)行官山姆·奧特曼（Sam Altman）被董事會罷黜的一個緣由似乎與大模型安全問題相關(guān)。而在高層人事混亂后，OpenAI董事會的兩名“減速主義”成員伊爾亞·蘇茨克維（Ilya Sutskever）和海倫·托納（Helen Toner）就失去了董事會席位。
在文章中，OpenAI討論了其最新的“準(zhǔn)備框架”，即OpenAI跟蹤、評估、預(yù)測和防范日益強(qiáng)大的模型帶來災(zāi)難性風(fēng)險的流程。如何定義災(zāi)難性風(fēng)險？OpenAI表示，“我們所說的災(zāi)難性風(fēng)險是指，任何可能導(dǎo)致數(shù)千億美元經(jīng)濟(jì)損失或?qū)е略S多人嚴(yán)重傷害或死亡的風(fēng)險——包括但不限于生存風(fēng)險。”
三組安全團(tuán)隊覆蓋不同的時間框架和風(fēng)險。
根據(jù)OpenAI官網(wǎng)信息，生產(chǎn)中的模型由“安全系統(tǒng)”團(tuán)隊管理。開發(fā)中的前沿模型有“準(zhǔn)備”團(tuán)隊，該團(tuán)隊會在模型發(fā)布之前識別和量化風(fēng)險。然后是“超級對齊”（superalignment）團(tuán)隊，他們正在研究“超級智能”（superintelligent）模型的理論指南。
OpenAI的團(tuán)隊將根據(jù)四個風(fēng)險類別對每個模型進(jìn)行評級：網(wǎng)絡(luò)安全、“說服”（例如虛假信息）、模型自主性（即自行行動）和CBRN（化學(xué)、生物、放射性和核威脅，例如創(chuàng)造新病原體的能力）。
OpenAI假定了各種緩解措施：例如，模型對于描述制作凝固汽油或管式炸彈的過程保持合理的保留態(tài)度。在考慮已知的緩解措施后，如果一個模型仍然被評估為具有“高”風(fēng)險，它將無法部署，如果一個模型存在任何“關(guān)鍵”風(fēng)險，將不會進(jìn)一步開發(fā)。
而制作模型的人不一定是評估模型和提出建議的最佳人選。正是由于這個原因，OpenAI正在組建一個“跨職能安全咨詢小組”，該小組將位于技術(shù)層面，審查研究人員的報告并從更高的角度提出建議，希望為其發(fā)現(xiàn)一些“未知的未知”。
這個過程要求這些建議同時發(fā)送給董事會和領(lǐng)導(dǎo)層，領(lǐng)導(dǎo)層將決定是繼續(xù)還是停止運行，但董事會將能夠撤銷這些決定。這有望避免在董事會不知情的情況下讓高風(fēng)險產(chǎn)品或流程獲得批準(zhǔn)。
不過，依然令外界擔(dān)心的是，如果專家小組提出建議，首席執(zhí)行官根據(jù)該信息做出了決策，那么OpenAI目前這個董事會真的會感到有權(quán)反駁并踩下剎車嗎？如果他們這樣做了，外界的公眾會聽到相關(guān)的聲音嗎？目前除了OpenAI將征求獨立第三方審計的承諾之外，其透明度問題實際上并沒有真正得到解決。
OpenAI“準(zhǔn)備框架”五個關(guān)鍵要素：
1.評估和打分
我們將運行評估并不斷更新我們模型的“記分卡”。我們將評估所有前沿模型，包括在訓(xùn)練運行期間增加兩倍的有效計算量。我們將把模型推向極限。這些發(fā)現(xiàn)將有助于我們評估前沿模型的風(fēng)險，并衡量任何擬議的緩解措施的有效性。我們的目標(biāo)是探測不安全的特定邊緣，以有效地減輕暴露的風(fēng)險。為了跟蹤我們模型的安全水平，我們將制作風(fēng)險“記分卡”和詳細(xì)報告。
“記分卡”將評估所有前沿模型。
2.設(shè)定風(fēng)險閾值
我們將定義觸發(fā)安全措施的風(fēng)險閾值。我們根據(jù)以下初始跟蹤類別定義了風(fēng)險級別閾值：網(wǎng)絡(luò)安全、CBRN（化學(xué)、生物、放射性、核威脅）、說服和模型自主。我們指定了四個安全風(fēng)險級別，只有緩解后得分為“中”或以下的模型才能部署；只有緩解后得分為“高”或以下的模型才能進(jìn)一步開發(fā)。我們還將針對具有高風(fēng)險或嚴(yán)重風(fēng)險（緩解前）的模型實施額外的安全措施。
風(fēng)險級別。
3.設(shè)定新的監(jiān)督技術(shù)工作和安全決策運營結(jié)構(gòu)
我們將建立一個專門的團(tuán)隊來監(jiān)督技術(shù)工作和安全決策的運營結(jié)構(gòu)。準(zhǔn)備團(tuán)隊將推動技術(shù)工作來檢查前沿模型能力的極限，進(jìn)行評估并綜合報告。這項技術(shù)工作對于OpenAI安全模型開發(fā)和部署的決策至關(guān)重要。我們正在創(chuàng)建一個跨職能的安全咨詢小組來審查所有報告并將其同時發(fā)送給領(lǐng)導(dǎo)層和董事會。雖然領(lǐng)導(dǎo)層是決策者，但董事會擁有推翻決定的權(quán)利。
新的監(jiān)督技術(shù)工作和安全決策運營結(jié)構(gòu)。
4.增加安全性和外部問責(zé)制
我們將制定協(xié)議以提高安全性和外部責(zé)任。“準(zhǔn)備團(tuán)隊”將定期進(jìn)行安全演習(xí)，以針對我們的業(yè)務(wù)和自身文化進(jìn)行壓力測試。一些安全問題可能會迅速出現(xiàn)，因此我們有能力標(biāo)記緊急問題以進(jìn)行快速響應(yīng)。我們認(rèn)為，這項工作從OpenAI外部人員那里獲得反饋并希望由合格的獨立第三方進(jìn)行審核是很有幫助的。我們將繼續(xù)讓其他人組成紅隊并評估我們的模型，并且我們計劃與外部共享更新。
5.減少其他已知和未知的安全風(fēng)險
我們將幫助減少其他已知和未知的安全風(fēng)險。我們將與外部各方以及安全系統(tǒng)等內(nèi)部團(tuán)隊密切合作，以跟蹤現(xiàn)實世界中的濫用情況。我們還將與“Superalignment”（超級對齊）合作跟蹤緊急的錯位風(fēng)險。我們還開創(chuàng)了衡量風(fēng)險如何隨著模型規(guī)模擴(kuò)展而演變的新研究，以幫助提前預(yù)測風(fēng)險，這類似于我們早期在規(guī)模法則方面取得的成功。最后，我們將運行一個連續(xù)的過程來嘗試解決任何新出現(xiàn)的“未知的未知”。
本文鏈接：OpenAI增強(qiáng)安全團(tuán)隊，董事會有權(quán)否決危險AIhttp://www.www.hxg123.cn/show-11-1748-0.html
聲明：本網(wǎng)站為非營利性網(wǎng)站，本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點，本站不承擔(dān)任何法律責(zé)任。天上不會到餡餅，請大家謹(jǐn)防詐騙！若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。
下一篇： 《自然》2024年十大科學(xué)展望