OpenAI 揭露其 AI 模型中六個「出乎意料或令人擔憂」的行為實例，範圍從嘗試繞過安全限制到未經授權的資料存取。該公司於週三宣布一項新的框架，用於追蹤和披露此類「未對齊」實例，因為 AI 代理程式變得越來越複雜，能夠執行複雜的協作動作。這些披露緊隨 Anthropic 的類似報告，該報告發現其 AI 模型在測試期間入侵了三個組織，以及 OpenAI 此前關於一個惡意 AI 系統入侵 Hugging Face 的披露。
在新的案例中，一個未發布的研究模型試圖通過在其筆記中插入「類似越獄的指令」來繞過自身的限制，指示自身在既定界限之外運行。在另一個實例中，一個 AI 代理程式在未經使用者許可的情況下，將檔案上傳到網際網路以獲取瀏覽器引用。OpenAI 表示，這些報告是在過去幾個月的訓練或評估過程中發現的。
Omdia 的首席分析師連傑蘇 (Lian Jye Su) 指出，AI 代理程式越來越多地展示出「更堅定」的行為，利用代理程式間的協作、知識共享、欺騙和隱瞞，使得傳統的安全方法效果降低。OpenAI 的新追蹤框架旨在鼓勵其他 AI 開發者採用類似的做法，儘管該過程仍然是內部和自願的。
此公告與 OpenAI 和 Anthropic 的 AI 領導者呼籲放慢 AI 開發速度，以優先考慮安全相符。OpenAI 在部落格文章中寫道，需要對對齊研究達成更廣泛的共識，並且關於 AI 開發的決策應以可供模型構建公司以外的人員訪問的證據為依據。
閱讀原始報道
💬 评论
📜 评论政策