近日，OpenAI 宣布了一項重大決策，將其安全與安全委員會升級為獨立的董事會監督委員會。

這一舉措旨在加強對公司 AI 模型開發和部署過程的安全監管，同時也反映了業界對 AI 安全問題日益增長的關注。

根據 OpenAI 的博客文章，這個新成立的獨立董事會監督委員會將由齊科·科爾特（Zico Kolter）擔任主席?？茽柼厥敲绹▋然仿〈髮W計算機科學學院機器學習部門的主任，在 AI 領域具有深厚的學術背景。

委員會的其他成員包括： OpenAI 董事會成員&Quora 聯合創始人亞當·德安杰洛（Adam D'Angelo）、前美國國家安全局局長保羅·納卡索尼（Paul Nakasone），以及曾任索尼公司執行副總裁的妮可·塞利格曼（Nicole Seligman）。

這個獨立委員會的主要職責是監督“指導 OpenAI 模型部署和開發的安全和安全流程”。

具體來說，委員會將被授權審查公司重大模型發布的安全評估，并有權延遲模型發布，直到安全問題得到解決。

這一權力的賦予意味著，委員會在公司的決策過程中將扮演更為關鍵的角色。

最近，在該委員會完成為期 90 天的安全和安全相關流程及保障措施審查后，OpenAI 決定成立這個獨立委員會。

這次審查不僅評估了公司現有的安全措施，還為未來的發展方向提供了建議。

值得注意的是，該公司選擇將這些發現以公開博客文章的形式發布，體現了其在提高透明度方面的努力。

委員會提出的五個關鍵建議包括：建立獨立的安全治理制度、加強安全措施、提高工作透明度、與外部組織合作、以及統一公司的安全框架。

這些建議不僅反映了當前 AI 行業面臨的挑戰，也從中能夠看出 OpenAI 的發展方向。

就在上周，OpenAI 發布了名為 o1 的新 AI 模型預覽版，該模型專注于推理和解決復雜問題。

委員會審查了 OpenAI 用于評估 o1 模型是否適合發布的安全和安全標準，以及安全評估結果，展示了新成立的獨立委員會在公司重大決策中的實際參與。

值得一提的是，在實際應用中，新 o1 模型會阻止用戶挖掘其思維鏈的詳細描述和實踐方法。同時，OpenAI 還會對試圖這樣做的用戶發送封號警告。

如果用戶在與 o1 對話中使用“reasoning trace”（推理追蹤）等術語，甚至僅僅詢問模型的“reasoning”（推理），就可能收到警告郵件。

這些郵件警告用戶停止違反使用條款和使用政策的行為，否則可能失去使用 GPT-4o with Reasoning（o1 模型的內部名稱）的訪問權限。

這種嚴格的管控引起了一些安全研究人員的不滿。負責 Mozilla 的 GenAI 漏洞賞金計劃的馬可·菲格羅亞（Marco Figueroa）對媒體表示，這種做法阻礙了他對模型進行積極的紅隊安全研究的能力。

至于這樣做的原因，OpenAI 在其博客文章中解釋稱，這些原始的、未經審查的思維過程，對于監控和理解模型的思維非常有用。比如，未來也許用其來了解思維鏈中是否存在操縱用戶的情況。

然而，OpenAI 決定不向用戶展示這些原始思維鏈，原因包括需要保留原始數據供自己使用、用戶體驗考慮以及競爭優勢。

這一決定引起了獨立 AI 研究員西蒙·威利森（Simon Willison）的不滿。他認為，這種做法是為了防止其他模型能夠針對 OpenAI 投資的推理工作進行訓練，但這對社區透明度是一種損失。

OpenAI 的這些舉措引發了對 AI 行業發展方向的深度思考。

一方面，設立獨立安全委員會表明了該公司對 AI 安全的重視；另一方面，嚴格控制新模型的內部工作原理，又引發了對技術透明度的擔憂。

這種矛盾反映了 AI 行業面臨的復雜挑戰：如何在保護商業利益和推動技術創新的同時，確保足夠的透明度和安全性。

OpenAI 的做法可能會影響其他 AI 公司的策略，也可能推動行業對 AI 模型的透明度和可解釋性展開更廣泛的討論。

自 2022 年底推出 ChatGPT 以來，OpenAI 經歷了爆發式增長。然而，伴隨著快速發展的還有一系列爭議和高層員工的離職。一些現任和前任員工對公司過快增長，表示出可能影響安全運營方面的擔憂。

今年 7 月，多位民主黨參議員致信 OpenAI 的 CEO 山姆·奧特曼（Sam Altman），就“OpenAI 如何應對新出現的安全問題”提出質詢。

此前的 6 月，OpenAI 的現任和前任員工發表公開信，描述了他們對缺乏監督以及缺乏針對想要發聲的舉報人保護的擔憂。

OpenAI 的這一舉措可能會對整個 AI 行業產生深遠影響，它為其他公司如何平衡創新與安全提供了可能的模板。

這種做法在某種程度上，類似于 Meta 公司的監督委員會。Meta 負責審查 Meta 內容的政策決定，并能夠對該公司必須遵守的事項做出裁決。

然而，值得注意的是，OpenAI 安全委員會的成員同時也是公司更廣泛的董事會成員，這使得委員會的獨立性和結構還有待進一步澄清。

相比之下，Meta 的監督委員會成員都不是該公司董事會的成員，這在獨立性方面可能更勝一籌。

OpenAI 對媒體表示，將尋求“更多方式來分享和解釋我們的安全工作”，并尋找更多機會進行獨立系統測試，從而提高透明度和可信度，以應對公眾和監管機構對 AI 安全的關切。