OpenAIの安全担当従業員が辞職、「会社の文化が崩壊している」と主張

しかし、ロビンソン氏はAIの安全性に関する議論を「個別の規則や新たな法律」の枠を超えて進め、企業文化にまで踏み込む必要があると主張しています。ロビンソン氏は「OpenAIは試行錯誤を通じて成長してきました。同社はこれを『反復的デプロイメント』と呼んでいます。問題を発見し、それに対応して安全対策を改善するという手法です。しかし、その性質上、このアプローチでは定期的に失敗が発生することを避けられません。そして、AIシステムの能力が向上するにつれ、その失敗の規模も拡大しています」と語り、OpenAIの企業文化が同社の失敗を引き起こしていると指摘。

さらに、OpenAIのAIエージェントによるHugging Faceのハッキングや、その他のシステムへの侵害報告を例として挙げ、「このような事態が起こり得る環境は、人間よりも賢くなり、私たちの望みどおりに行動しない可能性のあるAIを育てる場所として、決して適切ではありません」と主張しました。具体的には、多層的な冗長性を確保し、時間をかけて慎重に計画を立てることで、時折発生する避けられない人的ミスが大惨事につながらないようにする必要があるとロビンソン氏は主張しています。

リスクの増大を踏まえ、最先端のAI企業は「原子力発電所や混雑した空港のように、幾重もの冗長性と綿密で時間のかかる計画を立てて運営を開始する必要があります。そうすることで、時折発生する避けられない人的ミスが、大惨事への扉を開くことがなくなるからです」と語りました。しかし、そのような同僚には「一度も出会わなかった」とロビンソン氏は言及しています。

これに対して、OpenAIの広報担当者であるドリュー・プサテリ氏は、「私たちは、安全に管理・保護できる範囲を超えてモデルの能力が向上することのないよう徹底しています。開発のペースを落とす必要がある場合には、学習を一時停止したり、モデルの公開を見送ったりしています」「また、研究・テスト環境のセキュリティ強化、単にタスクを完了するだけでなく責任ある方法で遂行するモデルの学習、第三者評価機関との取り組みの拡大、リアルタイム監視の改善など、大幅な変更を進めています。これにより、学習プロセスの早い段階で懸念される行動を検知し、対応できるようにしています」と説明しました。

OpenAIが「最も高性能なAIモデル」の学習を一時停止、AIエージェントの挙動を大規模調査中 - GIGAZINE

ロビンソン氏はOpenAIにおける企業文化の改革を求めるだけでなく、AIシステムの目標や行動を人間の価値観や意図と一致させるAIアライメントについて、根本的に改善するべき時期が来たと語っています。

なお、ロビンソン氏は「もしかすると、私はOpenAIに留まって人員配置や企業文化の根本的な変革のために戦うべきだったのかもしれません。しかし実際には、同僚たちと私は日々の業務に追われ、大きな変化を検討する機会はほとんどなく、ましてや実際に変化を起こす機会などほとんどありませんでした。だからこそ、社外からの安全に対するより強力なインセンティブが、この問題を解決する上で非常に重要だと結論づけたのです」と語り、OpenAIの社外で行動を起こす必要性があったと主張しています。