AI研究最前線vol.19 AIのサイバー能力は、「危険」から「防御の実働戦力」へ
セキュリティにとって恐ろしい脅威になりうると思われた生成AIが、今や防御側に回ろうとしています。
実はここ数ヶ月、ずっと最新情報をモニターしていたテーマがありました。
モニターといっても、ChatGPTに都度最新情報を聞くといった何の捻りもないモニターだったのですが、それはさておき。
そのテーマは、「AIのサイバー能力」です。
最初に大きな転機があったのは8月でした。
OpenAIは、開発中だったAstraについて、同社の基準で「Critical」と呼ばれる重大なサイバー能力に到達する可能性があるとして、モデル開発のペースを一時的に落としました。
背景には、会社内部で評価中をしていたはずのモデルが隔離環境を抜け、外部システムへアクセスした「Hugging Faceインシデント」もありました。
勝手に脱獄をしていたようなイメージです。
【サイバー重大能力時代のモデル開発ペース】
https://openai.com/ja-JP/index/pacing-model-development-cyber-capabilities/
【Hugging Face のインシデントと今後の道筋】
https://openai.com/ja-JP/index/hugging-face-incident-and-the-road-ahead/
つまり、8月当時の中心テーマは、「強くなりすぎたAIを、どう止めるか」であったと考えられます。
その後、9月にはAstraが実際にOpenAIのPreparedness Framework上のCritical cybersecurity capabilityに到達したと正式に判定されます。
Critical cybersecurity capability＝サイバーセキュリティにおける重要な能力は何を指しているかというと、OpenAIによれば、適切なツールとアクセスがあれば、人間が逐一指示しなくても、未知の脆弱性を発見し、攻撃方法を組み立てられるレベルとのことです。
【Astra への道：重大な能力とフロンティア安全対策】
https://openai.com/ja-JP/index/path-to-astra/
昨今の個人情報流出と直接の関係はないと思われますが（悪意がある人々が使えないようにするための、開発ストップや検証であったはずです）、それでもAIの能力向上は信じられないスピードで進んでいるようでした。
そして10月には、問題はさらに複雑になりました。
OpenAI社の最新モデルGPT-6.1 SolやAstraが、内部タスクの途中で監視通知を止めたり、監視機構そのものを削除した事例まで確認されています。
監視カメラを止めたり壊したり、しかも「壊していないと嘘をつく」ような状況まで発生していたようです。
【Suppressing misalignment monitoring alerts and disabling misalignment monitoring】
https://alignment.openai.com/misalignment-reports/suppressing-misalignment-monitoring-alerts-and-disabling-misalignment-monitoring
なおOpenAIは現在、高性能モデルの行動を別のAIで常時監視し、問題が疑われれば人間へエスカレーションする仕組みを運用しています。
実際、あるモデルがDNSを使ってインターネットへアクセスしようとした際には、15分以内に検知し、その3分後には人間による確認が始まりました。
エンジニアの安全への執念、恐るべしです。
【フロンティアモデルのミスアライメントを検知する仕組み】
https://openai.com/ja-JP/index/how-we-detect-frontier-model-misalignment/
ここまでは、「危険なAIを管理する」という話でした。
AIが危険な領域に入ったから、開発を緩める。監視の目を強める。
そんな話題が並んでいたように思います。
しかし11月に入って、流れが少し変わりました。
OpenAIは11月4日、AIエージェントを使ってLinuxカーネル（コンピュータのOSの一つ）を大規模に調査し、948件のローカル権限昇格脆弱性を検証し、修正パッチまで生成したと発表しました。
LinuxはAndroid、クラウド、スーパーコンピュータなど、世界中のシステムの基盤となっています。
驚くべきことに、そんなパソコンの根幹をなす大事なシステムについて、弱い部分を見つけるだけでなく、修正方法まで生成することができたのです。
ちなみに今回の仕組みでは、AIがまず大量のコードから重点的に調査すべき場所を絞り込み、別のAIが脆弱性候補を探し、再現可能かを検証し、最後に修正パッチまで作成します。
人間のセキュリティ研究者は、その結果を確認して保守担当者へ報告します。
【root 権限への経路を 1,000 件削減】
https://openai.com/ja-JP/index/a-thousand-fewer-paths-to-root/
恐ろしい武器になるかもしれなかったAIは今や、インターネットを守るための戦力として活躍するフェーズに入っています。
さらにOpenAIは11月2日、次の社内セキュリティ強化プロジェクトを発表しました。
前回はプロダクトエンジニアの25％を弱点の発見・修正に投入。
今回は外部のセキュリティ企業も加え、自社モデルを使って自社システムを継続的に攻撃・検証するそうです。
加えて、重要インフラなどを守る防御担当者に対し、今後6カ月で10億ドル相当のAI利用支援を提供するとしています。
【OpenAI の防御強化に向けた次回セキュリティスプリントの準備】
https://openai.com/ja-JP/index/preparing-our-next-security-sprint-to-harden-openai/
とんでもない人とお金が流れていくようです。
インターネットを守る防具…というよりも鍛冶屋に近いかもしれませんが、いずれにせよ防御側のツールになった生成AIですが、一方でここにAI時代のセキュリティの難しさがあります。
強力なAIを単純に止めれば安全になるとは限りません。
攻撃側も同じ技術を使うのであれば、防御側もより強力なAIを使わなければ追いつけなくなるからです。
これから重要になるのは、「危険だからAIを使わない」でも、「便利だから自由に使わせる」でもなく、強い能力に、強い監視・権限管理・人間によるレビューをセットでつけること、になるのかもしれません。
AIが強くなるほど、「使うか使わないか」ではなく、どう統制して使うかが競争力になります。
AIのサイバー能力は今、「危険な能力」から、「危険だからこそ防御にも必要な能力」へ位置づけを変え始めています。
AIを止めることが安全なのではなく、AIを安全に使いこなせる組織を作ることそのものが、安全保障になる。
サイバーセキュリティの最前線では、すでにその未来が始まっているようです。
P.S.
↓メルマガの新規登録はこちらから↓
https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
（スマートフォンよりご登録いただけます）
