AI red teaming OWASP LLM Top 10 に沿って AI アプリケーションをテスト
本番公開の前に、攻撃者のやり方で AI アプリケーションをテストします。プロンプトインジェクション、データ漏えい、権限外の操作を、OWASP LLM Top 10 に沿って一項目ずつ確認します。
01
こんな方に
- 公開済み、または公開予定の AI カスタマーサポート、チャットボット、社内 AI アシスタントがある
- AI アプリケーションが社内データとつながっている、あるいはメール送信や発注などの操作を実行できる
- 顧客、監査、監督官庁に対して AI のセキュリティ対策を説明する必要がある
- モデルや機能を更新したあと、もとの防御がまだ効いているかわからない
02
サービス内容
範囲の確定
アプリケーションの構成、AI がアクセスできるデータとツール、利用者ごとの権限を明らかにします。
プロンプトインジェクションのテスト
直接インジェクションと間接インジェクション（文書、ウェブページ、メールに仕込まれた指示）で、AI のふるまいが変えられてしまうかを確かめます。
データ漏えいと権限外の操作
システムプロンプトや機微なデータを引き出されないか、AI が誘導されて権限を超える操作をしないかを確かめます。
出力の扱い
AI の出力を別のシステムが使うとき、インジェクションや誤った実行につながらないかを確かめます。
レポートと再テスト
発見ごとに深刻度、再現手順、修正の提案を添えます。修正後に再テストします。
03
進め方
1. 範囲とルール
テストの範囲、環境、時間帯、停止条件を取り決めます。
2. テスト
OWASP LLM Top 10 に沿って一項目ずつテストし、試行をすべて記録します。
3. レポート
発見、影響、修正の提案を説明し、開発チームと一項目ずつ話し合います。
4. 再テスト
修正後にもう一度テストし、問題が解消したことを確かめます。
04
納品物
- テストの範囲と方法の説明
- 発見の一覧（深刻度、再現手順、修正の提案）
- 再テストのレポート
05
契約の期間
3 か月、半年、1 年のいずれかを一つの期間とし、範囲に応じて決めます。期間が終わるたびに、お客様と一緒に最初に決めた目標と突き合わせ、次の期間に何をするか、あるいはここで終えるかを決めます。
どの期間も：棚卸し → 設計 → 導入 → 目標との照合、そして次を決める
06
料金の考え方
案件ごとに見積もります。扱うシステムとデータの量、必要な人員と時間、期間の長さによります。まず一度お話を伺い、実際の範囲に基づいて金額をお出しします。先に金額を出してから範囲を合わせることはしません。
07
よくある質問
AI レッドチーミングとは何ですか？
攻撃者になりきって、AI アプリケーションにすべきでないことをさせようと試みます。データを漏らす、もとの指示を無視する、権限を超える操作をする、といったことです。本物の攻撃者より先に問題を見つけるのが目的です。
AI レッドチーミングと通常のペネトレーションテストは何が違いますか？
通常のペネトレーションテストは、ネットワーク、サーバー、ウェブの弱点を対象にします。AI レッドチーミングは、テキストの内容でモデルのふるまいを変えるプロンプトインジェクションなど、言語モデル特有のリスクを対象にします。両者は補い合う関係です。
テストは本番環境に影響しますか？
テスト環境で行うことをおすすめします。本番環境でテストする必要がある場合は、範囲、時間帯、停止条件を事前に取り決めます。
修正すれば安全になりますか？
プロンプトインジェクションには、今のところ一度で根本的に解決する方法はありません。大切なのは、リスクを下げ、AI が使える権限とデータを絞ることです。モデルや機能を更新したあとは、あらためてテストすることをおすすめします。
08