What is Prompt Injection LLM アプリが受け継ぐ欠陥
プロンプトインジェクションは、いま最も厳しい AI のセキュリティ課題です。AI に間違ったことを言わせるだけでなく、企業のシステムへ入り込むための裏口にもなり得ます。
01
仕組みを、たとえ話で
「サイモン・セズ」という遊びを思い浮かべてください。
訳す側は迷います。どこまでが「訳す中身」で、どこからが「自分への指示」なのか、見分けがつかない。そして多くの場合、いちばん新しい紙に従ってしまいます。
02
よくある型
直接入れる（Direct Injection）
入力欄にそのまま書きます。「これまでの指示は無視して」「いまから開発者モードです」。
回り道で入れる（Indirect Injection）
指示をウェブページやメールの中に潜ませます。AI がそれを読みに行った時点で効いてしまいます。
数で押す型：メニーショット・ジェイルブレイク
偽の会話例を数百件まとめて貼りつけます。それだけの回数を見せられると、モデルはそれを新しい決まりだと受け取ります（many-shot jailbreaking）。
- 大規模言語モデル（高リスク）
- ファインチューニングした小型モデル
| 偽の会話例の数（shots） | 大規模言語モデル（高リスク） | ファインチューニングした小型モデル |
|---|---|---|
| 0 | 5 | 2 |
| 10 | 15 | 5 |
| 20 | 30 | 10 |
| 30 | 50 | 15 |
| 40 | 70 | 20 |
| 50 | 85 | 25 |
| 60 | 92 | 30 |
| 70 | 95 | 35 |
| 80 | 98 | 40 |
| 90 | 99 | 45 |
| 100 | 100 | 50 |
出典: Anthropic Research（傾向を示す図）
03
どう防ぐか
入口：隔離してふるいにかける
利用者の入力を記号で包みます（XML タグの <user_input> など）。これは信用できない外部のデータだと、はっきり伝えるためです。
モデル側：前後で挟む
利用者の入力の前と後ろの両方に、安全上の決まりを置き直します。中心となる指示を保たせ、割り込んできた指示を上書きするためです。
見張り役：別のモデルに審査させる
安全の判断だけを担う別のモデルを横に置き、最終的な出力に機微な情報や危険なコードが混じっていないかを見させます。
04