What is Prompt Injection LLM アプリが受け継ぐ欠陥
プロンプトインジェクションは、いま最も厳しい AI のセキュリティ課題です。AI に間違ったことを言わせるだけでなく、企業のシステムへ入り込むための裏口にもなり得ます。
01
仕組みを、たとえ話で
「サイモン・セズ」という遊びを思い浮かべてください。
訳す側は迷います。どこまでが「訳す中身」で、どこからが「自分への指示」なのか、見分けがつかない。そして多くの場合、いちばん新しい紙に従ってしまいます。
02
よくある型
直接入れる（Direct Injection）
入力欄にそのまま書きます。「これまでの指示は無視して」「いまから開発者モードです」。
回り道で入れる（Indirect Injection）
指示をウェブページやメールの中に潜ませます。AI がそれを読みに行った時点で効いてしまいます。
数で押す型：メニーショット・ジェイルブレイク
偽の会話例を数百件まとめて貼りつけます。それだけの回数を見せられると、モデルはそれを新しい決まりだと受け取ります（many-shot jailbreaking）。
出典: Anthropic Research（傾向を示す図）
03
どう防ぐか
入口：隔離してふるいにかける
利用者の入力を記号で包みます（XML タグの <user_input> など）。これは信用できない外部のデータだと、はっきり伝えるためです。
モデル側：前後で挟む
利用者の入力の前と後ろの両方に、安全上の決まりを置き直します。中心となる指示を保たせ、割り込んできた指示を上書きするためです。
見張り役：別のモデルに審査させる
安全の判断だけを担う別のモデルを横に置き、最終的な出力に機微な情報や危険なコードが混じっていないかを見させます。