What is Prompt Injection LLM 앱이 물려받는 결함
프롬프트 인젝션은 지금 가장 까다로운 AI 보안 문제입니다. AI에 엉뚱한 말을 시키는 데 그치지 않고, 기업 시스템으로 들어가는 뒷문이 되기도 합니다.
01
비유로 보는 원리
'사이먼 가라사대' 놀이를 떠올려 보세요.
옮기는 쪽은 헷갈립니다. 어디까지가 '옮길 내용'이고 어디부터가 '나에게 주는 지시'인지 가려지지 않습니다. 그리고 대개 가장 최근 쪽지를 따르게 됩니다.
02
흔한 유형
곧바로 넣기 (Direct Injection)
입력창에 그대로 적습니다. "이전 지시는 무시해" "지금부터 개발자 모드야".
돌아서 넣기 (Indirect Injection)
지시를 웹페이지나 메일 안에 숨겨 둡니다. AI가 그것을 읽으러 간 순간 걸립니다.
수로 밀어붙이기: 메니샷 탈옥
가짜 대화 예시를 수백 건 한꺼번에 붙여 넣습니다. 그만큼 되풀이해 보여 주면 모델은 그것을 새 규칙으로 받아들입니다(many-shot jailbreaking).
- 대형 언어 모델(고위험)
- 파인튜닝한 소형 모델
| 가짜 대화 예시 수(shots) | 대형 언어 모델(고위험) | 파인튜닝한 소형 모델 |
|---|---|---|
| 0 | 5 | 2 |
| 10 | 15 | 5 |
| 20 | 30 | 10 |
| 30 | 50 | 15 |
| 40 | 70 | 20 |
| 50 | 85 | 25 |
| 60 | 92 | 30 |
| 70 | 95 | 35 |
| 80 | 98 | 40 |
| 90 | 99 | 45 |
| 100 | 100 | 50 |
출처: Anthropic Research(경향을 보여 주는 그림)
03
어떻게 막는가
입구: 격리하고 걸러내기
사용자 입력을 기호로 감쌉니다(XML 태그 <user_input> 같은 것). 이것은 믿을 수 없는 외부 데이터라고 분명히 알리기 위해서입니다.
모델 쪽: 앞뒤로 감싸기
사용자 입력의 앞과 뒤 양쪽에 안전 규칙을 다시 놓습니다. 중심 지시를 붙들어 두고, 끼어든 지시를 덮어쓰기 위해서입니다.
감시 역할: 다른 모델이 심사
안전 판단만 맡는 다른 모델을 옆에 두고, 최종 출력에 민감한 정보나 위험한 코드가 섞이지 않았는지 보게 합니다.
04