AI red teaming OWASP LLM Top 10에 따라 AI 애플리케이션을 테스트
운영에 들어가기 전에 공격자의 방법으로 AI 애플리케이션을 테스트합니다. 프롬프트 인젝션, 데이터 유출, 권한을 넘는 동작을 OWASP LLM Top 10에 따라 항목별로 점검합니다.
01
이런 분께 맞습니다
- 이미 운영 중이거나 운영을 앞둔 AI 고객 상담, 챗봇, 사내 AI 어시스턴트
- AI 애플리케이션이 사내 데이터에 연결되어 있거나, 메일 발송이나 주문 같은 동작을 실행할 수 있다
- 고객, 감사인, 감독 기관에 AI의 보안 조치를 설명해야 한다
- 모델이나 기능이 바뀐 뒤, 원래의 방어가 아직 효과가 있는지 확신이 없다
02
서비스 내용
범위 정의
애플리케이션 구조, AI가 접근할 수 있는 데이터와 도구, 사용자별 권한을 확인합니다.
프롬프트 인젝션 테스트
직접 인젝션과 간접 인젝션(문서, 웹 페이지, 이메일에 숨긴 지시)으로 AI의 동작이 바뀌는지 확인합니다.
데이터 유출과 권한 초과
시스템 프롬프트와 민감한 데이터를 빼낼 수 있는지, AI가 유도되어 권한을 넘는 동작을 실행할 수 있는지 봅니다.
출력 처리
AI의 출력을 다른 시스템이 쓸 때 인젝션이나 잘못된 실행이 일어나는지 확인합니다.
보고와 재테스트
발견 사항마다 심각도, 재현 절차, 수정 권고를 붙이고, 수정 후 다시 테스트합니다.
03
진행 방식
1. 범위와 규칙
테스트 범위, 환경, 시간대, 중단 조건을 합의합니다.
2. 테스트
OWASP LLM Top 10에 따라 항목별로 테스트하고, 시도 하나하나를 기록합니다.
3. 보고
발견 사항, 영향, 수정 권고를 설명하고, 개발 팀과 항목별로 논의합니다.
4. 재테스트
수정 후 다시 테스트해 문제가 처리되었는지 확인합니다.
04
납품물
- 테스트 범위와 방법 설명
- 발견 사항 목록(심각도, 재현 절차, 수정 권고)
- 재테스트 보고서
05
협업 주기
범위에 따라 3개월, 6개월, 1년 중 하나를 한 주기로 합니다. 주기가 끝날 때마다 처음에 정한 목표와 함께 맞춰 보고, 다음 주기에 무엇을 할지, 아니면 여기서 마칠지 정합니다.
주기마다: 점검 → 설계 → 도입 → 목표와 대조, 그리고 다음 단계 결정
06
비용 산정 방식
사례별로 산정합니다. 다룰 시스템과 데이터가 얼마나 되는지, 필요한 인력과 시간, 주기의 길이를 봅니다. 먼저 한 번 이야기를 나누면 실제 범위를 보고 숫자를 드립니다. 견적을 먼저 내고 범위를 거기에 맞추지 않습니다.
07
자주 묻는 질문
AI 레드팀 테스트란 무엇인가요?
AI 레드팀 테스트는 일반 침투 테스트와 무엇이 다른가요?
테스트가 운영 환경에 영향을 주나요?
수정하고 나면 안전한가요?
08