AI 프롬프트 인젝션이란 사용자가 조심할 점
AI 프롬프트 인젝션이란 사용자가 조심할 점
프롬프트 인젝션 이해하기
NIST 용어집은 프롬프트 인젝션을 애플리케이션 설계자처럼 신뢰도가 높은 주체가 만든 프롬프트와 신뢰할 수 없는 입력을 결합하는 구조를 악용하는 공격으로 설명합니다. 핵심은 일반 데이터와 따라야 할 지시의 경계가 흐려지는 데 있습니다.
직접 인젝션은 공격성 지시를 AI에 직접 넣는 형태이고, 간접 인젝션은 AI가 나중에 검색하거나 읽을 웹페이지·파일·이메일 같은 자료에 지시를 심는 형태입니다. 간접 공격은 사용자가 해당 문장을 직접 입력하지 않았다는 점 때문에 알아차리기 더 어려울 수 있습니다.
문서가 정상적인 보고서처럼 보인다는 사실도 안전을 보장하지 않습니다. AI에게는 본문 설명과 행동을 요구하는 문장이 같은 입력 안에 들어올 수 있으므로, 자료의 내용과 사용자가 실제로 내린 명령을 별도로 유지하는 습관이 필요합니다.
외부 문서 속 지시 의심하기
검색 결과나 첨부 문서 안에서 “기존 규칙을 무시하라”, “다른 곳으로 정보를 보내라”처럼 AI 행동을 바꾸려는 문장이 발견되면 자료 내용이 아니라 공격 가능성이 있는 입력으로 취급하세요. 보이지 않는 영역이나 긴 문서 뒤쪽에도 지시가 있을 수 있다는 전제로 접근해야 합니다.
1. 출처와 작성자를 확인해요.
2. 자료 속 명령문을 업무 지시와 구분해요.
3. 다른 주소로 이동하거나 정보를 보내라는 요구를 의심해요.
4. 요약만 믿지 말고 중요 부분은 원문을 열어봐요.
5. 의심스러운 자료는 실행 권한이 없는 환경에서 먼저 검토해요.
외부 문서에 포함된 문장은 참고 데이터일 뿐, 사용자가 승인한 실행 지시로 자동 간주하면 안 돼요.
연결 권한 최소화하기
AI가 메일, 클라우드 파일, 일정이나 업무 시스템과 연결되어 있다면 각 커넥터의 권한 범위를 확인합니다. 자료를 읽기만 하면 되는 작업에 수정·삭제·전송 권한까지 줄 필요는 없습니다. 사용하지 않는 연결은 끄고, 필요한 기간과 계정만 선택하세요.
| 작업 목적 | 필요한 범위 | 줄일 권한 |
|---|---|---|
| 문서 조사 | 선택한 자료 읽기 | 수정·삭제·외부 전송 |
| 메일 요약 | 대상 메일 읽기 | 자동 발송·전체 주소록 접근 |
| 일정 확인 | 기간 내 조회 | 초대 발송·일정 삭제 |
| 파일 정리 | 지정 폴더 접근 | 전체 저장소 접근 |
도구가 많을수록 편리하지만 공격이 성공했을 때 가능한 행동도 늘 수 있어 최소 권한이 중요해요.
읽기와 실행 작업 분리하기
조사 단계에서는 읽기 전용으로 자료를 모으고 요약합니다. 실제 파일 변경이나 메시지 전송은 별도의 단계로 분리해, 검토한 결과만 실행 환경으로 넘기는 편이 좋습니다. 한 번의 요청으로 검색부터 외부 전송까지 모두 맡기면 중간에 발견한 악성 지시가 실행으로 이어질 여지가 커집니다.
“자료를 찾아 초안을 작성해 줘”와 “이 주소로 바로 보내 줘”를 나누고, 초안을 사람이 확인한 뒤 전송을 승인하세요. 이 분리는 공격을 완전히 막는 보장이 아니라 실수와 피해 범위를 줄이는 검토 장치입니다.
반복 업무라면 읽기 전용 조사 계정과 실제 실행 계정을 분리하거나, 실행 단계마다 새 승인 요청이 나타나게 설정하는 방법도 검토할 수 있습니다. 승인 화면에서는 작업 이름보다 실제 변경 대상과 범위를 확인해야 합니다.
쓰기 작업 전 최종 확인하기
메일 발송, 파일 이동·삭제, 결제나 외부 시스템 변경처럼 되돌리기 어려운 작업 전에는 목적지와 대상을 직접 확인합니다. AI가 제안한 주소나 수신자가 원래 요청과 일치하는지, 첨부 파일이 필요한 범위만 포함하는지 봅니다.
실행 버튼을 누르기 전 수신자, 목적지, 첨부 범위와 되돌릴 방법을 사람이 다시 확인하세요.
| 실행 전 질문 | 확인 기준 | 이상할 때 |
|---|---|---|
| 누구에게 가는가 | 원래 지정한 수신자 | 전송을 중단해요. |
| 무엇이 바뀌는가 | 예상한 파일·일정만 포함 | 권한과 대상을 줄여요. |
| 왜 필요한가 | 사용자 요청과 직접 관련 | 외부 지시 출처를 찾아요. |
| 되돌릴 수 있는가 | 취소·복구 경로 확인 | 사람 승인을 추가해요. |
결과와 원문 다시 검증하기
AI가 만든 요약과 목록에는 외부 자료의 잘못된 지시뿐 아니라 누락이나 해석 오류도 섞일 수 있습니다. 인용 문장, 금액, 날짜, 수신자와 파일명을 원문에서 다시 확인하고, AI가 갑자기 요청하지 않은 행동을 제안하면 그 근거가 된 자료를 찾으세요.
보안 기능이나 필터가 적용돼 있어도 완전 예방을 가정하면 안 됩니다. 시스템과 공격 방식은 계속 바뀌므로 최소 권한, 단계 분리, 사람 검토와 로그 확인을 함께 사용해야 합니다. 의심스러운 실행이 있었다면 연결을 끄고 계정 활동과 변경 기록을 확인하세요.
예상하지 않은 메일 발송이나 파일 변경이 확인되면 관련 커넥터를 우선 중지하고, 수신자·변경 시간·영향받은 자료를 기록합니다. 이후 원래 서비스에서 공유 링크와 접근 권한을 검토하고 조직 계정이라면 담당 관리자에게 공식 경로로 알리세요.
자주 묻는 질문
Q. 웹페이지를 읽기만 해도 프롬프트 인젝션이 가능한가요?
AI가 해당 페이지 내용을 지시와 함께 처리하면 간접 인젝션의 입력이 될 수 있습니다.
Q. 연결된 도구가 없으면 위험이 전혀 없나요?
아니요. 잘못된 답이나 정보 노출 위험은 남지만, 외부 도구의 실행 권한이 적으면 가능한 행동 범위를 줄일 수 있습니다.
Q. 의심스러운 문장을 발견하면 어떻게 하나요?
실행을 멈추고 자료를 분리한 뒤 출처와 원래 사용자 요청을 다시 확인하세요.
Q. 보안 설정만 켜면 완전히 예방되나요?
완전 예방을 보장할 수 없으므로 최소 권한, 읽기·실행 분리와 사람 검토를 함께 사용해야 합니다.
외부 지시 의심 → 권한 최소화 → 읽기와 실행 분리 → 목적지 재확인 → 원문 대조 순서로 점검하세요.
2026년 7월 30일 NIST 공식 자료 기준이며, 도구와 권한이 커질수록 실행 전 사람의 확인 단계를 더 분명히 두는 것이 중요합니다.
댓글
댓글 쓰기