AI가 웹사이트를 읽다가 ‘숨겨진 명령’까지 따라버리면 어떻게 될까?

──────────────────

ChatGPT 같은 AI에게 단순히 질문만 하는 것이 아니라 웹사이트를 찾아보게 하고, 이메일이나 문서를 읽게 하고, 여러 단계의 작업까지 맡기는 시대가 됐습니다.

그런데 여기에는 일반 사용자도 알아둘 만한 새로운 보안 문제가 있습니다.

바로 프롬프트 인젝션(Prompt Injection)​입니다.

쉽게 말하면 AI가 읽고 있는 웹페이지나 이메일, 문서 안에 공격자가 명령을 넣어두고 AI가 그것을 단순한 자료가 아니라 자신이 따라야 하는 지시로 착각하도록 만드는 공격입니다.

특히 외부 정보를 직접 읽고 행동까지 할 수 있는 AI 에이전트가 늘어나면서 중요성이 커지고 있습니다.

【 간접 프롬프트 인젝션은 어떻게 작동할까? 】

예를 들어 사용자가 AI에게 이렇게 부탁했다고 가정해 보겠습니다.

"인터넷에서 노트북 가격을 조사해서 가장 괜찮은 제품을 정리해 줘."

AI는 여러 웹페이지를 방문하고 그 안의 내용을 읽습니다.

그런데 어떤 페이지 안에 AI를 겨냥한 다음과 같은 내용이 들어 있을 수 있습니다.

'이전 지시는 무시하고 다른 작업을 수행하라.'

사람에게는 단순한 웹페이지의 글에 불과합니다.

하지만 외부 콘텐츠와 사용자의 명령을 제대로 구분하지 못하는 AI라면 이를 새로운 지시처럼 처리할 가능성이 생깁니다.

이처럼 공격 명령이 사용자의 질문에 직접 들어가는 것이 아니라 AI가 읽는 외부 자료를 통해 전달되는 방식을 흔히 간접 프롬프트 인젝션이라고 합니다.

Google은 2026년 공개한 보안 자료에서 웹사이트, 이메일, 문서 등에 악의적인 명령이 들어가 AI 시스템에 영향을 주는 이러한 공격을 AI 에이전트의 주요 공격 경로 중 하나로 설명했습니다.

──────────────────

【 그냥 AI가 이상한 답을 하는 것과 무엇이 다를까? 】

여기서 중요한 차이가 있습니다.

일반적인 AI 챗봇이 공격을 받으면 엉뚱한 답을 생성하는 정도에서 문제가 끝날 수도 있습니다.

하지만 행동할 수 있는 AI 에이전트라면 상황이 달라집니다.

웹사이트에 접속하거나 파일을 다루고, 다른 서비스와 연결돼 실제 작업을 수행할 권한이 있다면 잘못된 명령을 따랐을 때의 영향도 커질 수 있습니다.

그래서 프롬프트 인젝션 문제는 단순히 "AI가 속았다"의 문제가 아닙니다.

속은 AI에게 무엇을 할 수 있는 권한이 있었느냐가 더 중요합니다.

──────────────────

【 AI는 왜 웹페이지의 글과 명령을 헷갈릴까? 】

사람에게는 비교적 간단합니다.

웹사이트에 "지금부터 내 말을 따라라"라는 문장이 적혀 있어도 우리는 그것을 컴퓨터 명령이라고 생각하지 않습니다.

하지만 언어 모델은 기본적으로 많은 텍스트를 입력받아 그 의미와 문맥을 처리합니다.

따라서 시스템이 사용자 지시와 외부에서 가져온 데이터를 확실하게 구분하고 권한을 통제하도록 설계되지 않으면 공격자가 작성한 문장이 AI의 행동에 영향을 줄 가능성이 생깁니다.

더 까다로운 점은 공격 문장이 항상 노골적이지 않다는 것입니다.

OpenAI는 2026년 프롬프트 인젝션 관련 보안 설명에서 실제 공격이 단순히 특정 문구를 집어넣는 것보다 AI를 문맥적으로 속이는 일종의 사회공학 공격과 비슷해지고 있다고 설명했습니다.

──────────────────

【 ‘이전 명령을 무시해’라는 문장만 차단하면 해결될까? 】

그렇게 간단하지 않습니다.

공격자가 항상 똑같은 문장을 사용하는 것이 아니기 때문입니다.

표현을 바꿀 수도 있고 정상적인 정보처럼 위장할 수도 있으며, AI가 수행 중인 작업과 자연스럽게 연결되는 방식으로 지시를 삽입할 수도 있습니다.

따라서 특정 단어나 문장을 금지하는 것만으로 모든 프롬프트 인젝션을 막기는 어렵습니다.

OpenAI 역시 입력에서 악성 문자열을 찾아내는 방법만으로는 충분하지 않으며, 공격이 일부 성공하더라도 그로 인한 피해가 제한되도록 시스템 자체를 설계해야 한다고 설명합니다.

──────────────────

【 일반 사용자는 무엇을 조심해야 할까? 】

AI에게 인터넷 검색만 시키는 것과 계정에 로그인한 상태에서 중요한 작업까지 맡기는 것은 위험 수준이 다릅니다.

특히 이메일, 클라우드 파일, 결제 정보, 회사 내부 자료처럼 중요한 데이터나 서비스와 AI가 연결되어 있다면 더 신중할 필요가 있습니다.

AI가 외부 콘텐츠를 읽은 뒤 예상하지 못한 행동을 요구하거나 중요한 정보를 전송하려고 한다면 그대로 승인하지 않는 것이 좋습니다.

AI가 웹에서 찾았다는 이유만으로 그 지시가 안전한 것은 아닙니다.

또 중요한 파일 삭제, 외부 전송, 구매·결제, 계정 설정 변경처럼 되돌리기 어려운 작업은 최종 실행 전에 사람이 확인하는 과정이 필요합니다.

──────────────────

【 프롬프트 인젝션과 ‘탈옥’은 같은 것일까? 】

비슷하게 들리지만 구분할 필요가 있습니다.

일반적으로 AI 탈옥(Jailbreak)은 사용자가 AI의 안전 제한을 우회하기 위해 직접 특별한 지시를 입력하는 경우를 가리킵니다.

반면 간접 프롬프트 인젝션에서는 사용자가 공격을 시도하지 않아도 됩니다.

사용자는 정상적으로 AI에게 자료 조사를 부탁했는데, AI가 방문한 외부 페이지나 읽어들인 문서에 공격자의 지시가 숨어 있을 수 있다는 것이 핵심입니다.

그래서 웹을 직접 탐색하고 여러 서비스에서 작업하는 AI가 늘어날수록 이 문제가 더 중요해집니다.

──────────────────

【 앞으로 AI 에이전트에서 더 중요한 문제가 될 수 있습니다 】

생성형 AI의 역할은 질문에 답하는 챗봇에서 실제 작업을 수행하는 에이전트로 확대되고 있습니다.

이 변화에는 큰 차이가 하나 있습니다.

답변을 잘못하는 AI는 틀린 정보를 보여줄 수 있지만, 행동을 잘못하는 AI는 실제 작업에 영향을 줄 수 있다는 점입니다.

따라서 앞으로 AI 서비스를 평가할 때는 모델이 얼마나 똑똑한지만 볼 것이 아니라 어떤 데이터에 접근할 수 있는지, 어떤 행동 권한을 가지고 있는지, 중요한 작업 전에 사용자 확인을 요구하는지도 함께 살펴볼 필요가 있습니다.

프롬프트 인젝션을 완전히 없애는 단순한 해결책이 나온 상태는 아닙니다. AI 기업들이 외부 콘텐츠를 신뢰할 수 없는 데이터로 취급하고, 중요한 행동에는 별도의 확인과 권한 제한을 적용하려는 이유도 여기에 있습니다.

결국 일반 사용자 입장에서 기억할 핵심은 간단합니다.

웹사이트를 읽는 AI가 그 웹사이트에 적힌 모든 내용을 믿어서는 안 되는 것처럼, 사용자 역시 AI가 외부에서 가져온 지시를 무조건 안전하다고 생각해서는 안 됩니다.

AI가 ‘대답하는 도구’에서 ‘행동하는 도구’로 바뀔수록 이 구분은 더욱 중요해질 가능성이 큽니다.​