AI 에이전트도 로그인만으론 부족해요…KISA 제로트러스트 안내서가 바꾸는 보안 기준

대답하던 AI가 실행하는 AI로 바뀌면, 보안의 대상도 넓어져요

일반적인 대화형 AI에서는 잘못된 답을 사용자가 읽고 걸러 낼 기회가 있어요. 에이전트가 업무 도구까지 다루면 이야기가 달라집니다. 틀린 판단이 문서 변경이나 외부 전송으로 바로 이어질 수 있기 때문이에요. 같은 답변 오류라도 연결된 도구의 기능과 계정 권한에 따라 영향이 달라지는 셈입니다.

과기정통부의 발간 자료는 자율성과 권한 확대에 따른 고유 위협을 안내서가 다룬다고 설명해요. 기존 ‘제로트러스트 가이드라인 2.0’의 성숙도 모델도 에이전틱 AI 환경에 맞게 확장했습니다. 새 AI를 추가하는 일을 프로그램 설치로만 보지 않고, 기존 업무의 접근 통제를 다시 설계하는 일로 다루는 방향이에요.

사내 PC에서 실행한다는 이유만으로 신뢰할 수는 없어요

제로트러스트는 ‘내부에 들어왔으니 안전하다’는 가정을 내려놓는 접근이에요. NIST의 제로트러스트 아키텍처 문서는 네트워크 위치나 기기 소유 사실만으로 사용자 계정과 자산에 암묵적인 신뢰를 주지 않는다고 설명합니다. 사내망이나 회사 PC라는 위치보다, 어떤 자원에 무슨 권한으로 접근하는지가 중요해요.

이를 AI 업무에 대입하면 로그인 성공이 모든 후속 행동의 허가가 되지는 않아요. 자료를 열어 보는 권한, 내용을 고치는 권한, 다른 곳으로 보내는 권한은 나눠 볼 수 있습니다. ‘이 계정으로 접속했다’와 ‘이번 작업을 실행해도 된다’를 분리하는 거예요.

AI가 읽은 웹페이지나 문서 안에 엉뚱한 지시가 섞여 있는 문제도 이 지점과 연결됩니다. 입력을 완벽하게 걸러 내는 데만 기대기보다, 잘못된 판단이 생기더라도 실제 업무 시스템에서 허용 범위를 벗어난 요청을 막도록 설계할 필요가 있어요.

‘조심해서 작업해’보다 도구의 기능을 줄이는 편이 구체적이에요

OWASP는 LLM의 과도한 행위 능력 문제를 불필요하게 많은 기능, 지나치게 큰 권한, 과도한 자율성으로 나눠 설명해요. 그에 대한 대응으로 필요한 도구와 기능만 제공하고, 연결 계정의 권한도 최소화하며, 영향이 큰 행동은 사람의 승인을 받도록 권고합니다.

예를 들어 재고 현황을 설명하는 AI를 만든다면 먼저 필요한 것은 재고 조회예요. 입출고 수량을 수정하거나 자료를 외부로 내보내는 기능까지 같은 연결에 묶을 이유는 적습니다. 이 예시는 원칙을 이해하기 위한 가정이며 실제 업체의 도입 사례는 아니에요.

중요한 차이는 제한을 어디서 집행하느냐예요. AI에게 권한을 스스로 판단하라고 맡기는 것과, 실제 도구·계정·서버가 요청마다 권한을 검사하는 것은 다릅니다. OWASP도 후속 시스템에서 권한을 검증하도록 제시해요. 프롬프트의 약속을 실제 실행 경로의 제한으로 연결해야 한다는 뜻입니다.

승인 버튼을 늘리는 것보다, 멈출 행동을 잘 고르는 게 중요해요

과기정통부 발간 자료는 자율 행위의 검증·정책 집행·사전 승인 등 지점별 통제를 설명합니다. 보안 수준을 진단하고 개선 우선순위를 정할 수 있도록 성숙도 단계별 실무 기준과 도입·운영 절차도 제공한다고 밝혔어요. 모든 조직에 한 가지 설정을 붙이는 방식보다 현재 환경에서 통제할 지점을 찾도록 돕는 자료에 가깝습니다.

여기서 도출할 수 있는 실무적 판단은 반복 조회와 되돌리기 어려운 실행을 같은 무게로 다루지 말자는 거예요. 정해진 자료를 읽는 작업은 좁은 범위로 허용하고, 중요한 값을 바꾸거나 외부로 보내는 행동은 대상과 내용을 보여 준 뒤 승인받도록 설계할 수 있습니다. 이는 공개 원칙을 바탕으로 정리한 적용 제안입니다.

기록도 역할을 나눠야 해요. 실행 전 권한 검사는 행동을 제한하는 장치이고, 실행 후 로그는 무슨 일이 있었는지 찾는 자료입니다. 로그가 있다는 이유만으로 위험한 실행을 사전에 막았다고 볼 수는 없어요. OWASP 역시 기록과 모니터링을 피해 범위를 줄이는 보완 수단으로 구분합니다.

도입 판단은 모델 이름보다 연결 목록에서 시작할 수 있어요

기업이라면 현재 AI가 연결된 저장소·업무 서비스·계정부터 적어 보면 출발점이 선명해져요. 각 연결에서 조회, 수정, 삭제, 외부 전송 중 어떤 동작이 가능한지 나누고, 그중 업무에 꼭 필요한 기능만 남기는 순서입니다. 권한을 회수할 담당자와 실행 기록의 위치도 함께 정하면 운영 중 문제가 생겼을 때 대응 경로를 찾기 쉬워요.

개인 PC 사용자도 앱이나 확장 기능을 연결할 때 파일 전체 접근이 필요한지, 읽기만으로 충분한지 살펴볼 수 있어요. 같은 AI 모델이라도 연결 권한이 다르면 할 수 있는 행동이 달라집니다. 모델의 성능표만으로 내 자료에 대한 접근 범위까지 판단하기는 어려워요.

이번 공개는 안내서 발간 소식이지, 특정 AI 제품이 안전하다는 인증이나 기업의 보안 조치가 완료됐다는 발표는 아닙니다. 실제로 허용되지 않은 행동이 차단되는지는 각 서비스와 계정 구성을 시험해야 알 수 있어요. AI를 덜 쓰는 대신, 필요한 일만 맡길 수 있게 만드는 것이 이번 흐름을 읽는 유용한 관점입니다.