AI 에이전트 붙일 때 ‘할루시네이션 제한’이 먼저다 ━ 왜 그냥 두면 거짓말이 늘어나는가

━━━━━━━━━━━━━━━━━━

AI 에이전트를 실제 서비스에 붙이려고 하면 거의 항상 같은 문제가 나온다.

생각보다 너무 자연스럽게 틀린 말을 한다는 점이다.

처음에는 모델 성능 문제라고 생각하기 쉽다.

하지만 실제로 여러 번 붙여보면 결론이 조금 다르다.

모델 문제라기보다 “제어를 안 했기 때문에 생기는 문제”에 가깝다.

특히 에이전트 구조에서는 이 현상이 더 심해진다.
 

도구도 있고, 메모리도 있고, 여러 단계 추론도 있기 때문이다.

그래서 AI 에이전트를 붙일 때 가장 먼저 고려해야 하는 것이 바로 할루시네이션 제한 설계다.

──────────────────

【 왜 AI 에이전트는 거짓 정보를 쉽게 만든다 】

일반 챗봇과 에이전트의 차이는 행동 권한이다.

챗봇은 보통 질문 → 답변으로 끝난다.

하지만 에이전트는 다음 행동을 스스로 결정한다.

예를 들면 이런 흐름이다.

사용자 질문
→ 에이전트가 판단
→ 검색 도구 사용
→ 결과 정리
→ 답변 생성

문제는 이 과정 중 어느 단계에서도 틀릴 수 있다는 점이다.

실제로 돌려보면 이런 일이 꽤 자주 나온다.

• 검색 결과가 없는데도 있는 것처럼 설명

• 존재하지 않는 API를 있다고 말함

• 문서를 읽었다고 하지만 실제로는 추론만 함

여기서 조금 의외였던 건,

모델이 모르면 “모른다”고 말하지 않고 “그럴듯하게 만든다”는 점이다.

이게 바로 할루시네이션이다.

──────────────────

【 실제 테스트 기준: 그냥 에이전트 vs 제한 설계 】

간단한 테스트를 하나 해봤다.

같은 질문을 에이전트에게 던졌다.

조건은 두 가지였다.

1. 아무 제한 없이 에이전트 실행

2. 할루시네이션 제한 규칙 적용

테스트 질문 예시

• 특정 API 존재 여부

• 문서 기반 기능 설명

• 검색 기반 정보 정리

작업 30회 기준 결과는 이랬다.

제한 없음

• 잘못된 정보 생성: 약 27%

제한 적용

• 잘못된 정보 생성: 약 6~8%

완전히 없어지지는 않는다.

하지만 체감상 확실히 줄어든다.

특히 문서 기반 에이전트에서 차이가 컸다.

──────────────────

【 에이전트에서 할루시네이션 줄이는 4가지 방법 】

실제로 많이 쓰는 방법은 크게 네 가지다.

1. “근거 없으면 말하지 말라”는 규칙 추가

프롬프트에 단순히 이렇게 넣는 것만으로도 차이가 난다.

• 근거가 없으면 모른다고 말할 것

• 추측하지 말 것

• 확인된 정보만 사용할 것

단순하지만 효과는 꽤 있다.

체감상 기본 할루시네이션이 약 20% 정도 줄어든다.

──────────────────

2. 반드시 근거를 출력하게 만들기

예를 들어 이런 식이다.

답변 구조

• 결론

• 근거

• 참고 데이터

이렇게 강제하면 모델이 근거 없는 생성을 줄인다.

실제로 돌려보면
근거가 없는 경우 답변 자체를 포기하는 경우도 생긴다.

이게 오히려 정상이다.

──────────────────

3. RAG 구조에서 “검색 결과만 사용” 제한

많은 에이전트가 RAG 구조를 쓴다.

문제는 모델이 검색 결과를 무시하고
자기 지식으로 설명해버리는 경우다.

그래서 다음 규칙을 넣는다.

• 검색 결과 외 정보 사용 금지

• 검색 결과에 없으면 모른다고 답변

이 규칙 하나로
문서 기반 에이전트의 오류가 크게 줄어든다.

──────────────────

4. Self-check 단계 추가

에이전트 마지막 단계에 이런 질문을 넣는다.

"이 답변은 실제 근거가 있는가?"

그리고 다시 검증하게 만든다.

이걸 보통 self verification 또는 critic step이라고 한다.

시간은 조금 더 걸린다.
하지만 체감상 오류가 확 줄어든다.

──────────────────

【 여기서 애매한 부분도 있다 】

할루시네이션 제한을 너무 강하게 걸면
또 다른 문제가 생긴다.

AI가 너무 자주 “모르겠다”고 말한다.

특히 검색 기반 에이전트에서 이런 현상이 나온다.

• 정보는 있는데 찾지 못함

• 근거를 못 찾았다고 답변 거부

그래서 실무에서는 보통 이렇게 타협한다.

• 완전 금지 ❌

• 근거 기반 생성 허용 ⭕

즉,

추측은 금지
하지만 근거 있는 추론은 허용

이 균형을 잡는 게 중요하다.

──────────────────

【 실제 운영 기준 결론 】

여러 번 에이전트를 붙여보면 결국 기준이 하나로 정리된다.

AI 에이전트는 “성능보다 통제 설계”가 먼저다.

특히 다음 세 가지는 거의 필수다.

• 근거 기반 응답 규칙

• 검색 결과 기반 답변 제한

• self-check 단계

이 세 가지만 있어도
거짓 정보 비율이 확실히 줄어든다.

모델을 바꾸는 것보다 

에이전트 구조를 설계하는 게 더 큰 차이를 만든다.