AI 토큰 관리 요령, 아낀다고 무조건 짧게 쓰면 오히려 손해였습니다

━━━━━━━━━━━━━━━━━━

ChatGPT나 Claude를 오래 쓰다 보면 좀 이상해지는 순간이 있습니다.

처음에는 앞에서 말한 조건을 잘 기억하더니, 대화가 길어지면서 이미 정한 내용을 다시 물어보거나 엉뚱한 방향으로 답합니다.

저도 처음에는 그냥 "채팅을 오래 해서 AI가 헷갈리나?" 싶었습니다.

그런데 계속 사용하다 보니 대화 횟수 자체보다는 토큰과 컨텍스트를 어떻게 관리하느냐가 더 중요했습니다.

그리고 의외였던 게 하나 있습니다.

토큰을 아끼겠다고 무조건 질문을 짧게 만드는 게 답은 아니었습니다.

오히려 조건을 너무 줄였다가 두세 번 다시 질문하면 더 비효율적이었습니다.

──────────────────

【 토큰은 단순히 글자 수가 아닙니다 】

AI 토큰은 모델이 텍스트를 처리할 때 사용하는 단위입니다.

한 글자 = 한 토큰처럼 딱 맞아떨어지지는 않습니다.

언어와 단어 구성, 숫자, 기호 등에 따라 달라지기 때문에 1,000자를 입력했다고 정확히 1,000토큰을 사용하는 건 아닙니다.

여기까지는 많이 알려진 내용입니다.

실제로 사용할 때 더 신경 쓰였던 건 따로 있었습니다.

지금 입력한 질문만 보는 게 아니라는 점입니다.

현재 요청을 처리하기 위해 필요한 이전 대화와 지시사항, 첨부한 텍스트, 새로 입력한 질문 등이 함께 컨텍스트에 영향을 줍니다.

그래서 방금 입력한 질문은 두 줄밖에 안 되더라도 대화방 자체가 엄청 길다면 이야기가 달라집니다.

──────────────────

【 제일 먼저 바꾼 건 '새 채팅' 기준이었습니다 】

예전에는 작업 하나를 시작하면 같은 대화창에서 거의 끝까지 갔습니다.

예를 들어 블로그 글을 쓴다고 하면,

주제 선정 → 자료 정리 → 초안 → 제목 수정 → SEO 키워드 → 문장 수정 → 이미지 아이디어

여기까지 한 채팅에서 처리합니다.

사실 여기까진 괜찮았습니다.

문제는 첫 번째 글이 끝났는데 두 번째 글까지 같은 채팅에서 시작할 때였습니다.

앞에서 만들어 놓은 조건과 자료가 있으니 편할 것 같았는데, 현재 작업에는 필요 없는 내용까지 계속 쌓입니다.

그래서 지금은 기준이 단순합니다.

작업 목적이 달라지면 새 채팅을 엽니다.

같은 글을 수정하고 있다면 계속 이어가고요.

A라는 글을 끝내고 완전히 다른 B라는 글을 시작한다면 새 대화로 넘어갑니다.

별것 아닌 방법인데 긴 작업을 자주 할수록 차이가 꽤 컸습니다.

━━━━━━━━━━━━━━━━━━

【 프롬프트를 짧게 쓰면 토큰이 절약될까 】

처음 토큰 관리를 의식했을 때 제가 했던 게 이거였습니다.

질문을 무조건 줄였습니다.

"요약해줘."

"다시 써줘."

"자연스럽게 바꿔줘."

당연히 입력 자체는 짧습니다.

그런데 결과가 마음에 안 들었습니다.

어떤 내용을 유지해야 하는지, 분량은 어느 정도인지, 무엇을 수정하면 안 되는지가 없으니까요.

그래서 다시 입력합니다.

"내용은 그대로 유지해줘."

또 결과를 받습니다.

"아니, 결론은 바꾸지 말고."

이렇게 세 번 왔다 갔다 하면 처음부터 조건을 제대로 적는 것보다 나을 게 없습니다.

지금은 오히려 필요한 조건은 처음부터 씁니다.

"내용과 수치는 유지하고 문장만 자연스럽게 수정해주세요. 분량은 현재의 80~90% 정도로 유지하고 결론은 변경하지 마세요."

문장은 훨씬 길어졌습니다.

그래도 한 번에 원하는 결과가 나오면 전체 작업량은 줄어듭니다.

그래서 제가 생각하는 AI 토큰 관리의 기준도 조금 바뀌었습니다.

입력 토큰 몇 개를 줄이는 것보다 재작업을 줄이는 게 먼저입니다.

──────────────────

【 긴 자료를 매번 다시 붙이는 것도 피했습니다 】

이건 문서 작업하면서 꽤 많이 했던 실수입니다.

예를 들어 8,000자짜리 자료를 AI에게 전달하고 분석을 시켰다고 해보겠습니다.

첫 질문에서 원문을 붙입니다.

두 번째 질문에서도 AI가 혹시 놓칠까 봐 원문을 또 붙입니다.

세 번째 수정에서도 다시 붙입니다.

생각해 보면 같은 자료를 계속 입력하고 있는 셈입니다.

대화 문맥이 유지되고 있고 원문이 이미 제공된 상태라면 굳이 매번 전체 자료를 다시 붙일 필요가 없는 경우가 많았습니다.

저는 이후 요청을 이런 식으로 바꿨습니다.

"위 원문의 세 번째 항목만 수정해주세요."

또는

"앞에서 작성한 비교 부분만 절반 정도로 줄여주세요."

필요한 작업 범위만 지정하는 겁니다.

다만 여기서 애매한 부분도 있었습니다.

대화가 너무 길어졌는데 계속 "아까 그거", "위 내용" 식으로 지시하면 AI가 제가 생각한 부분과 다른 내용을 잡는 경우가 있었습니다.

그때는 토큰을 조금 더 쓰더라도 대상 문장이나 핵심 조건을 다시 넣는 편이 낫습니다.

━━━━━━━━━━━━━━━━━━

【 대화가 너무 길어지면 중간 저장본을 만듭니다 】

이 방법은 생각보다 유용했습니다.

작업이 길어져서 새 채팅으로 옮기고 싶은데 처음부터 조건을 다시 설명하기 귀찮을 때가 있습니다.

그럴 때 기존 대화에서 이렇게 요청합니다.

"지금까지 확정된 조건, 결정사항, 남은 작업을 새 대화에서 이어갈 수 있게 정리해주세요. 중간 대화와 폐기된 아이디어는 제외해주세요."

그러면 긴 대화를 통째로 끌고 가는 대신 압축된 작업 메모를 만들 수 있습니다.

그걸 새 채팅 첫 메시지에 넣고 다시 시작하는 방식입니다.

물론 한 번 실패한 적도 있습니다.

요약 과정에서 제가 중요하게 생각했던 금지 조건 하나가 빠졌는데 그걸 모르고 새 대화로 넘어갔습니다.

결과물이 계속 이상해서 한참 뒤에야 발견했습니다.

그 이후로는 압축본을 만들면 최소한 이것만 확인합니다.

숫자 / 금지 조건 / 출력 형식 / 반드시 유지해야 하는 내용

특히 숫자는 직접 보는 편입니다.

──────────────────

【 출력 토큰도 생각보다 많이 새고 있었습니다 】

토큰 관리라고 하면 보통 입력 프롬프트부터 생각합니다.

그런데 실제 사용하면서 더 아깝다고 느낀 건 필요 없는 답변을 길게 생성시키는 것이었습니다.

예를 들어 제목 후보가 필요한데

"이 글 어떻게 개선하면 좋을까?"

라고 물으면 AI가 분석부터 시작해서 제목, 본문 구조, SEO 전략까지 전부 설명하는 경우가 있습니다.

제가 필요한 건 제목인데 말이죠.

그래서 용도가 확실하면 아예 범위를 지정합니다.

"제목 후보만 5개."

"500자 이내로 설명."

"수정된 문단만 출력."

"본문 전체는 다시 출력하지 마세요."

특히 마지막 조건이 꽤 유용했습니다.

5,000자짜리 글에서 제목 하나 바꾸는데 매번 본문 5,000자를 다시 받을 이유는 별로 없습니다.

━━━━━━━━━━━━━━━━━━

【 숫자로 보면 어느 정도 차이가 날까 】

이건 이해하기 쉽게 단순 계산을 해보겠습니다.

실제 토큰 사용량은 모델과 서비스, 토크나이저, 캐시 처리 방식 등에 따라 달라집니다.

긴 대화 때문에 요청 한 번에 처리되는 입력이 10,000토큰이라고 가정하겠습니다.

비슷한 요청을 10번 하면 단순 합산 기준으로

10,000 × 10 = 100,000토큰

규모입니다.

반대로 필요한 내용을 정리해서 문맥을 3,000토큰 정도로 줄였다면

3,000 × 10 = 30,000토큰

입니다.

100,000토큰과 30,000토큰.

단순 비교로는 70% 차이입니다.

물론 실제 API 비용이 정확히 70% 줄어든다는 뜻은 아닙니다.

캐시된 입력 토큰의 가격이 다를 수도 있고 모델마다 과금 구조도 다르기 때문입니다.

다만 불필요한 문맥을 계속 가지고 다니는 것과 필요한 정보만 남기는 것의 차이를 보기에는 꽤 직관적인 예였습니다.

──────────────────

【 토큰을 너무 아끼다가 오히려 망한 적도 있습니다 】

한동안은 토큰 관리에 신경 쓴다고 프롬프트를 정말 짧게 썼습니다.

이전 내용도 최대한 빼고요.

그랬더니 답변은 빨리 나옵니다.

문제는 제가 원하는 답이 아니었습니다.

독자층이 빠지고,

문체 조건이 빠지고,

유지해야 할 내용도 빠집니다.

결국 다시 설명합니다.

다시 생성합니다.

또 수정합니다.

이쯤 되니 이게 토큰 절약인지 모르겠더군요.

그래서 지금은 중복되는 정보와 필요한 정보를 구분해서 보는 편입니다.

이미 끝난 작업 과정은 빼도 됩니다.

하지만 결과를 판단하는 데 필요한 조건은 남겨야 합니다.

━━━━━━━━━━━━━━━━━━

【 결국 제가 쓰는 AI 토큰 관리 방식 】

지금은 복잡하게 계산하면서 사용하지는 않습니다.

같은 작업은 같은 채팅에서 이어갑니다.

작업 목적이 달라지면 새 채팅으로 넘어갑니다.

대화가 너무 길어지면 지금까지 확정된 내용을 한 번 압축하고요.

긴 원문의 일부만 수정할 때는 전체 글을 다시 생성시키지 않습니다.

간단한 결과가 필요하면 출력 길이도 미리 지정합니다.

그리고 결과가 계속 이상하게 나오면 프롬프트부터 줄이지 않습니다.

필요한 조건이 빠졌는지 먼저 봅니다.

이게 은근히 중요했습니다.

──────────────────

【 긴 컨텍스트 자체가 나쁜 건 아닙니다 】

여기서 한 가지는 구분할 필요가 있습니다.

토큰을 관리한다고 해서 긴 자료를 무조건 잘라낼 필요는 없습니다.

계약서 비교, 코드 분석, 논문이나 보고서 검토처럼 전체 문맥이 중요한 작업도 있습니다.

이런 자료를 토큰 아끼겠다고 잘게 잘라버리면 오히려 앞뒤 관계를 놓칠 수 있습니다.

제가 피하려는 건 긴 문맥 자체가 아닙니다.

필요해서 긴 문맥과 그냥 오래 대화해서 길어진 문맥을 구분하는 것에 가깝습니다.

ChatGPT 토큰 관리나 Claude 토큰 관리도 실제 사용에서는 비슷했습니다.

무조건 짧게 질문하는 기술이라기보다,

지금 이 답을 만드는 데 필요한 정보만 남겨두는 습관.

저는 이쪽이 훨씬 체감이 컸습니다.

한두 번 질문할 때는 사실 별 차이 없습니다.

그런데 글쓰기나 코딩, 자료 분석처럼 AI를 계속 붙잡고 작업하기 시작하면 슬슬 보입니다.

어디서 토큰이 새는지도 보이고요.

요즘은 질문 글자 수보다 먼저 이걸 봅니다.

"AI가 지금 굳이 이 내용까지 다시 읽어야 하나?"

필요하다면 남깁니다.

아니라면 새 채팅으로 넘어갑니다.

지금까지는 그 정도가 제일 편했습니다.​