AI의 컨텍스트 윈도우란? 챗봇이 한 번에 "기억"하는 양 쉽게 이해하기

짧은 답

컨텍스트 윈도우는 AI 챗봇이 한 번에 읽고 염두에 둘 수 있는 글의 최대 분량입니다. 지금 진행 중인 대화의 모든 것 — 지시, 이전에 보낸 메시지, 챗봇의 답변, 붙여넣은 문서 — 이 이 윈도우 안에 들어가야 합니다. 대화가 그 한계를 넘어 길어지면 가장 오래된 부분이 시야에서 밀려나고, AI는 그 내용을 정말로 더 이상 보지 못합니다. 사람이 깜빡하는 것과는 다릅니다. 한 번에 몇 장만 올려둘 수 있는 책상에 가깝죠. 이 윈도우는 토큰(글의 작은 조각) 단위로 잽니다. 이 개념을 이해하고 나면, 긴 대화에서 맥락을 놓치거나 앞서 한 말을 무시하는 등 헷갈리던 챗봇의 행동이 단번에 납득됩니다.

핵심 요약

• 컨텍스트 윈도우는 거대 언어 모델이 한 번에 읽을 수 있는 글의 양입니다. 전체 대화에 붙여넣은 자료까지 모두 이 안에 들어가야 합니다.
• 단어가 아니라 토큰으로 잽니다. 영어 짧은 단어 하나가 대략 토큰 하나라서, 윈도우는 "메시지 개수"가 아니라 "글의 양"에 대한 예산입니다.
• 대화가 윈도우를 넘어서면 가장 앞부분이 떨어져 나가고, AI는 그 말을 아예 안 들은 것처럼 행동합니다. 긴 대화가 점점 갈피를 잃는 진짜 이유가 이것입니다.
• 윈도우가 크면 더 긴 문서를 붙여넣고 더 긴 대화를 이어갈 수 있지만, 대개 비용이 더 들고 긴 글 한가운데 묻힌 세부는 여전히 놓칠 수 있습니다.
• 새 주제는 새 대화로 시작하기, 중요한 사실 다시 말해주기, 필요한 부분만 붙여넣기 같은 간단한 습관만으로도 기술 지식 없이 AI 챗봇을 정확하게 유지할 수 있습니다.

컨텍스트 윈도우가 정확히 무엇인가

챗봇이 책상에서 일한다고 그려보세요. 메시지를 보낼 때마다 챗봇은 우리와 함께한 모든 기록을 어딘가 끝없는 기억에서 끌어오는 게 아닙니다. 대신 지금 볼 수 있도록 허락된 모든 것 — 앱이 준 숨은 지시, 지금까지의 대화, 가장 새로운 질문, 그리고 첨부한 것 — 을 책상 위에 펼쳐놓고, 그 책상에 올라온 것만 보고 답합니다. 이 책상의 크기가 컨텍스트 윈도우입니다.

이게 중요한 이유는 흔한 착각을 뒤집기 때문입니다. 사람들은 자연스럽게 챗봇을 어제 나눈 이야기를 기억하는 동료처럼 대합니다. 하지만 일반 챗봇은 서로 다른 대화 사이에는 기억이 없고, 한 대화 안에서도 윈도우에 들어가는 만큼만 붙들 수 있습니다. 무언가 가장자리 밖으로 밀려나면 모델의 시야에서 사라집니다. 묻힌 것도, 우선순위에서 밀린 것도 아니고, 그냥 없는 겁니다. AI는 떨어져 나간 부분이 애초에 없었던 것처럼 다음 질문에 답합니다.

그래서 컨텍스트 윈도우는 모델이 얼마나 똑똑한지를 재는 잣대가 아니라, *한 대화의 작업 기억 한계*로 이해하는 게 가장 정확합니다. 아무리 뛰어난 모델이라도, 관련된 세부가 윈도우 밖으로 미끄러져 나갔다는 단순한 이유만으로 맥락을 놓칠 수 있습니다.

왜 단어가 아니라 토큰으로 재나

컨텍스트 윈도우는 흔히 "128,000 토큰"이나 "100만 토큰" 같은 숫자로 표현됩니다. 토큰은 모델이 하나의 단위로 읽는 글의 작은 조각으로, 보통 짧은 단어, 긴 단어의 일부, 또는 문장 부호 하나입니다. 대략적인 기준으로, 영어는 토큰 하나가 한 단어보다 조금 적어서 1,000 토큰이 대략 750단어쯤 됩니다. (한국어 등 일부 언어는 한 글자가 한두 토큰을 차지해서, 같은 윈도우라도 담기는 글이 더 적습니다.) 이 계산을 정밀하게 할 필요는 없습니다. 쓸모 있는 핵심은, 윈도우가 글 조각 단위로 매겨진 예산이고 *모든 것*이 거기서 차감된다는 점입니다. 앱의 설정 지시, 보낸 메시지, 답변, 붙여넣은 파일까지요. 긴 문서 하나가 그것만으로 예산의 대부분을 조용히 먹어치워, 이후 주고받을 여유를 거의 남기지 않을 수 있습니다. 글이 이런 단위로 어떻게 잘리는지 한 단계 더 들어가 보고 싶다면 토큰화를 참고하세요.

일상적인 비유

회의실 화이트보드를 떠올려 보세요. 크지만 무한하지는 않습니다. 회의가 진행되면 사람들이 계속 적습니다. 메모, 숫자, 할 일. 어느 순간 보드가 꽉 차고, 새로 적으려면 누군가 구석의 가장 오래된 낙서를 지워야 합니다. 그 초반 메모는 어디에도 저장돼 있지 않습니다. 한 번 지워지면 그냥 사라지고, 사람들은 보드에 남은 것으로 회의를 이어갑니다.

챗봇의 컨텍스트 윈도우도 똑같이 작동합니다. 대화 초반에는 자리가 넉넉해서 한 말을 모두 따라갑니다. 긴 대화 깊숙이 들어가면 보드가 꽉 차고, 새 내용을 위한 자리를 만드느라 가장 앞의 대화가 지워집니다. 챗봇이 한동안은 맨 처음 지시를 자신 있게 따르다가 한 시간 뒤엔 그걸 "잊은" 것처럼 보이는 이유가 이것입니다. 마음을 바꾼 게 아니라, 그 지시가 화이트보드에서 지워진 거죠.

머릿속에 그려볼 구체적 예시

대화를 이렇게 시작했다고 합시다. *"나는 채식주의자고, 영국 독자를 대상으로 쓰며, 가벼운 말투를 원해."* 이후 몇 번의 답변에서는 이 세 가지를 정확히 지킵니다. 그런데 길고 구불구불한 대화가 이어집니다. 수십 개의 메시지, 여기에 레시피 하나, 저기에 초고 하나를 붙여넣죠. 마침내 "저녁 메뉴 몇 개 추천해줘"라고 했더니 닭고기를 제안합니다.

지능에 문제가 생긴 게 아닙니다. 처음의 "나는 채식주의자" 문장은 대화 맨 앞에 있었고, 지금쯤 대화는 윈도우를 넘어 길어져서 그 초반 지시가 책상에서 밀려난 겁니다. 모델 입장에서는 그 말을 본 적이 없는 셈이죠. 해법은 AI를 나무라는 게 아니라 제약을 다시 말해주는 것입니다. *"채식, 영국식 영어인 거 기억해."* 이제 그 내용이 다시 보드에 올라왔으니, 다음 답은 이를 지킵니다.

큰 윈도우가 주는 도움 — 그리고 그것이 못 하는 것

최신 모델은 예전보다 윈도우가 훨씬 큽니다. 책 한 권이나 긴 보고서를 한 대화에 통째로 담을 만큼이죠. 이건 정말 유용합니다. 40쪽짜리 계약서를 붙여넣고 그에 대해 질문할 수도 있고, 긴 프로젝트 대화를 무너지지 않게 길게 이어갈 수도 있습니다. AI 도구가 몇 년 전보다 훨씬 유능하게 느껴지는 데에는 커진 윈도우의 몫이 큽니다.

하지만 큰 윈도우가 만병통치약은 아니며, 초보자는 그 한계를 알아둘 필요가 있습니다. 첫째, 대개 비용이 더 듭니다. 글을 더 많이 보낸다는 건 모델이 더 많은 토큰을 처리한다는 뜻이고, 유료 도구나 앱에서는 그만큼 요금이 매겨집니다. 둘째, 덜 알려진 사실인데, 무언가가 거대한 윈도우에 *들어간다* 해도 모델은 글의 처음과 끝 근처의 세부를 가장 잘 알아채고, 아주 긴 문서 한가운데 묻힌 사실은 대충 넘길 때가 많습니다. 그러니 거대한 윈도우는 더 많이 담게는 해주지만, AI가 모든 줄을 똑같이 비중 있게 본다는 보장은 아닙니다. 가장 중요한 지시를 실제 질문 가까이에 두는 게 여전히 도움이 됩니다.

AI를 제 궤도에 두는 간단한 습관

컨텍스트 윈도우를 우회하겠다고 토큰을 셀 필요는 없습니다. 습관 몇 가지면 거의 모든 경우가 해결됩니다.

• 새 주제는 새 대화로 시작하세요. 새 대화는 윈도우가 비어 있고, 어중간하게 관련된 묵은 기록이 어지럽히지 않습니다.
• 중요한 건 다시 말하세요. 마감, 말투, "채식", 핵심 숫자처럼 중요한 제약이라면, 긴 대화 저 앞의 한 줄을 믿기보다 가장 최근 메시지에서 반복하세요.
• 필요한 부분만 붙여넣으세요. 문서를 통째로 쏟아붓는 대신, 질문이 향하는 특정 구간만 넣으세요. 더 저렴하고, AI가 글의 바다에서 진짜 요점을 놓칠 가능성도 줄어듭니다.
• 이어가기 전에 요약하세요. 아주 긴 대화에서는 AI에게 "지금까지 우리가 정한 걸 요약해줘"라고 한 뒤, 그 요약을 맨 위에 두고 새 대화를 시작하세요. 사실상 화이트보드를 되감은 셈입니다.
• 핵심 지시는 질문 가까이에 두세요. 긴 입력의 한가운데가 가장 주목을 덜 받으니, 가장 중요한 내용을 앞이나 끝에 두고 프롬프트를 초점 있게 유지하세요.

다른 AI 도구와의 연결

컨텍스트 윈도우는 한 번쯤 봤을 기능 하나도 설명해 줍니다. "내 문서를 검색"하거나 지식 베이스에서 답하는 챗봇 말이죠. 모든 것이 윈도우에 들어가야 하므로, 보통은 도서관 전체를 붙여넣고 질문할 수가 없습니다. 대신 이런 도구는 가장 관련 있는 짧은 조각 몇 개만 가져와 질문과 나란히 윈도우에 끼워 넣습니다. 이 방식을 검색 증강 생성이라고 부릅니다. 마찬가지로, 일부 챗봇이 내세우는 "메모리" 기능도 더 큰 윈도우가 아닙니다. 별도로 저장해 둔 메모 모음을, 관련될 때 앱이 슬쩍 윈도우에 다시 끼워 넣는 것이죠. 모든 것이 비집고 들어가야 하는 자리로 윈도우를 보고 나면, 이런 기능들이 마법처럼 느껴지던 게 사라지고 이치가 보이기 시작합니다.

피해야 할 흔한 실수

• 챗봇이 지금껏 한 모든 말을 기억한다고 넘겨짚기. 한 대화 안에서는 윈도우에 들어가는 만큼만 붙들고, 서로 다른 대화 사이에는 대개 백지에서 시작합니다.
• 저 앞의 제약을 "잊었다"고 모델을 탓하기. 그 지시가 윈도우 밖으로 밀려났을 가능성이 큽니다. 그냥 다시 말해주면 됩니다.
• 거대한 문서를 붙여넣고 모든 줄이 똑같이 비중 있게 다뤄지리라 기대하기. 깊은 한가운데의 세부는 모델이 가장 쉽게 건너뜁니다.
• 큰 윈도우를 공짜로 여기기. 글이 많아지면 토큰이 늘고, 유료 도구에서는 대개 비용이 늘어납니다.
• 관련 없는 여러 주제를 거대한 대화 하나에 끌고 다니기. 어지러운 윈도우는 혼란을 부릅니다. 새 대화가 더 깔끔하고 저렴합니다.

자주 묻는 질문

**컨텍스트 윈도우가 AI의 기억과 같은 건가요?** 아니요. 컨텍스트 윈도우는 *지금 진행 중인* 대화의 작업 기억, 즉 책상 위에 지금 올라온 것입니다. 일부 앱의 "메모리" 기능은 저장한 메모를 관련될 때 윈도우에 다시 끼워 넣는 별도 추가 장치입니다. 그런 기능이 없는 일반 챗봇은 새 대화마다 빈 윈도우로 시작합니다.

**왜 긴 대화에서 앞서 한 말을 잊나요?** 대화가 윈도우를 넘어 길어지면서 가장 앞 메시지가 시야에서 떨어져 나갔기 때문입니다. 모델이 일부러 무시하는 게 아니라, 그 글을 정말로 더는 볼 수 없는 것입니다. 중요한 세부를 새 메시지에서 다시 말하면 되살아납니다.

**컨텍스트 윈도우는 쉽게 말해 얼마나 큰가요?** 모델마다 크게 다릅니다. 옛 모델은 짧은 보고서 한 편 정도인 수천 토큰이었고, 요즘 많은 모델은 수십만, 일부는 약 100만 토큰을 담는데, 이는 한 대화에 책 몇 권 분량의 글을 넣는 수준입니다.

**윈도우가 크면 항상 답이 더 좋아지나요?** 늘 그렇지는 않습니다. 더 많은 글을 담게 해주지만, 모델은 긴 입력의 처음과 끝에 집중하는 경향이 있어 한가운데 묻힌 세부를 놓칠 수 있습니다. 큰 윈도우는 대개 비용도 더 들어서, 정말 여유 공간이 필요할 때 가장 도움이 됩니다.

**컨텍스트 윈도우 문제를 피하는 가장 쉬운 방법은?** 새 주제마다 새 대화를 시작하고, 정말 중요한 제약은 가장 최근 메시지에서 다시 말하며, 문서 전체 대신 관련 구간만 붙여넣으세요. 이 세 가지 습관이면 대부분의 경우가 해결됩니다.

출처

• OpenAI: 모델과 컨텍스트 길이: 각 모델의 컨텍스트 윈도우 크기를 토큰 단위로 정리한 OpenAI의 레퍼런스입니다. 모델마다 한 번에 담을 수 있는 글의 양을 보여주는 일차 자료입니다.
• Anthropic: 컨텍스트 윈도우: 컨텍스트 윈도우가 무엇이고 요청 안의 토큰이 어떻게 계산되는지에 대한 Anthropic의 설명입니다. 본문에서 다룬 개념을 명확히 짚어주는 입문 자료입니다.
• Google: 긴 컨텍스트(Long context): 제미나이의 큰 컨텍스트 윈도우와 긴 컨텍스트가 가능하게 하는 것들에 관한 구글의 개요입니다. 큰 윈도우가 왜 중요하고 어디에 쓰이는지 보기에 좋습니다.
• 스탠퍼드(Liu 외): Lost in the Middle: 모델이 긴 입력의 처음과 끝에서 정보를 가장 잘 활용하고 한가운데의 세부는 놓칠 수 있음을 보인 연구 논문입니다. 위에서 다룬 "깊은 한가운데는 건너뛴다"는 지적의 근거입니다.