어텐션

쉬운 설명

사람이 긴 문장을 읽을 때, 모든 단어를 똑같이 보지 않습니다. 어떤 단어는 옆 단어와 강하게 묶어 보고, 어떤 단어는 멀리 떨어진 단어와 묶어 봅니다. 어텐션은 이걸 수학적으로 흉내 낸 것입니다. 각 단어(토큰)가 '내가 이 단어를 이해하려면 다른 어느 단어를 얼마나 봐야 하나'를 점수로 계산합니다.

이게 왜 강력한가 하면, 이전 방식(RNN·LSTM)은 단어를 순서대로 한 번에 하나씩만 보고 지나갔습니다. 그래서 '그것'이라는 대명사가 멀리 떨어진 '강아지'를 가리키는 걸 이해하려면 그 사이 모든 단어를 기억해야 했고, 거리가 멀어질수록 기억이 흐려졌습니다. 어텐션은 거리에 상관없이 직접 연결할 수 있어, 긴 문맥을 훨씬 잘 다룹니다.

동작은 세 가지 값으로 단순화할 수 있습니다 — 쿼리(Q, 묻는 쪽), 키(K, 비교 대상의 라벨), 밸류(V, 실제로 가져올 정보). 각 토큰이 자기 Q로 모든 K와의 유사도를 계산해 어느 토큰을 얼마나 볼지를 정하고, 그 비율에 따라 V들을 가중 합해 새 표현을 만듭니다. 이 한 차례가 셀프 어텐션 한 층이고, 트랜스포머는 이런 층을 여러 번 쌓습니다.

어텐션의 가치는 '관계'를 모델이 직접 학습한다는 점에 있습니다. 어떤 단어가 어떤 단어와 자주 묶이는지, 어느 위치에 어떤 의미가 자주 등장하는지를 데이터에서 자동으로 익힙니다. 사람이 문법 규칙을 손으로 적지 않아도 되고, 글뿐 아니라 이미지·음성·코드 같은 다른 입력에도 같은 메커니즘이 통합니다.

한계도 있습니다. 어텐션은 모든 토큰 쌍을 계산하기 때문에 길이가 두 배가 되면 계산량은 네 배가 됩니다. 그래서 매우 긴 문맥(수십만 토큰)을 다루려면 효율을 개선한 변형(FlashAttention, 슬라이딩 윈도우 어텐션, 선형 어텐션 등)이 필요합니다. 모델이 점점 큰 문맥을 다룰 수 있게 된 데에는 이런 효율 기술이 큰 몫을 합니다.

비유로 보면

강의실에서 학생 30명이 한 문장을 같이 읽는다고 생각해 보세요. 어떤 학생은 옆자리 학생과 의견을 더 많이 묻고, 어떤 학생은 멀리 앉은 친구의 해석에 더 영향을 받습니다. 어텐션은 '누가 누구의 말에 얼마나 귀를 기울이는지'를 매번 즉석에서 정하는 일과 비슷합니다.

어디에서 만나나

LLM(ChatGPT·Claude·Gemini), 이미지 생성·인식(비전 트랜스포머), 음성 인식·합성(Whisper), 단백질 구조 예측(AlphaFold), 그리고 추천 시스템의 일부까지 — 오늘날 거의 모든 대형 모델의 핵심에 어텐션이 들어가 있습니다. '관계가 중요한 데이터'라면 어디든 어울리는 메커니즘입니다.

작은 예시

'영희는 책을 도서관에서 빌렸다. 그것은 매우 두꺼웠다.'라는 문장에서, '그것'이 '책'을 가리킨다는 걸 모델이 알아내려면 '그것'이라는 토큰이 '책'에 강하게 어텐션을 주어야 합니다. 어텐션 가중치는 학습으로 이런 연결을 자연스럽게 만들어 냅니다.

자주 하는 오해

한 줄 정리

어텐션 한 줄 요약: '누가 누구를 얼마나 볼지 학습한다.' 이 단순한 발상이 지난 10년의 AI 폭발을 이끌었습니다.