📋 핵심 발견

2017년, 자연어 처리의 지배적인 모델은 RNN(순환 신경망)과 그 변형인 LSTM, GRU였습니다. 이 모델들은 문장을 처리할 때 단어를 하나씩 순서대로 읽어야 했습니다. 마치 두꺼운 소설을 한 글자씩 손가락으로 짚어가며 읽는 것과 같습니다. 앞에서 읽은 내용을 기억하면서 뒤로 넘어가야 하니, 문장이 길어질수록 앞부분의 정보가 흐려지는 문제가 있었습니다.

이 '순차 처리'라는 본질적 특성은 두 가지 병목을 만들었습니다. 첫째, 현대 GPU의 강점인 병렬 연산을 제대로 활용할 수 없었습니다. t번째 단어를 처리하려면 반드시 t-1번째까지의 결과가 필요하기 때문입니다. 둘째, 문장 내 멀리 떨어진 단어들 사이의 관계(장거리 의존성)를 학습하기 어려웠습니다. '그 소녀가 ... (긴 수식어) ... 달렸다'에서 '소녀'와 '달렸다'의 관계를 파악하려면 정보가 여러 시간 단계를 거쳐 전달되어야 했고, 그 과정에서 신호가 약해졌습니다.

Attention mechanism은 이미 존재했지만, 항상 RNN 위에 보조 장치로 얹혀 있었습니다. 당시의 통념은 '시퀀스를 다루려면 순환 구조가 필수'라는 것이었고, attention은 그 위에 성능을 올려주는 부스터 정도로 여겨졌습니다. Vaswani 등 8명의 Google 연구자들은 과감한 질문을 던졌습니다 — attention만으로 충분하지 않을까?

Transformer의 핵심 아이디어는 놀라울 정도로 단순합니다. 문장을 순서대로 한 단어씩 처리하는 대신, 모든 단어가 다른 모든 단어를 동시에 바라보게 하자는 것입니다. 교실에 비유하면, RNN은 학생들이 한 줄로 앉아 앞사람에게만 메모를 전달할 수 있는 구조이고, Transformer는 모든 학생이 원탁에 앉아 누구든 직접 눈을 맞추고 대화할 수 있는 구조입니다.

이 '모든 단어가 모든 단어를 바라보는' 메커니즘이 바로 Self-Attention입니다. 각 단어는 세 가지 역할을 동시에 수행합니다 — Query(질문하는 역할: '나와 관련 있는 단어가 뭐지?'), Key(응답하는 역할: '나는 이런 정보를 갖고 있어'), Value(실제 전달하는 정보). 모든 단어 쌍 사이의 관련도를 계산한 뒤, 관련도가 높은 단어의 정보를 더 많이 가져옵니다. 수식으로 표현하면 Attention(Q, K, V) = softmax(QK^T / √d_k)V 인데, 이는 결국 'Query과 Key의 유사도를 구하고, 그 유사도에 비례하여 값을 가중합산한다'는 의미입니다. √d_k로 나누는 것은 차원이 커질수록 내적 값이 커져서 softmax가 극단적으로 치우치는 것을 방지하는 스케일링입니다.

Transformer는 이 attention을 하나만 쓰지 않고, 여러 개의 '관점'으로 동시에 바라봅니다 — 이것이 Multi-Head Attention입니다. 한 head는 문법적 관계에 주목하고, 다른 head는 의미적 관계에 주목하는 식입니다. 마치 같은 장면을 여러 카메라 앵글로 동시에 촬영하는 것과 같습니다. 논문에서는 8개의 head를 사용하여 512차원의 모델을 64차원씩 나눠 처리했습니다.

모델의 전체 구조는 Encoder-Decoder 형태입니다. Encoder는 입력 문장(예: 영어)을 이해하는 부분이고, Decoder는 출력 문장(예: 독일어)을 생성하는 부분입니다. Encoder는 6개의 동일한 레이어를 쌓아 올렸고, 각 레이어는 Multi-Head Self-Attention과 Feed-Forward Network라는 두 개의 서브레이어로 구성됩니다.

그런데 RNN을 제거하면 한 가지 중요한 정보가 사라집니다 — 바로 단어의 순서입니다. Self-Attention은 본질적으로 집합(set) 연산이라 '나는 밥을 먹는다'와 '밥은 나를 먹는다'를 구분하지 못합니다. 이 문제를 해결하기 위해 Positional Encoding을 도입했습니다. 각 위치에 고유한 패턴의 사인/코사인 함수 값을 생성하여 입력 임베딩에 더해줍니다. 이를 통해 모델은 단어의 절대적 위치뿐 아니라 상대적 거리도 학습할 수 있습니다.

입력 문장의 각 토큰은 먼저 학습 가능한 임베딩을 통해 512차원 벡터로 변환됩니다. 그런데 Transformer는 단어를 동시에 처리하므로 순서 정보가 없습니다. 이를 보완하기 위해 각 위치마다 고유한 사인/코사인 패턴의 Positional Encoding을 생성하여 임베딩 벡터에 더합니다. 마치 원탁 회의에서 이름표만으로는 발언 순서를 모르니, 각 좌석에 번호를 붙이는 것과 같습니다. 임베딩 가중치에는 √d_model을 곱해 위치 인코딩과 스케일을 맞춥니다.

각 단어가 Q(Query), K(Key), V(Value) 세 벡터를 갖게 됩니다. Q와 K의 내적으로 두 단어 사이의 관련도를 계산하고, √d_k로 스케일링한 뒤 softmax를 적용하여 확률 분포로 만듭니다. 이 확률에 따라 V를 가중합산하면, 각 단어가 문맥에 맞게 '다른 단어들의 정보를 흡수한' 새로운 표현이 됩니다. 핵심은 이 연산이 행렬 곱셈으로 한 번에 수행되어 GPU에서 매우 효율적이라는 점입니다.

하나의 attention으로는 단어 간 관계의 한 측면만 포착할 수 있습니다. Multi-Head Attention은 Q, K, V를 서로 다른 학습된 선형 변환으로 h번(논문에서는 8번) 투영한 뒤, 각각 독립적으로 attention을 수행합니다. 결과를 이어 붙인 후 다시 선형 변환을 거칩니다. 한 head가 주어-동사 관계를 학습하는 동안, 다른 head는 형용사-명사 관계를 학습할 수 있습니다. 512차원을 8개 head로 나누면 각 head는 64차원으로 작동하여, 단일 attention 대비 계산량이 거의 같습니다.

하나의 Encoder 레이어는 두 개의 서브레이어로 구성됩니다: Multi-Head Self-Attention과 Position-wise Feed-Forward Network(FFN). FFN은 각 위치에 독립적으로 적용되는 두 층의 완전연결층(차원: 512→2048→512)으로, ReLU 활성화를 사용합니다. 각 서브레이어는 Residual Connection으로 감싸여 있어 입력이 직접 출력에 더해지고, Layer Normalization이 적용됩니다. 이 레이어를 6개 쌓으면, 낮은 층은 문법적 패턴을, 높은 층은 의미적 관계를 점진적으로 학습합니다.

Step 5: Decoder의 세 가지 Attention — 과거만 보기, 원문 참조하기

Decoder 레이어는 Encoder보다 하나의 서브레이어가 더 있습니다. 첫째, Masked Self-Attention — 번역문을 생성할 때 아직 생성하지 않은 미래 단어를 보면 안 되므로, 미래 위치에 -∞ 마스크를 씌워 softmax 후 0이 되게 합니다. 둘째, Encoder-Decoder Attention — Decoder의 Q가 Encoder의 K, V를 참조하여 원문 정보를 가져옵니다. 셋째, Feed-Forward Network. 이 구조 덕분에 Decoder는 '지금까지 생성한 번역문'과 '원문 전체'를 동시에 고려하여 다음 단어를 예측합니다.

Decoder의 최종 출력은 선형 변환과 softmax를 거쳐 다음 토큰의 확률 분포가 됩니다. 학습 시에는 정답 번역문을 한 칸씩 밀어서 입력하고(teacher forcing), 추론 시에는 이전에 생성한 토큰을 다시 입력하여 auto-regressive하게 문장을 완성합니다. 흥미로운 점은 출력 임베딩과 최종 선형 변환이 가중치를 공유한다는 것입니다 — 이는 파라미터를 절약하면서도 임베딩 공간의 일관성을 높입니다.

Step 7: 훈련 전략 — Warmup과 정규화

논문은 독특한 학습률 스케줄을 사용합니다 — 처음 warmup_steps(4000) 동안 학습률을 선형으로 올리다가, 이후 스텝 수의 역제곱근에 비례하여 감소시킵니다. 정규화로는 각 서브레이어 출력에 dropout(0.1)을, 그리고 label smoothing(ε=0.1)을 적용했습니다. Label smoothing은 모델이 정답에 100% 확신하지 못하게 하여 일반화 성능을 높이는데, perplexity는 올라가지만 BLEU와 accuracy는 오히려 개선됩니다.

논문의 실험은 WMT 2014 번역 태스크를 중심으로 진행됩니다. 영어→독일어에서 Transformer(big) 모델은 28.4 BLEU를 달성하여, 이전 최고 기록이었던 앙상블 모델들을 2 BLEU 이상 앞섰습니다. 영어→프랑스어에서는 41.0 BLEU(base)와 41.8 BLEU(big)를 기록했는데, 특히 big 모델의 훈련 비용은 기존 최고 모델의 1/4 수준이었습니다. 이는 Transformer가 단순히 성능만 좋은 것이 아니라, 훈련 효율성에서도 압도적임을 보여줍니다.

Ablation study가 특히 흥미롭습니다. Attention head 수를 줄이면 성능이 하락하고, 너무 많아도(16개) 오히려 성능이 떨어졌습니다 — 각 head의 차원이 너무 작아지기 때문입니다. Attention의 key 차원(d_k)을 줄이면 성능이 하락하는데, 이는 '호환성 함수가 충분히 정교해야 한다'는 것을 시사합니다. 학습된 positional embedding을 사인/코사인 고정 인코딩으로 대체해도 성능이 거의 동일했다는 결과도 주목할 만합니다 — 이는 위치 정보의 표현 방식보다 위치 정보의 존재 자체가 중요함을 의미합니다.

번역 외에도 영어 구문 분석(constituency parsing)에 적용하여 BerkeleyParser를 제외한 모든 기존 모델을 능가했습니다. 특히 제한된 훈련 데이터(WSJ 약 40K 문장)에서도 우수한 성능을 보여, Transformer의 범용성을 입증했습니다.

⚡️ 현실 세계의 임팩트

Transformer는 Bahdanau et al.(2014)의 additive attention과 Luong et al.(2015)의 multiplicative attention 연구 위에 서 있습니다. 특히 attention을 RNN의 보조가 아닌 주역으로 승격시킨 것이 핵심적 기여입니다. 이 논문 이후 GPT(2018), BERT(2018), GPT-2(2019), T5(2019), GPT-3(2020), Vision Transformer(2020) 등이 잇따라 등장하며 Transformer 기반의 foundation model 시대를 열었습니다. 2026년 현재까지도 Transformer의 기본 골격은 유지되면서 Flash Attention, RoPE, GQA 등 효율성과 확장성을 개선하는 후속 연구가 활발히 진행되고 있습니다.

📄 _{^{Attention Is All You Need [Submitted on 12 Jun 2017 (v1), last revised 2 Aug 2023 (this version, v7)] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin}}

최신 논문을 씹고 뜯고 소화하는 PaperGOAT — 🗞️🐐
Greatest of All Time — It’s You🫵
AI 엔지니어 3,000명이 아침마다 여는 논문 브리핑⚡️
유료급 퀄리티, 하지만 무료❗️
최신 AI 논문 요약 뉴스래터를 매일 받아보세요📩