[PEFT 1] 효율적 튜닝 LoRA

[LLM 컨셉] LoRA: 거인의 관절만 살짝 움직여 길들이기

**LoRA (Low-Rank Adaptation)**는 PEFT (Parameter-Efficient Fine-Tuning) 기법 중 가장 대중적이고 강력한 방법입니다. 수십억 개의 파라미터를 가진 모델 전체를 학습시키는 대신, 아주 작은 크기의 '보조 행렬'만 추가하여 학습시키는 방식입니다.

---

1. 왜 LoRA가 필요한가? (Full Fine-tuning의 한계)

GPT나 Llama 같은 거대 모델을 **전체 미세 조정(Full Fine-tuning)**하려면 다음과 같은 감당하기 힘든 비용이 발생합니다.

• 메모리 폭발: 수천억 개의 파라미터(가중치)와 그에 따른 연산값(Optimizer State)을 저장하려면 엄청난 수의 GPU가 필요합니다.
• 저장 공간: 튜닝된 모델 하나를 저장할 때마다 원본 모델 크기(수백 GB)만큼의 용량이 필요합니다.
• 비효율: 모델의 아주 일부 지식만 수정하면 되는데 전체를 다 다시 학습시키는 것은 비경제적입니다.

---

2. LoRA의 핵심 원리: "낮은 순위(Low-Rank)의 마법"

LoRA는 **"모델이 학습할 때 가중치의 변화량($\Delta W$)은 사실 그렇게 복잡하지 않다"**는 가설에서 시작합니다.

1. 가중치 고정 (Freeze): 원본 모델의 거대한 가중치($W$)는 절대 건드리지 않습니다. (Read-only 상태)
2. 보조 행렬 추가: 원본 가중치 옆에 아주 좁고 긴 두 개의 작은 행렬($A$, $B$)을 덧붙입니다.
3. 작은 행렬만 학습: 학습 시에는 이 작은 $A$, $B$ 행렬의 값만 업데이트합니다.
4. 합체: 추론할 때는 원본 가중치 + (A x B)를 계산하여 결과를 냅니다.

---

3. LoRA의 압도적인 장점

• 메모리 절감: 학습해야 할 파라미터 수가 전체의 0.01%~0.1% 수준으로 줄어듭니다. 덕분에 고가의 서버용 GPU가 아닌 소비자용 GPU(RTX 3090/4090 등)에서도 튜닝이 가능해졌습니다.
• 빠른 학습 속도: 업데이트할 양이 적으니 학습 속도가 훨씬 빠릅니다.
• 모델 스위칭의 용이성: 원본 모델은 그대로 두고, 용량이 매우 작은 LoRA 가중치(보통 몇십 MB)만 갈아 끼우면 '의사 비서', '법률 비서', '코딩 비서'로 즉시 변신이 가능합니다.
• 성능 유지: 파라미터를 극소수만 쓰는데도 전체 미세 조정과 거의 대등한 성능을 보여줍니다.

---

4. 주요 하이퍼파라미터: Rank ($r$)

LoRA에서 가장 중요한 설정값은 **Rank ($r$)**입니다.

• $r$값이 작으면 (예: 4, 8): 학습할 파라미터가 더 적어지고 가벼워지지만, 복잡한 지식을 배우기엔 부족할 수 있습니다.
• $r$값이 크면 (예: 64, 128): 더 정교한 학습이 가능하지만, 메모리 사용량이 늘어나고 과적합(Overfitting)의 위험이 생깁니다.

---

5. [선생님의 심화 보충] Adapter vs LoRA

LoRA 이전에도 모델 사이에 작은 층을 끼워 넣는 'Adapter' 방식이 있었습니다. 하지만 어댑터는 모델의 구조를 물리적으로 변형시켜 추론 속도를 늦추는 단점이 있었죠. 반면 LoRA는 수학적으로 행렬을 더하기만 하면 되므로, 원본 모델과 합쳤을 때 추론 속도(Latency)의 저하가 전혀 없다는 것이 가장 큰 혁신입니다.

---

✍️ 공부를 마치며

LoRA는 LLM의 민주화를 이끈 일등 공신입니다. 거대 기업만 할 수 있었던 모델 최적화를 이제는 개인 연구자들도 할 수 있게 되었으니까요. 이제 우리는 이 효율성을 한 단계 더 극대화한 기술인 QLoRA를 만날 준비가 되었습니다.

 

 

 

 

 

 

 

 

LLM 규모 증가는 단순히 다음 단어를 예측하는 능혁을 넘어서 기존모델에서는 없는 새로운 기능을 만든다

특징

-거대한 규모

-트랜스포머 아키텍처 ** 

 

 

ai에이전트

LLM 코어(두뇌역할)

계획묘둘

메모리 모듈(레디스: 키벨류형태, 캐시를 활용해 속도가 빠름)

도구 사용 모듈

 

 

LLaVA -멀티모달 특화

 

RAG -외북 데이토를 연결한다 장점 최신정보, 환각 회피

LLM 내부에 저장된 지식에만 의존하지 않게

 

청크 사이즈]]