어떤 LLM등을 원하는 목적에 맞게 튜닝할 때, 이 모델이 가지고 있는 파라미터를 업데이트해야한다.그러나 요즘 LLM들은 수십억개 수준의 매우 많은 파라미터를 가지고 있어 이 조정과정이 매우 오래걸린다.이는 개인적으로, 또는 소규모 그룹에서 진행하기에 매우 어렵고 매우 큰 VRAM과 비용이 요구된다. 위에서 얘기한 모든 파라미터를 조정하는 것을 Full Fine-tuning 이라고 한다. 예를 들어 1억개의 파라미터를 가지는 모델을 생각해보자.이 1억개의 파라미터가 들어있는 행렬을 $W_0$라고 하면 이는 10000*10000의 크기를 가질 것이다.$W_{tuned} = W_0 + \Delta W$이런 식으로 기존값에 일정량의 보정치를 더해 값을 수정할텐데 여기서 $\Delta W$도 10000*1000..
