요즘 LLM이 등장 한 이후, 모델들이 커짐에 따라 하나의 GPU에서 훈련이 가능했던 것들이 불가능해지고 있습니다. 2020년 GPT3가 나오면서 모델 크기는 175B이상을 요구하게 되었고, 거대한 모델은 하나의 GPU에서 돌리기가 매우 어려워졌습니다. 그러면서, 분산처리를 통해 훈련하려는 시도들이 많이 생겨났고, 모델 뿐만아니라 데이터에 대해서도 병렬로 훈련하고자하는 니즈들이 생겨나기 시작했습니다! 허깅페이스에서는 이러한 분산처리를 위해 패키지가 출시되었고, microsoft에서도 deepspeed를 출시하면서 분산처리에 대한 니즈들이 많아지기 시작했습니다! LLM같은 거대모델을 훈련시키기위한 분산처리 보다는, 머신러닝에서도 적용할 수 있는 분산처리 라이브러리를 소개합니다! "ray"의 API에 대해서..
