서평

요즘 LLM이 등장 한 이후, 모델들이 커짐에 따라 하나의 GPU에서 훈련이 가능했던 것들이 불가능해지고 있습니다. 2020년 GPT3가 나오면서 모델 크기는 175B이상을 요구하게 되었고, 거대한 모델은 하나의 GPU에서 돌리기가 매우 어려워졌습니다. 그러면서, 분산처리를 통해 훈련하려는 시도들이 많이 생겨났고, 모델 뿐만아니라 데이터에 대해서도 병렬로 훈련하고자하는 니즈들이 생겨나기 시작했습니다! 허깅페이스에서는 이러한 분산처리를 위해 패키지가 출시되었고, microsoft에서도 deepspeed를 출시하면서 분산처리에 대한 니즈들이 많아지기 시작했습니다! LLM같은 거대모델을 훈련시키기위한 분산처리 보다는, 머신러닝에서도 적용할 수 있는 분산처리 라이브러리를 소개합니다! "ray"의 API에 대해서..

저를 소개하자면, 취업을 희망하는 취준생들이 회사에 들어갈 수 있도록 혹은 직무를 변경하고자하시는 사람들을 위해 IT교육을 진행하고 있습니다. 분야는 인공지능관련 부트캠프이고 오전 9시부터 오후 6시까지 몇개월간 종일 공부하는 장기 부트캠프를 맡고 있습니다. 해당 교육에 오기전 여러 개발자들을 만나며 고민을 했습니다. 왜? 부트캠프출신들을 기피할까? 왜 신입을 싫어할까? 왜? 국비교육들은 별로라고 생각할까? 물론 해당 캠프의 교육의 질도 한 몫할 것 같습니다만 하지만, 저는 첫번째로 신입 개발자들의 태도이지 않을까 생각됩니다. 이 책은 그런 측면에서 다양한 상황에서의 개발자 태도에 대해서 잘 서술되어있습니다. 제가 수업시간에 수강생들에게 강조하는 내용들이 이 한 책에 담겨있는 것 같아 개발자로 준비하고자..

주의... 회고글이 처음이라.. 문맥이 매끄럽지 않다는 점... 부탁드립니다! 2023년 상반기 안좋은 일들이 겹겹이 겹쳤다.. 멘탈이 견디지 못할정도로... 가족일, 개인 서브일, 회사일 이 모든 일들을 겪고 깨달은 바는 내 분수를 알자.. 내 그릇만큼만 일을 받자! 욕심부리지 말자! 거절할 줄 알자! 힘들다면 넘겨주자... 일찍말하자... 혼자 다 떠안을 필요는 없다....... 한동안 아무것도 손에 잡히지 않았고, 그리고 모든 것들을 올 스탑했습니다. 솔직히 말하면, 멘탈이 너무 안좋으니 저의 서브일이나 회사일에 영향이 미칠 수 밖에 없었습니다. 쌓아왔던 제 이름에 스크래치가 많이 나던 한해였습니다. 모든 스터디도 회사도 퇴사하고 서브 일도 모두 그만두었습나다. 그래서 퇴사 후 여행을 다니기 시작했..

2022년 현재 블록체인이라는 신기술이 떠오르고 있습니다. 그와 함께 가상화폐, NFT 연관 키워드들이 떠올르고 있고, NFT를 통해 엄청난 수익을 올렸다는 분들도 종종 볼 수 있었습니다. NFT이름만 알고 있지, 개념이나 투자방법에 대해 알지 못해, 모두의연구소 풀잎스쿨 19기를 통해서 NFT & DAO 풀잎을 신청하게 되었습니다. 현재 블록체인관련 스타트업에서 일하고 계신 오상준님이 이끄는 풀잎으로, 많은 인사이트를 얻어갈 수 있을 거란 기대를 하고 있습니다! 매번 모두의연구소 온라인 풀잎에서 느끼는 건, 그냥 발표자를 정하고, 공부해오고 발표하고 마무리되는 이런 느낌으로 진행이 되었었습니다. 여기서 풀잎이란? 모두의연구소에서 스터디를 대신하여 부르는 명칭으로 쓰입니다. 첫 날 풀잎에서 인상이 깊었던..

안녕하세요! 리미에요!ㅎㅎㅎ 이번에 이지스퍼블리싱에서 하는 서평단에 당첨이 되어서 서평을 남기게 되었답니다!! 제가 평소에 너무나도 읽고싶었던 책에 서평단에 당첨이 되어서 얼마나 기쁜지 몰라요! Do it! BERT와 GPT로 배우는 자연어처리라는 책은 일전에 한국어 임베딩이라는 책을 집필하신 이기창님께서 책을 또 집필하시게 되었어요. 기자출신인 이기창님이 쓰신 책이니 믿고 볼 수 있겠죠?ㅋㅋㅋ 자연어처리분야에서는 transformer부터 배워야한다고 말할 정도로 transformer가 정말 basic한 structure가 되었어요! transformer의 인코더만으로 최고의 성능을 올린 bert와 transformer의 decoder로 만으로 만든 gpt에 대해서 소개하는 책입니다. 이 책은 단순히 b..