전체 글

이번 포스팅은 가비아라는 곳에서 간단한 도메인을 구매한 뒤, AWS Route53을 연결해서 AWS Route53에서 가비아 도메인을 통해 웹호스팅을 할 수 있는 준비작업을 진행해보겠습니다. 그리고 HTTPS 보안프로토콜을 사용하기 위해 인증서가 필요한데요. AWS Certificate Manager (ACM)을 통해 인증서 발급방법에 대해 알아보겠습니다. 0. 도메인 만들기저는 간단한 실습을 위해 가비아라는 곳에서 도메인을 생성할 예정입니다. 생성할 도메인이름을 누른 뒤 검색을 눌러서 생성할 수 있는 도메인 목록을 확인하고, 테스트용도로 사용할 예정이니, 저는 가장 저렴한 shop과 store 두개중 하나를 선택했습니다. 우리에가 익숙한 com, co.kr, kr은 가격이 좀 있지만, 원하시는 도메인형..

프롬프트 엔지니어링이란? 컴퓨터와 대화하는 방법이고 컴퓨터에게 업무를 시키는 새로운 방식의 코딩이다. 사람한테도 말을 엄하게 하면 결과가 이상한 것처럼 컴퓨터한테도 훨씬 더 정확하게 이야기해야한다.  LLM Prompt Engineering모델을 훈련(Training)이라는 것은 오랫동안 대규모의 데이터셋으로 데이터에있는 다양한 특징 혹은 패턴, 맥락정보를 오랜기간동안 공부를 하고 익히는 방법입니다. 그러니까 쉽게 이야기하면, 아무것도 모르는 아기가 이것저것 공부해서 천재가 되가는 과정이라고 생각하면됩니다. 여기에는 Finetunning, pretraining등이 포함됩니다. 반면에 이미 학습이 끝난, 그러니까 이미 훈련이 끝난 모델에 어떻게 하면 더 정확도 높은 답변을 뽑을 수 있을까? 잠깐 배우는 거..

요즘 LLM이 등장 한 이후, 모델들이 커짐에 따라 하나의 GPU에서 훈련이 가능했던 것들이 불가능해지고 있습니다. 2020년 GPT3가 나오면서 모델 크기는 175B이상을 요구하게 되었고, 거대한 모델은 하나의 GPU에서 돌리기가 매우 어려워졌습니다. 그러면서, 분산처리를 통해 훈련하려는 시도들이 많이 생겨났고, 모델 뿐만아니라 데이터에 대해서도 병렬로 훈련하고자하는 니즈들이 생겨나기 시작했습니다! 허깅페이스에서는 이러한 분산처리를 위해 패키지가 출시되었고, microsoft에서도 deepspeed를 출시하면서 분산처리에 대한 니즈들이 많아지기 시작했습니다! LLM같은 거대모델을 훈련시키기위한 분산처리 보다는, 머신러닝에서도 적용할 수 있는 분산처리 라이브러리를 소개합니다! "ray"의 API에 대해서..

저를 소개하자면, 취업을 희망하는 취준생들이 회사에 들어갈 수 있도록 혹은 직무를 변경하고자하시는 사람들을 위해 IT교육을 진행하고 있습니다. 분야는 인공지능관련 부트캠프이고 오전 9시부터 오후 6시까지 몇개월간 종일 공부하는 장기 부트캠프를 맡고 있습니다. 해당 교육에 오기전 여러 개발자들을 만나며 고민을 했습니다. 왜? 부트캠프출신들을 기피할까? 왜 신입을 싫어할까? 왜? 국비교육들은 별로라고 생각할까? 물론 해당 캠프의 교육의 질도 한 몫할 것 같습니다만 하지만, 저는 첫번째로 신입 개발자들의 태도이지 않을까 생각됩니다. 이 책은 그런 측면에서 다양한 상황에서의 개발자 태도에 대해서 잘 서술되어있습니다. 제가 수업시간에 수강생들에게 강조하는 내용들이 이 한 책에 담겨있는 것 같아 개발자로 준비하고자..

EC2 Placement groups EC2 인스턴스가 AWS인프라에 배치되는 방식을 제어하고자 할 때 씀. 배치그룹을 사용하여 이러한 전략을 정의할 수 있다. AWS의 하드웨어와 직접적인 상호 작용을 하지 않지만, EC2인스턴스가 각각 어떻게 비치되기를 원하는지 AWS에게 알려준다. 배치그룹을 만들 때 3가지 전략을 사용가능 1. Cluster - 단일 가용 영역 내에서 지연 시간이 짧은 하드웨어 설정으로 인스턴스를 그룹화할 클러스터 배치 그룹이 있다. - 인스턴스를 그룹화할 클러스터 배치 그룹이 있다. 이 전략은 높은 성능을 제공하지만 위험 또한 높다! Cluster Placement group의 경우 모든 EC2 인스턴스가 동일한 rack에 있다! 즉, 동일한 하드웨어와 동일한 가용 영역에 있다는 ..

IAM 서비스 찾기 IAM서비스를 사용하기 위해서 검색창에 IAM이라고 써봅시다. 그러면 검색결과가 나오는데, 거기에서 IAM서비스를 클릭해서 들어가봅시다! IAM서비스를 클릭해서 들어가시면 오른쪽 상단에 글로벌 혹은 global이라고 써져있는 것을 확인하실 수 있으실 겁니다. 보통은 내가 있는 지역에서 가장 가까운 리전을 선택하는게 맞는데, IAM은 글로벌 서비스이기 때문에 어디에 있든 모든 리전에서 동일한 사용자를 가지게 됩니다. 그래서 리전을 따로 선택할 필요가 없습니다! IAM서비스를 클릭하고 들어가면 바로 보이는 IAM 대시보드는 일단은 무시하고 넘어가겠습니다. 사용자 추가하기 왼쪽에 바에 보시면 사용자(User)탭이 있습니다. 사용자(User) 탭으로 이동해서 사용자를 추가해보도록 하겠습니다...

주의... 회고글이 처음이라.. 문맥이 매끄럽지 않다는 점... 부탁드립니다! 2023년 상반기 안좋은 일들이 겹겹이 겹쳤다.. 멘탈이 견디지 못할정도로... 가족일, 개인 서브일, 회사일 이 모든 일들을 겪고 깨달은 바는 내 분수를 알자.. 내 그릇만큼만 일을 받자! 욕심부리지 말자! 거절할 줄 알자! 힘들다면 넘겨주자... 일찍말하자... 혼자 다 떠안을 필요는 없다....... 한동안 아무것도 손에 잡히지 않았고, 그리고 모든 것들을 올 스탑했습니다. 솔직히 말하면, 멘탈이 너무 안좋으니 저의 서브일이나 회사일에 영향이 미칠 수 밖에 없었습니다. 쌓아왔던 제 이름에 스크래치가 많이 나던 한해였습니다. 모든 스터디도 회사도 퇴사하고 서브 일도 모두 그만두었습나다. 그래서 퇴사 후 여행을 다니기 시작했..

# 문제 인식 ci관련 yaml을 만들고, push했는데 lint에서 아래와 같이 오류 메세지를 출력합니다. 해당 파일에 위치에 가도 에러날 곳은 전혀 보이지 않습니다. 알고 보았더니, CRLF, LF차이에 따르는 개행 에러 였습니다. 그러니까 os마다 개행방식이 조금씩 다릅니다! CRLF에서 LF으로 개행방식을 수정하고 git diff로 바뀐부분을 비교해서 살펴보았더니 개행쪽에 수정이 있다 라고 표시해 둔 것을 보니, 컴퓨터 내부적으로 무언가가 바뀐 것 같습니다. # 정보통신기술용어에 따른 CRLF와 LF 그리고 CR 정보통신기술용어해설집에 따르면 CRLF와 LF은 둘다 라인 종료 개행 문자(Line Termination)이라고 정의하고 있습니다. 한 줄이 종료되어 새로이 줄바꿈을 지시하는 특수문자 또..