티스토리

블로그 홈

리미에오 기록저장소

구독자: 4

구독하기 방명록

인기글

[python] Numpy 넘파이 버전 확인하기공감수0댓글수0조회 78
WSL2개념과 Windows에서 WSL2를 활용해서 Linux사용해보기~!!공감수0댓글수0조회 47
선형이 뭐고? 비선형이 뭘까?공감수0댓글수1조회 31

주요 글 목록

LLM의 한계인 Clarity(명확성)과 Consistency(일관성)을 줄여보는 prompt engineering기법글 내용
** 강수진 박사님의 '오늘, 프롬프트 엔지니어링' 무료세미나를 듣고 일부 정리한 내용입니다. LLM의 한계 : Clarity(명확성)을 먼저 해결해보자프롬프트에 조그만거 하나 바꾸면, 너무나 취약하다.안정성 control이 생겨버림. 자연어이다보니 format control이 쉽지 않아서 이런 문제를 해결하기 위해 노력중이다. Prompt ensembles, Ask Me Anything (AMA), Arora et al.(2022)프롬프트를 조화롭게 앙상블하자! 배경 : prompt engineering은 때로는 간단하게도 풀린다! 엄청 길게 쓰는 prompt가 아니고 한 단어 혹은 문장 하나에 풀리다 보니까 논문에서 그런 방법론에 대해 설명한다.- 우리가 쓰고있는 prompt의 성향은 task랑, ..
좋아요2
댓글2작성시간2025. 4. 17.
Route53을 활용해 도메인과 연결하고 ACM인증서 만들어보기글 내용
이번 포스팅은 가비아라는 곳에서 간단한 도메인을 구매한 뒤, AWS Route53을 연결해서 AWS Route53에서 가비아 도메인을 통해 웹호스팅을 할 수 있는 준비작업을 진행해보겠습니다. 그리고 HTTPS 보안프로토콜을 사용하기 위해 인증서가 필요한데요. AWS Certificate Manager (ACM)을 통해 인증서 발급방법에 대해 알아보겠습니다. 0. 도메인 만들기저는 간단한 실습을 위해 가비아라는 곳에서 도메인을 생성할 예정입니다. 생성할 도메인이름을 누른 뒤 검색을 눌러서 생성할 수 있는 도메인 목록을 확인하고, 테스트용도로 사용할 예정이니, 저는 가장 저렴한 shop과 store 두개중 하나를 선택했습니다. 우리에가 익숙한 com, co.kr, kr은 가격이 좀 있지만, 원하시는 도메인형..
좋아요0
댓글0작성시간2024. 6. 22.
다양한 프롬프트 엔지니어링(Prompt Engineering)에 대해 살펴보자(1) : Zero shot, One shot, Few shot, CoT글 내용
프롬프트 엔지니어링이란? 컴퓨터와 대화하는 방법이고 컴퓨터에게 업무를 시키는 새로운 방식의 코딩이다. 사람한테도 말을 엄하게 하면 결과가 이상한 것처럼 컴퓨터한테도 훨씬 더 정확하게 이야기해야한다. LLM Prompt Engineering모델을 훈련(Training)이라는 것은 오랫동안 대규모의 데이터셋으로 데이터에있는 다양한 특징 혹은 패턴, 맥락정보를 오랜기간동안 공부를 하고 익히는 방법입니다. 그러니까 쉽게 이야기하면, 아무것도 모르는 아기가 이것저것 공부해서 천재가 되가는 과정이라고 생각하면됩니다. 여기에는 Finetunning, pretraining등이 포함됩니다. 반면에 이미 학습이 끝난, 그러니까 이미 훈련이 끝난 모델에 어떻게 하면 더 정확도 높은 답변을 뽑을 수 있을까? 잠깐 배우는 거..
좋아요2
댓글2작성시간2024. 5. 31.
머신러닝 대규모 모델 훈련을 위해 분산처리에 대해 알고싶다면? "러닝레이"책!글 내용
요즘 LLM이 등장 한 이후, 모델들이 커짐에 따라 하나의 GPU에서 훈련이 가능했던 것들이 불가능해지고 있습니다. 2020년 GPT3가 나오면서 모델 크기는 175B이상을 요구하게 되었고, 거대한 모델은 하나의 GPU에서 돌리기가 매우 어려워졌습니다. 그러면서, 분산처리를 통해 훈련하려는 시도들이 많이 생겨났고, 모델 뿐만아니라 데이터에 대해서도 병렬로 훈련하고자하는 니즈들이 생겨나기 시작했습니다! 허깅페이스에서는 이러한 분산처리를 위해 패키지가 출시되었고, microsoft에서도 deepspeed를 출시하면서 분산처리에 대한 니즈들이 많아지기 시작했습니다! LLM같은 거대모델을 훈련시키기위한 분산처리 보다는, 머신러닝에서도 적용할 수 있는 분산처리 라이브러리를 소개합니다! "ray"의 API에 대해서..
좋아요0
댓글1작성시간2024. 4. 14.
개발자를 준비한다면? 신입개발자가 지녀야할 태도를 알고싶다면? "요즘 개발자"책글 내용
저를 소개하자면, 취업을 희망하는 취준생들이 회사에 들어갈 수 있도록 혹은 직무를 변경하고자하시는 사람들을 위해 IT교육을 진행하고 있습니다. 분야는 인공지능관련 부트캠프이고 오전 9시부터 오후 6시까지 몇개월간 종일 공부하는 장기 부트캠프를 맡고 있습니다. 해당 교육에 오기전 여러 개발자들을 만나며 고민을 했습니다. 왜? 부트캠프출신들을 기피할까? 왜 신입을 싫어할까? 왜? 국비교육들은 별로라고 생각할까? 물론 해당 캠프의 교육의 질도 한 몫할 것 같습니다만 하지만, 저는 첫번째로 신입 개발자들의 태도이지 않을까 생각됩니다. 이 책은 그런 측면에서 다양한 상황에서의 개발자 태도에 대해서 잘 서술되어있습니다. 제가 수업시간에 수강생들에게 강조하는 내용들이 이 한 책에 담겨있는 것 같아 개발자로 준비하고자..
좋아요0
댓글0작성시간2024. 3. 1.
EC2 Palcement groups과 ENI글 내용
EC2 Placement groups EC2 인스턴스가 AWS인프라에 배치되는 방식을 제어하고자 할 때 씀. 배치그룹을 사용하여 이러한 전략을 정의할 수 있다. AWS의 하드웨어와 직접적인 상호 작용을 하지 않지만, EC2인스턴스가 각각 어떻게 비치되기를 원하는지 AWS에게 알려준다. 배치그룹을 만들 때 3가지 전략을 사용가능 1. Cluster - 단일 가용 영역 내에서 지연 시간이 짧은 하드웨어 설정으로 인스턴스를 그룹화할 클러스터 배치 그룹이 있다. - 인스턴스를 그룹화할 클러스터 배치 그룹이 있다. 이 전략은 높은 성능을 제공하지만 위험 또한 높다! Cluster Placement group의 경우 모든 EC2 인스턴스가 동일한 rack에 있다! 즉, 동일한 하드웨어와 동일한 가용 영역에 있다는 ..
좋아요0
댓글1작성시간2024. 1. 10.
AWS IAM서비스에서 그룹에 유저 추가하는 법글 내용
IAM 서비스 찾기 IAM서비스를 사용하기 위해서 검색창에 IAM이라고 써봅시다. 그러면 검색결과가 나오는데, 거기에서 IAM서비스를 클릭해서 들어가봅시다! IAM서비스를 클릭해서 들어가시면 오른쪽 상단에 글로벌 혹은 global이라고 써져있는 것을 확인하실 수 있으실 겁니다. 보통은 내가 있는 지역에서 가장 가까운 리전을 선택하는게 맞는데, IAM은 글로벌 서비스이기 때문에 어디에 있든 모든 리전에서 동일한 사용자를 가지게 됩니다. 그래서 리전을 따로 선택할 필요가 없습니다! IAM서비스를 클릭하고 들어가면 바로 보이는 IAM 대시보드는 일단은 무시하고 넘어가겠습니다. 사용자 추가하기 왼쪽에 바에 보시면 사용자(User)탭이 있습니다. 사용자(User) 탭으로 이동해서 사용자를 추가해보도록 하겠습니다...
좋아요0
댓글1작성시간2024. 1. 8.
파란만장했던 2023년의 회고글 내용
주의... 회고글이 처음이라.. 문맥이 매끄럽지 않다는 점... 부탁드립니다! 2023년 상반기 안좋은 일들이 겹겹이 겹쳤다.. 멘탈이 견디지 못할정도로... 가족일, 개인 서브일, 회사일 이 모든 일들을 겪고 깨달은 바는 내 분수를 알자.. 내 그릇만큼만 일을 받자! 욕심부리지 말자! 거절할 줄 알자! 힘들다면 넘겨주자... 일찍말하자... 혼자 다 떠안을 필요는 없다....... 한동안 아무것도 손에 잡히지 않았고, 그리고 모든 것들을 올 스탑했습니다. 솔직히 말하면, 멘탈이 너무 안좋으니 저의 서브일이나 회사일에 영향이 미칠 수 밖에 없었습니다. 쌓아왔던 제 이름에 스크래치가 많이 나던 한해였습니다. 모든 스터디도 회사도 퇴사하고 서브 일도 모두 그만두었습나다. 그래서 퇴사 후 여행을 다니기 시작했..
좋아요4
댓글5작성시간2023. 12. 28.
CRLF, LF 차이에 대해 알아보고 git설정해보기글 내용
# 문제 인식 ci관련 yaml을 만들고, push했는데 lint에서 아래와 같이 오류 메세지를 출력합니다. 해당 파일에 위치에 가도 에러날 곳은 전혀 보이지 않습니다. 알고 보았더니, CRLF, LF차이에 따르는 개행 에러 였습니다. 그러니까 os마다 개행방식이 조금씩 다릅니다! CRLF에서 LF으로 개행방식을 수정하고 git diff로 바뀐부분을 비교해서 살펴보았더니 개행쪽에 수정이 있다 라고 표시해 둔 것을 보니, 컴퓨터 내부적으로 무언가가 바뀐 것 같습니다. # 정보통신기술용어에 따른 CRLF와 LF 그리고 CR 정보통신기술용어해설집에 따르면 CRLF와 LF은 둘다 라인 종료 개행 문자(Line Termination)이라고 정의하고 있습니다. 한 줄이 종료되어 새로이 줄바꿈을 지시하는 특수문자 또..
좋아요0
댓글0작성시간2023. 12. 14.
git push할 때마다 password 입력하라고 나올 때 해결법!글 내용
평소와 같이 git push를 했는데, password 치라는 문구가 나옵니다. 그래서 token생성하고 google검색해서 인증 하고나서 다시 git push했더니 password치라고 또 명령어가 나옵니다. push할 때마다 password로 인증하라는 이 문구 어떻게 해결하면 좋을까요? 아래와 같은 현상을 어떻게 해결하면 좋을까요? git push origin Password for 'https://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@github.com' :.... # git push할 repository로 이동 후 # 해당 repository code에 local clone ssh탭의 주소를 복사 1. 초록색 code버튼을 누르고 2. local탭에서 clon..
좋아요0
댓글0작성시간2023. 12. 14.
git conventional commit에 대해 살펴보기글 내용
https://www.conventionalcommits.org/en/v1.0.0/ 위의 주소로 들어가게 되면, 어떨경우에 conventional commit을 작성할 지 가이드 문서가 나와있습니다. 대표적으로 아래 conventional commit을 쓰게 됩니다. fix : 무언가를 고쳤을 때 feat : 기능개발 BREAKING CHANGE : 예전의 기능이 빠그라졌을 때 사용 / 큰 바뀜이 있었을 때 build : chore : 잡일 ci : ci docs : documentation작업 refactor : 어떤것을 개선시켰을 때 style : 코드 스타일 바꿀 때 perf : 퍼포먼스 작업했을 때 test : test작업 했을 때 lint : lint작업했을 때 예시적으로 commit을 남길 때..
좋아요0
댓글0작성시간2023. 12. 14.
Git 원격저장소에 있는 내가 원하는 PR commit만 gh로 가져오기~!글 내용
상황은 이렇습니다. 다른 협업자와 PR를 주고 받으며 작업하다가 상대가 올린 commit상태로 이동을 하고 싶을 때 여러분들은 어떻게 하나요? 대부분은 git fetch로 해당 commit을 가져오실 텐데 그거보다 더 좋은 기능이 있습니다. github의 약자 gh명령어로 원격저장소에 있는 해당 PR에 있는 commit을 local로 가져올 수 있습니다. 그런데, 위에 있는 GitHub CLI를 활용하면 내가 원하는 PR commit만 가져 올 수 있습니다! 먼저 gh가 깔려있지 않으실테니, gh를 먼저 깔아보도록 하겠습니다. 저의 환경은 window에 wsl2를 깔아서 ubuntu 22.04환경으로 만들었습니다. # Ubuntu 터미널에 gh 깔기 sudo apt install gh # login 인증..
좋아요0
댓글0작성시간2023. 12. 14.
익혀두자! 빠른 개발자되기위한 자주쓰는 명령어 단축기! (계속추가예정)글 내용
ctrl + l : 인터넷 브라우저 주소창 선택 ctrl + Tap : 인터넷 브라우저 탭별 이동 ctrl + 1 : 여러 개의 탭에 띄워놓은 인터넷 브라우저 중 첫 번째 브라우저 선택 ctrl + k : Google 검색모드로 변경 win + ↓ : window 최소화 vim( interactive terminal이라서 동적으로 스크롤내렷다해도 Text안바뀜) 스크롤 사용하려면 cat으로 문서열기 shift + 4 : 커서를 끝으로 이동 shift + G : 문서 맨 아래줄로 이동 터미널명령어 ctrl + r : 이전에 사용했던 명령어 검색하는 검색창 띄우기 ctrl + c : 현재 줄 사용하지 않고, 새로운 명령어라인 생성할 때 사용 vscode shift + delete 라인 삭제 Ctrl + g ..
좋아요0
댓글0작성시간2023. 12. 12.
개발속도를 업시켜주는 zsh 여러 플러그인(zsh-autosuggestions, highlight style, fzf, zsh-z)글 내용
개발속도를 향상시켜주는 zsh의 여러 플러그인 설정하는 방법에 대해 살펴보겠습니다. 기억력이 좋지 않은 저에게는 굉장히 유용한 도구 인 것 같아요 :)!제 환경은 window에 wsl2를 깔아서 ubuntu22.04를 설치해놓은 상태입니다 :) 1. zsh-autosuggestions 적용하기zsh-autosuggentios git에 가서 git clone하기git clone https://github.com/zsh-users/zsh-autosuggestions ${ZSH_CUSTOM:-~/.oh-my-zsh/custom}/plugins/zsh-autosuggestions git clone완료! 편집기로 숨겨진 zshrc파일로 가서 plugin 찾기vi ~/.zshrc plugins = (git) --..
좋아요0
댓글0작성시간2023. 12. 12.
WSL2 Ubuntu22.04 터미널에서 zsh설치해서 터미널 꾸며보기~글 내용
이 전에 mac에서 item2터미널의 테마를 입맛에 맞게 적용을 했었는데, window가 깔려있는 desktop에 ws2로 ubuntu를 설치하게 되면서 터미널을 다시 세팅해야할 일이 생겼습니다! 그래서 복습겸 기억을 되짚어보며 차근차근 포스팅해보겠습니다! 사실 귀찮은 이 작업을 하게 된 큰 이유는 터미널에 경로패쓰가 너무 길어짐에 따라 한 라인에 코드들이 들어오지 않고 2줄,, 3줄 넘어가버리는 현상을 보고 아.. 이제는 튜닝해야겠다 마음을 먹었어여...ㅎㅎ 저는 꽤 오랫동안 기본 shell인 bash를 사용해왔습니다만, 사실 shell은 bash만 있는 줄 알았어여...ㅋ.. 그런데, zsh가 훨씬더 사용하기 편하다는 추천을 받고 당장 쉘을 바꾸었습니다! zsh가 bash에 비해 좋은 점은 강력한 기..
좋아요0
댓글0작성시간2023. 12. 12.
현재 commit과 이전 commit 기록까지 전부 반영되는 branch꼬임현상 해결하기글 내용
이번 포스팅은 제가 project하면서 겪었던 git issue에 대해 살펴보고 해결방안을 살펴볼려고 합니다! git에서 proj를 하고 main이 아닌 다른 branch에서 commit하고 main으로 PR을 날린상황입니다. 이전에 commit했던 기록들까지 다 저장되는 현상들이 발생했습니다. 어떤 현상이 발생했는지 아래 그림을 통해 살펴보겠습니다. 위에 그림에서 저는 맨 아래 'feature/convert-to-poetry-in-ci-process' commit만 날려서 PR한 상황인데 이전에 commit한 내역까지 모조리 저장이 되었습니다. 지금 뭔가가 충돌난거 같죠..? 여기서 생각해볼 수있는 해결방법은 1. main 자체가 엄청나게 꼬였다. 2. origin/main을 최신화를 시키지 않고, m..
좋아요0
댓글1작성시간2023. 12. 5.
내가 까먹을까봐 정리하는 requirements.txt로 한 방에 관리하기글 내용
파이썬으로 프로젝트를 진행하면 pip로 여러 패키지들을 설치하게 됩니다. pip install 하면 pip로 설치된 패키지들을 모두 볼 수 있습니다! # 모든 설치된 패키지 리스트 보기 pip list 모든 패키지들이 나오는 것을 알 수 있습니다. 이것들을 고대로 다른 환경에 설치하고 싶을 때는 어떻게 하면 좋을까요?! pip freeze > requirements.txt 이걸로 파일 생성이 가능합니다! 혹은 수기로 requirements.txt에 버전들을 적어서 관리 할 수 있습니다! # pip list 중에서 내가 원하는 패키지 버전 찾기! pip freeze | grep # requirements.txt로 설치하기 pip install -r requirements.txt 이걸로 requirement..
좋아요0
댓글0작성시간2023. 12. 4.
WSL2로 Ubuntu22.04환경에서 poetry 설치하기글 내용
설치하기 curl -sSL https://install.python-poetry.org | python3 - poetry --version 를 입력하면 command not found: poetry 가 응답할 것이다. poetry 설치과정에서는 우리의 command shell에 PATH를 자동으로 세팅해주는 과정이 없다. 그래서 본인이 사용하는 command shell에 알아서 PATH를 추가해야 한다. 1. 현재 쉘에만 추가 export PATH="$HOME/.local/bin:$PATH" 2. 영구적으로 추가 sudo vi ~/.bashrc 명령어 입력 후 맨 하단에 PATH 추가 PATH="$HOME/.local/bin:$PATH" esc누르고 :wq!로 저장하고 종료 그 후, source ~/.b..
좋아요1
댓글0작성시간2023. 12. 3.
쉽게 풀어쓴 cs231n 2강 svm, softmax loss function(3)글 내용
지난 포스팅에서 K-Nearest Neighbor과는 다르게, Linear Classifier는 W값만으로 predict가 가능하다는 장점과, 더 정확한 정보를 얻을 수 있다는 것이 장점이었습니다. f(x, W) = W*x+b라는 식으로, (CIFAR-10 기준으로) 10가지의 카테고리당 점수를 알 수 있었습니다. 고양이, 자동차, 개구리, 사진아래에는 Weight값들을 사진으로 나타내어, Linear Classifier가 알아낸 카테고리의 특징을 알아볼 수 있습니다. 이 사진은, w값이 랜덤이기에 일어나는 상황이라고 하였죠. 자동차를 제외한 두 가지 카테고리의 점수는 정답을 거의 맞히지 못하는 상황입니다. 그리고, w값이 랜덤이라는 점에서부터, 도대체 w값을 어떻게 바꾸어 나가야 제대로 된 점수를 얻을..
좋아요0
댓글1작성시간2023. 11. 24.
쉽게 풀어쓴 cs231n 2강 Linear Classifier(2)글 내용
이번 포스팅에서는 이전 장에 이어 stanford univ. cs231n 2강의 뒷 부분에 대해 포스팅해보려고 합니다. 뒷부분의 내용은 linear classifier, softmax, svm에 대한 내용들로 이루어져 있습니다~ 제가 이 내용들을 최대한 쉽게 풀어서 설명해보겠습니다. # Linear Classifier 2강 (1)번포스팅에서는 knn으로 이미지 분류방법을 소개했는데, 이번에는 knn이 아닌 다른 이미지 분류 기법으로 선형 분류기와 신경망 모델에 대해 살펴보겠습니다. 신경망(Neural Network) 모델은 선형 분류기들을 층(Layer)으로 연결한 것이라고 할 수 있습니다. 선형 분류기(Linear Classifier)는 주어진 데이터를 가장 잘 분류하는 선형 함수를 구하여, 새로운 입..
좋아요0
댓글1작성시간2023. 11. 23.

문의안내

티스토리
로그인
고객센터