분류 전체보기

standford cs231n 2023년 버전으로 작성했습니다. 틀린 내용이 있으면 댓글로 남겨주세요~chapter2에서는 conputer vision의 핵심분야이고, 1. The image classification task와 2. Image classification을 두 가지의 기초적인 data-driven approaches로 배우게 됩니다. 그 중 하나는 k-nearest neighbor이고 또 하나는 linear classifier을 배우게 됩니다. Image Classification : A core task in Computer Vision 컴퓨터 비전에서 가장 중요한 것은 이미지 분류입니다. 이미지 분류(Image classification)란, 어떤 사진을 보았을 때, 그 사진들이 어떤..

안녕하세요. 이번에는 LangChain을 활용해서 문서를 분할 할 수 있는 여러가지 TextSplitter에 대해 살펴보겠습니다. 현 포스팅 이후에 업데이트되어 새로 추가되는 내용들은 댓글에 남겨주시면 감사하겠습니다 :) 텍스트 분할기는 종종 문장에 해당하는 의미론적 의미를 지닌 작은 조각으로 텍스트를 나누는 도구입니다. 이 텍스트 분할기가 중요한 이유는 LLM모델마다 max token의 수가 다르기 때문입니다. 그래서 텍스트 분할기를 통해 모델에 들어가는 토큰수를 제한해주어야하는데 이때 TextSplitter가 중요한 역할을 합니다. chatGPT 3.5 API의 최대 토큰수는 4096이기 때문에 chunk 크기를 4000으로 잘라줘도 되지만, 그렇게되면 효율적이지 못하기 때문에 2000정도로 잘라주게..

안녕하세요. 현재 chatGPT의 뛰어난 성능으로 LLM, LangChain, RAG등 여러 요소들이 주목받기 시작했습니다. 사실 RAG는 chatGPT가 주목받기 전부터 자연어처리분야에서 종종 쓰이던 기술이였는데요. RAG는 자연어처리 분야에서도 QA, MRC분야 특히 ODQA분야에서 주목을 받던 기술입니다. RAG의 풀 네임은 Retrieval Augmented Generation인데요. 2020년 NeurlPs에 Accept이 되면서 주목을 받기 시작했습니다. 사실 RAG는 2021년 모 부트캠프에서 MRC에 대한 논문 흐름을 이야기하는 세미나를 했었는데요. MRC흐름을 공부하느라 RAG를 언급하고 공부했던 기억이 나는데, 다시금 2023년에 엄청난 주목을 받으니 새삼 신기하더라구요. RAG의 구조..

코파일럿은 현대적인 AI를 사용하고 대화 인터페이스를 갖춘 응용 프로그램으로, 사용자의 작업을 돕는 것이 목표입니다. GitHub Copilot으로 시작하여 몇 년 동안 다양한 Copilot들을 구축하는 과정에서 우리가 알아차린 것은 Copilot들을 만드는 과정의 공통점을 찾아내어 사용자 경험을 설계하고, 안전하고 책임감 있게, 비용 효율적으로 접근할 수 있는 기술 스택을 고안해야 한다는 것입니다. 우리는 시간과 노력을 들여 Copilot기술 스택을 설계했고, 이것은 많은 Copilot제품을 사용자에게 빠르게 제공할 수 있었던 유일한 이유가 되었습니다. - Era of Copilot, MS Build # Copilot stack # Copilot frontend # Orchestration framew..

FastAPI에서 사용되는 Pydantic 2.5버전튜토리얼을 살펴봐주세요! Pydantic setting은 환경 변수 혹은 비밀로 설정해야할 것들 또는 구성 클래스를 로드하기 위해 pydantic기능들을 제공하고 있는데요. 저는 이 기능은 openAPI키를 숨기기위해 기능을 사용했는데요. 사용방법을 아래에서 살펴보도록 하시죠~ # pydantic-setting install 일단 pydantic-setting을 깔아야해요! 간단하게 pip install로 깔아주세요~ pip install pydantic-settings # SettingsConfigDict를 활용해 .env파일 불러오기 저는 main.py와 같은 위치에 .env파일을 만들고 .env파일에 숨겨져야하는 openai_api_key를 이렇게..

안녕하세요 2023년 음성인식 중 가장 성능이 좋다고 알려진 일명 "whisper"라는 논문에 대해서 살펴보겠습니다. 현재 음성인식은 whisper를 base로 한 변형된 여러 모델들이 계속 나오고 있습니다! 변형된 모델을 살펴보기 전에 base가 되는 whisper모델은 어떤 모델인지 먼저 살펴보고 변형된 모델들에 대해서도 살펴보겠습니다! 음성인식이라는 것은 발화가 있는 오디오 데이터를 발화 그대로 text로 써주는 기술이죠! Speech to Text. 줄여서 STT라고 부릅니다. whisper는 광범위한 오디오 샘플에 대해 광범위하게 훈련된 다목적 음성 인식 모델입니다. 다국어 음성 인식, 음성 번역, 언어 식별등 여러 작업을 처리할 수 있는 멀티태스킹 모델입니다. #1. whisper 소개 기존 ..

여러분 안녕하세요! 이번 포스팅에서는 windows에서 wsl2를 활용해서 linux사용할 수 있는 환경을 만들어볼거에요~ 저도 초보자이기 때문에 아래 블로그를 잘 따라오시면 여러분들도 금방 따라오실 수가 있습니다! 그러면 Step별로 한번 따라가보겠습니다! 제가 window에 linux를 사용해야하겠다고 생각한 계기가 인공지능 프로젝트를 하고 있는데, 제가 사용하는 모델이 오직 Ampere GPUs만 지원이 된다는거에요!!!!!! Colab에서 돌리고 있었는데 이 모델 돌리자고 pro로 업그레이드해서 A100사용하긴 부담이고, 맥북은 m1이라 안돌아가고... 마지막 데스크탑에만 rtx3090이 깔려 있어서 이걸로 시도를 해볼 수 있을 것 같은데.. 최악의 window환경이랍니다. window는 터미널 ..

새로운 branch만들 때 - git checkout -b repository에 commit 할때 git add . # git에 수정사항 업로드 git status # 수정된 파일 미리보기 git commit -m "commint 내용쓰기" # commit 쓰기 git push origin 현 pr에서 제거할 때 git rm --cached -rf . git add . git commit -m "{커밋 메시지 입력}"

chatGPT를 사용하기 위해서는 우선 API키를 발급받아야합니다. 다들 아시겠지만, chatGPT는 openAI에서 만들어진 제품이죠! 검색을 통해 openAPI홈페이지로 접속해봅시다! 1. OpenAI홈페이지 접속 https://openai.com/ OpenAI Watch OpenAI DevDay Keynote on Monday, November 6 at 10am openai.com 2. Log in후 API 페이지로 이동 오른쪽 상단에 LOG in 이 있으실 거에요 그 버튼을 클릭하시면 어떤 제품을 사용할 건지 클릭하실수가 있는데, 우리는 API를 발급받을거니까 제일 오른쪽에있는 API를 클릭해서 API를 받으러 가보겠습니다. API버튼을 누르시고 Welcome to OpenAI platform이라..

생성형 AI를 체험해볼 수 있는 사이트가 있어서 소개해드리려고 합니다~! 바로 아래 사이트인데요! 회원가입하고 로그인을 해야지만 무료로 체험이 가능한 것 같아요! 그래서 체험해보고싶으신분들은 회원가입하시고 사용하시면 될 것 같습니다! 로그인하시면 바로 아래와 같은 화면이 나오실 텐데요! 여기서는 Speech Synthesis의 결과를 나타나기 위한 여러 셋팅들을 조절할 수 있습니다! 어떤 사람이 말하는지 어떤 톤으로 말하는지 그리고 언어 선택까지~~!! 사람의 목소리를 선택할 수 있습니다! 저는 Patrick을 선택했는데요. 미국사람이고 소리지르는 듯한 목소리를 낸다고 하네요~! 사람 목록에는 여러 목소리를 내는 선택지들이 있어요! 여러분의 취향에 맞는 사람을 선택해봅시다~ 그리고 그 밑에는 Voice ..