LLM

프롬프트 엔지니어링이란? 컴퓨터와 대화하는 방법이고 컴퓨터에게 업무를 시키는 새로운 방식의 코딩이다. 사람한테도 말을 엄하게 하면 결과가 이상한 것처럼 컴퓨터한테도 훨씬 더 정확하게 이야기해야한다.  LLM Prompt Engineering모델을 훈련(Training)이라는 것은 오랫동안 대규모의 데이터셋으로 데이터에있는 다양한 특징 혹은 패턴, 맥락정보를 오랜기간동안 공부를 하고 익히는 방법입니다. 그러니까 쉽게 이야기하면, 아무것도 모르는 아기가 이것저것 공부해서 천재가 되가는 과정이라고 생각하면됩니다. 여기에는 Finetunning, pretraining등이 포함됩니다. 반면에 이미 학습이 끝난, 그러니까 이미 훈련이 끝난 모델에 어떻게 하면 더 정확도 높은 답변을 뽑을 수 있을까? 잠깐 배우는 거..

안녕하세요. 이번에는 LangChain을 활용해서 문서를 분할 할 수 있는 여러가지 TextSplitter에 대해 살펴보겠습니다. 현 포스팅 이후에 업데이트되어 새로 추가되는 내용들은 댓글에 남겨주시면 감사하겠습니다 :) 텍스트 분할기는 종종 문장에 해당하는 의미론적 의미를 지닌 작은 조각으로 텍스트를 나누는 도구입니다. 이 텍스트 분할기가 중요한 이유는 LLM모델마다 max token의 수가 다르기 때문입니다. 그래서 텍스트 분할기를 통해 모델에 들어가는 토큰수를 제한해주어야하는데 이때 TextSplitter가 중요한 역할을 합니다. chatGPT 3.5 API의 최대 토큰수는 4096이기 때문에 chunk 크기를 4000으로 잘라줘도 되지만, 그렇게되면 효율적이지 못하기 때문에 2000정도로 잘라주게..

안녕하세요. 현재 chatGPT의 뛰어난 성능으로 LLM, LangChain, RAG등 여러 요소들이 주목받기 시작했습니다. 사실 RAG는 chatGPT가 주목받기 전부터 자연어처리분야에서 종종 쓰이던 기술이였는데요. RAG는 자연어처리 분야에서도 QA, MRC분야 특히 ODQA분야에서 주목을 받던 기술입니다. RAG의 풀 네임은 Retrieval Augmented Generation인데요. 2020년 NeurlPs에 Accept이 되면서 주목을 받기 시작했습니다. 사실 RAG는 2021년 모 부트캠프에서 MRC에 대한 논문 흐름을 이야기하는 세미나를 했었는데요. MRC흐름을 공부하느라 RAG를 언급하고 공부했던 기억이 나는데, 다시금 2023년에 엄청난 주목을 받으니 새삼 신기하더라구요. RAG의 구조..

코파일럿은 현대적인 AI를 사용하고 대화 인터페이스를 갖춘 응용 프로그램으로, 사용자의 작업을 돕는 것이 목표입니다. GitHub Copilot으로 시작하여 몇 년 동안 다양한 Copilot들을 구축하는 과정에서 우리가 알아차린 것은 Copilot들을 만드는 과정의 공통점을 찾아내어 사용자 경험을 설계하고, 안전하고 책임감 있게, 비용 효율적으로 접근할 수 있는 기술 스택을 고안해야 한다는 것입니다. 우리는 시간과 노력을 들여 Copilot기술 스택을 설계했고, 이것은 많은 Copilot제품을 사용자에게 빠르게 제공할 수 있었던 유일한 이유가 되었습니다. - Era of Copilot, MS Build # Copilot stack # Copilot frontend # Orchestration framew..

chatGPT를 사용하기 위해서는 우선 API키를 발급받아야합니다. 다들 아시겠지만, chatGPT는 openAI에서 만들어진 제품이죠! 검색을 통해 openAPI홈페이지로 접속해봅시다! 1. OpenAI홈페이지 접속 https://openai.com/ OpenAI Watch OpenAI DevDay Keynote on Monday, November 6 at 10am openai.com 2. Log in후 API 페이지로 이동 오른쪽 상단에 LOG in 이 있으실 거에요 그 버튼을 클릭하시면 어떤 제품을 사용할 건지 클릭하실수가 있는데, 우리는 API를 발급받을거니까 제일 오른쪽에있는 API를 클릭해서 API를 받으러 가보겠습니다. API버튼을 누르시고 Welcome to OpenAI platform이라..