운동하는 대학원생

LLM base basic modelzero-shot generation모든 코드 생성 모델의 기반이 되었으며 프롬프트를 단순히 output을 도출하는 방식으로 진행됨GPT3모델의 성능에 의존을 하기 때문에 결과에 대한 정확도가 낮음In-context learning (NeurIPS 2020, GPT-3)입력 프롬프트에 코드 실행에 대한 예시와 정답을 주고 학습을 시켜서 모델이 더 학습을 정확하게 하는 방식Reasoning (NeurIPS 2020, GPT-3)Chain of ThoughtLet’s think step by step처럼 프롬프트에 외부적인 시그널을 통해서 문제를 자체적으로 단계를 구분하고 지속적으로 생각 혹은 추론을 하게 해주는 방식 After agent (ReAct ICLR 2023..

개인적인 공부 정리 Prompt의 입력 사람이 입력하는 단어를 자연어 형태에서 데이터 형태로 표현을 해야 한다.가장 단순한 방식은 모든 단어에 대하여 사전을 만들어서 일대일로 매핑 시키는 방식이다.하지만 여기서의 문제는 과연 컴퓨터가 인식을 함에 있어서 단어의 기준을 어떻게 잡을 것 인가 혹은 합성어와 같이 어떤 단위로 단어를 구분해야 할지 많은 연구와 모델들이 존재한다.SentencePiece (32,000 vocab)단어를 사전에 가지고 있던 데이터의 빈도, 확률을 기반으로 단어를 분리한다.시작을 나타내는 단어와 공백을 나타내는 단어를 포함하며 사전에 없는 단어는 UTF-8 바이트 단위로 강제로 분해한다.실행 화면o200k_harmony(200,000 vocab)다국어 멀티모달GPT-3/4에서 주로..

Intro 요즘 GPT, LLMA, Dolly 등 다양하게 LLM 모델의 열풍이 불고 있어서 이번에 실습으로 Auto-GPT라는 것을 한번 해보았다. 참고 영상 https://www.youtube.com/watch?v=YbLef4CrZNU&t=593s 소스 코드 https://github.com/Significant-Gravitas/Auto-GPT GitHub - Significant-Gravitas/Auto-GPT: An experimental open-source attempt to make GPT-4 fully autonomous. An experimental open-source attempt to make GPT-4 fully autonomous. - GitHub - Significant-Gra..