대규모 언어 모델 (LLM) 소개
이 비디오에서는 대규모 언어 모델(LLM)의 핵심 엔진에 대해 알아봅니다. LLM은 복잡한 주제이지만, 이 비디오에서는 LLM이 어떻게 작동하는지에 초점을 맞추고 있습니다. 특히, 냉체인(LangChain) 내에서 LLM이 어떻게 활용되는지에 대해 다룹니다.
트랜스포머 아키텍처
자연어 처리 문제에서 많이 사용되는 트랜스포머 아키텍처를 소개합니다. 트랜스포머 아키텍처는 인코더와 디코더 두 부분으로 구성됩니다.
- 인코더: 기계가 우리가 말하는 내용을 이해할 수 있도록 입력 문장을 변환하는 역할을 합니다.
- 디코더: 인코더에서 이해한 내용을 바탕으로 적절한 응답을 생성하는 역할을 합니다.
LLM의 발전
LLM의 발전 과정을 2018년부터 살펴봅니다. 주요 모델로는 GPT 시리즈(GPT-1, GPT-2, GPT-3, ChatGPT, GPT-4), BERT, 그리고 Google의 Bard, PaLM 등이 있습니다.
- 인코더 모델: 주로 입력된 내용을 이해하는 데 중점을 둡니다. (분홍색으로 표시)
- 디코더 모델: 주로 응답을 생성하는 데 중점을 둡니다. (파란색으로 표시)
- 인코더-디코더 모델: 입력 이해와 응답 생성 모두를 잘 수행합니다.
최근에는 디코더 중심의 모델들이 빠르게 발전하고 있습니다. 특히 OpenAI의 GPT 시리즈가 큰 발전을 이루었습니다. GPT-3는 뛰어난 텍스트 생성 능력을 보여주었고, ChatGPT는 일반 사용자에게도 LLM을 쉽게 사용할 수 있게 만들었습니다. GPT-4는 현재 가장 높은 수준의 인공지능 성능을 보여주는 모델로 평가받고 있습니다.
폐쇄형 소스 (Closed Source) LLM
폐쇄형 소스 LLM은 특정 회사에서 개발한 모델로, 사용 시 비용을 지불해야 합니다. 이러한 모델의 내부 구조는 공개되지 않습니다.
- 장점: 뛰어난 성능과 사용 편의성이 높습니다. API를 통해 쉽게 접근할 수 있습니다.
- 단점: 보안 문제가 발생할 수 있고, API 호출 비용이 발생합니다. 회사 내부의 기밀 데이터를 다루는 데는 위험할 수 있습니다.
오픈 소스 (Open Source) LLM
오픈 소스 LLM은 모델의 구조와 가중치가 공개되어 있어 자유롭게 사용하고 수정할 수 있습니다.
- 장점: 보안성이 높고, 비용이 저렴합니다.
- 단점: 개발 난이도가 높고, 모델을 실행하기 위해 GPU 등의 하드웨어가 필요합니다.
주요 오픈 소스 모델:
- 라마(LLaMA): 메타에서 개발한 오픈 소스 LLM. 라마를 기반으로 파인튜닝된 다양한 모델들이 등장하고 있습니다.
- 코드라마(Code LLaMA): 코드 생성에 특화된 라마 모델로, GPT-4보다 뛰어난 코딩 성능을 보이기도 합니다.
최근에는 오픈 소스 LLM의 성능이 빠르게 발전하고 있으며, 일부 모델은 GPT-4에 버금가는 성능을 보여주기도 합니다.
결론
LLM은 인공지능 분야에서 중요한 역할을 하고 있으며, 클로즈드 소스와 오픈 소스 모델 모두 다양한 장단점을 가지고 있습니다. 냉체인(LangChain) 내에서 LLM을 어떻게 활용할 수 있는지 앞으로 실습을 통해 알아볼 예정입니다.