ChatGPT를 쓰기 시작하면서 LLM이라는 단어를 자주 듣게 됐습니다.
뉴스에서도, 유튜브에서도, AI 관련 글마다 LLM이 나왔습니다.
대충 AI랑 비슷한 말이겠거니 하고 넘겼는데,
어느 날 동료가 "GPT-4가 어떤 LLM을 쓰는 거야?"라고 물어봤을 때 제대로 설명을 못 했습니다.
쓰는 건 매일 쓰면서 정작 그게 뭔지는 모르고 있었던 겁니다.
그날 이후로 LLM이 무엇인지 찾아봤습니다.
어렵게 설명한 글들이 많았는데 핵심을 파악하고 나니 생각보다 어렵지 않았습니다.
오히려 알고 나서 ChatGPT를 쓰는 방식이 달라졌습니다.
왜 특정 질문에서 잘 틀리는지, 왜 최신 정보를 모르는지, 왜 길게 대화하다 보면 앞 내용을 잊어버리는지가 이해됐습니다.
이 글은 LLM을 처음 접하는 분들을 위한 입문 가이드입니다.
기술적인 설명보다 "그래서 이게 나한테 어떤 의미인지"에 초점을 맞춰 정리했습니다.
LLM이 뭔가요? — 한 문장으로 정리하면
LLM은 Large Language Model의 약자입니다. 한국어로는 대형 언어 모델이라고 합니다.
한 문장으로 정리하면 이렇습니다.
LLM은 엄청난 양의 텍스트를 학습해서 사람처럼 글을 읽고 쓸 수 있게 된 AI 시스템입니다.
ChatGPT, Claude, Gemini, Llama가 전부 LLM입니다.
LLM이라는 기술 위에 만들어진 서비스들입니다.
스마트폰에 비유하면 LLM은 운영체제이고 ChatGPT는 그 위에서 돌아가는 앱이라고 볼 수 있습니다.
Large, Language, Model — 단어 하나씩 이해하기
LLM이라는 이름 자체가 이 기술을 잘 설명합니다. 단어 하나씩 풀어보면 전체 개념이 잡힙니다.
Large — 크다
여기서 크다는 두 가지를 의미합니다. 학습에 쓴 데이터의 양이 크고, 모델 자체의 크기도 큽니다.
학습 데이터 양이 어느 정도냐면, 인터넷에 있는 방대한 텍스트, 책 수백만 권, 논문, 뉴스 기사, 코드를 전부 합친 수준입니다.
일반 성인이 평생 읽을 수 있는 분량의 수천 배입니다.
모델 크기는 파라미터 수로 측정합니다.
파라미터는 모델이 학습하면서 조정한 수치들인데, 많을수록 더 복잡한 패턴을 학습할 수 있습니다.
Language — 언어
LLM은 언어를 다루는 모델입니다.
여기서 언어는 텍스트 전반을 말합니다. 한국어, 영어, 일본어 같은 자연어뿐 아니라 코드, 수식도 포함됩니다.
이미지나 음성을 기본으로 다루지 않고 텍스트를 기반으로 한다는 것이 LLM의 특징입니다.
최근에는 이미지와 텍스트를 함께 다루는 멀티모달 모델도 나왔지만 기본은 언어입니다.
Model — 모델
수학적 구조를 가진 시스템입니다. 학습을 통해 패턴을 익히고, 그 패턴을 바탕으로 새로운 입력에 반응합니다.
사람처럼 이해하는 것이 아니라 통계적 패턴으로 다음에 올 말을 예측하는 방식으로 작동합니다.
LLM은 어떻게 작동하나요?
기술적인 설명보다 직관적으로 이해할 수 있는 방식으로 설명합니다.
핵심 원리 — 다음 단어 예측
LLM의 가장 핵심적인 작동 방식은 다음에 올 단어를 예측하는 것입니다.
"오늘 날씨가 너무 ___"라는 문장이 있으면 빈칸에 뭐가 올지 예측합니다.
단순히 한 단어를 예측하는 게 아니라 이 과정을 연속으로 반복해서 전체 문장과 문단을 만들어냅니다.
이 예측이 그럴싸한 이유는 엄청난 양의 텍스트를 학습했기 때문입니다.
사람들이 어떤 문맥에서 어떤 단어를 쓰는지의 패턴을 수십억 개 익혔습니다.
그 패턴을 바탕으로 자연스럽게 들리는 텍스트를 생성합니다.
학습 과정
LLM이 만들어지는 과정은 크게 세 단계입니다.
첫째, 사전 학습입니다. 방대한 텍스트 데이터를 학습합니다.
인터넷 텍스트, 책, 논문을 읽으면서 언어의 패턴을 익힙니다.
이 단계에서 엄청난 컴퓨팅 파워와 비용이 들어갑니다.
둘째, 파인튜닝입니다.
사전 학습된 모델을 특정 목적에 맞게 추가 학습합니다.
ChatGPT는 사람과 대화하는 방식으로 파인튜닝이 됐습니다.
의료용 LLM이라면 의학 데이터로 추가 학습합니다.
셋째, RLHF입니다. Reinforcement Learning from Human Feedback의 약자로,
사람이 모델의 답변을 평가해서 더 좋은 답변을 만들도록 강화 학습하는 방법입니다.
ChatGPT가 더 자연스럽고 도움이 되는 답변을 하게 된 핵심 방법입니다.
LLM을 알면 AI를 더 잘 쓸 수 있는 이유
LLM의 작동 방식을 이해하면 왜 AI가 이렇게 행동하는지가 보입니다.
답답했던 부분들이 이해되기 시작합니다.
왜 최신 정보를 모르나요?
LLM은 특정 시점까지의 데이터로만 학습됩니다.
이를 학습 데이터 컷오프라고 합니다. 그 이후에 일어난 일은 알지 못합니다.
ChatGPT가 최근 뉴스를 모르는 이유입니다.
최신 정보가 필요하면 웹 검색 기능을 켜거나 Perplexity를 함께 쓰는 방식으로 보완해야 합니다.
왜 사실이 아닌 내용을 자신 있게 말하나요?
LLM은 사실을 이해하는 게 아니라 텍스트 패턴을 학습한 것입니다.
그럴싸한 텍스트를 만드는 게 목표이기 때문에 정확하지 않은 내용도 자신 있게 말할 수 있습니다.
이게 할루시네이션이 생기는 근본적인 이유입니다. 중요한 사실은 반드시 외부에서 검증하는 습관이 필요합니다.
왜 대화가 길어지면 앞 내용을 잊나요?
LLM은 한 번에 처리할 수 있는 텍스트 양이 정해져 있습니다.
이를 컨텍스트 윈도우라고 합니다.
대화가 길어져서 컨텍스트 윈도우를 넘어가면 앞 내용이 밀려나갑니다.
Claude가 200K 토큰이라고 할 때 그게 바로 이 컨텍스트 윈도우 크기입니다.
긴 작업을 할 때는 중요한 내용을 새 대화 시작 때 다시 알려주거나, 컨텍스트 윈도우가 큰 모델을 쓰는 것이 좋습니다.
왜 같은 질문에 매번 다른 답변이 나오나요?
LLM은 다음 단어를 예측할 때 확률적으로 선택합니다.
완전히 고정된 답이 아니라 그때그때 다른 선택을 하기 때문에 같은 질문도 답변이 조금씩 다릅니다.
이 랜덤성을 온도(temperature)라고 하는데, 높을수록 창의적이고 낮을수록 일관성 있는 답변이 나옵니다.
LLM과 AI, 뭐가 다른가요?
LLM과 AI를 같은 말처럼 쓰는 경우가 많은데 정확하지 않습니다.
관계를 정리하면 이렇습니다.
AI는 가장 넓은 개념입니다. 인공지능 전반을 말합니다. 체스 AI, 이미지 인식 AI, 자율주행 AI도 전부 AI입니다.
머신러닝은 AI의 한 분야입니다. 데이터를 학습해서 패턴을 찾는 방법입니다.
딥러닝은 머신러닝의 한 방법입니다. 인간 뇌의 신경망을 모방한 구조를 씁니다.
LLM은 딥러닝을 기반으로 언어를 다루는 모델입니다.
AI라는 큰 틀 안에서 텍스트 생성에 특화된 분야입니다.
쉽게 말하면 LLM은 AI의 한 종류입니다.
하지만 AI라고 해서 다 LLM은 아닙니다.
오픈소스 LLM vs 클로즈드 LLM
LLM은 크게 두 가지로 나뉩니다. 오픈소스와 클로즈드입니다.
클로즈드 LLM은 GPT-4o, Claude, Gemini처럼 기업이 개발하고 API나 서비스 형태로만 제공합니다.
내부 구조는 공개되지 않습니다.
사용하려면 비용을 내야 합니다. 일반 사용자 입장에서는 성능이 높고 쓰기 편하다는 장점이 있습니다.
오픈소스 LLM은 Meta의 Llama, Mistral처럼 모델 자체를 무료로 공개합니다.
직접 서버에 설치해서 쓸 수 있고 내부를 수정할 수도 있습니다.
개발자나 기업이 자체 AI를 만들 때 활용합니다.
데이터를 외부 서버에 보내지 않아도 된다는 보안 장점도 있습니다.
일반 사용자라면 클로즈드 LLM 기반의 서비스인 ChatGPT나 Claude를 쓰는 게 편합니다.
개발자이거나 회사 데이터를 다루는 용도라면 오픈소스 LLM을 검토해볼 만합니다.
LLM의 한계 — 알고 쓰면 다릅니다
LLM이 못하는 것들을 알면 더 현명하게 쓸 수 있습니다.
실시간 정보를 모릅니다.
오늘 주가, 어제 뉴스, 방금 발표된 내용은 알 수 없습니다.
웹 검색 기능을 함께 쓰는 방식으로 보완해야 합니다.
정확한 계산을 잘 못합니다. 텍스트 패턴으로 작동하기 때문에 복잡한 수학 계산에서 오류가 나옵니다.
수치 계산은 코드 실행 기능을 쓰거나 계산기로 따로 검증하세요.
개인화된 정보를 모릅니다.
내 상황, 내 회사, 내 개인 데이터는 알지 못합니다.
관련 정보를 직접 입력해줘야 맥락에 맞는 답이 나옵니다.
판단과 책임이 없습니다.
법적 판단, 의학적 진단, 중요한 재무 결정을 LLM에게 맡기면 안 됩니다.
참고 자료로 활용하되 최종 판단은 사람이 해야 합니다.
LLM의 미래 - 어디로 가고 있나요?
LLM 기술은 빠르게 발전하고 있습니다.
지금 이미 시작된 방향들이 있습니다.
멀티모달이 기본이 됩니다. 텍스트만 다루던 LLM이 이미지, 음성, 영상까지 함께 처리하는 방향으로 가고 있습니다.
GPT-4o가 이미 이미지를 보고 대화하는 것처럼 앞으로는 더 다양한 형태의 입출력이 가능해집니다.
에이전트로 진화합니다. 질문에 답하는 것에서 스스로 계획을 세우고 실행하는 에이전트로 발전하고 있습니다.
사람이 지시만 하면 여러 단계를 스스로 처리하는 방향입니다.
경량화가 이뤄집니다. 지금은 대규모 서버가 필요하지만 점점 작고 빠른 모델이 나오고 있습니다.
스마트폰에서 LLM이 직접 돌아가는 시대가 이미 시작됐습니다.
더 긴 컨텍스트를 처리합니다.
지금도 Claude가 200K 토큰을 처리하지만 앞으로는 훨씬 더 긴 문서와 대화를 한 번에 처리할 수 있게 됩니다.
마무리
LLM을 처음 알게 됐을 때 가장 도움이 됐던 건 왜 AI가 틀리는지를 이해하게 된 것입니다.
AI가 신뢰할 수 없어서 못 쓰는 게 아니라 어떤 부분에서 틀릴 수 있는지 알고 그걸 보완하면서 쓰는 것입니다.
ChatGPT를 매일 쓰면서도 LLM이 뭔지 몰랐던 것처럼,
아이폰을 매일 쓰면서 CPU 구조를 몰라도 됩니다.
하지만 조금 알면 더 잘 쓸 수 있습니다.
이 글이 그 시작점이 됐으면 합니다.