ChatGPT를 쓰다 보면 아쉬운 순간이 생깁니다.
우리 회사 특유의 말투가 있는데 AI는 그걸 모르고, 우리 업종에서만 쓰는 전문 용어를 계속 틀리게 쓰는 경우가 생기고는 하죠.
프롬프트에 열심히 설명해도 매번 조금씩 다른 결과가 나올때면 "AI를 우리 회사 스타일로 완전히 바꿀 수 있으면 좋겠다"는 생각이 들고는 합니다.
그 해결 방법이 파인튜닝입니다. RAG에 대한 글을 쓴 뒤에 파인튜닝을 물어보는 분들이 생겼습니다. 둘이 비슷한 것 같지만 역할이 전혀 다릅니다. RAG가 AI에게 참고 자료를 주는 방법이라면, 파인튜닝은 AI 자체를 다시 훈련시켜서 체질을 바꾸는 방법이기 때문이에요.
처음에는 파인튜닝이 개발자만 하는 거라고 생각했는데, 비개발자도 개념을 알아두면 업무에서 훨씬 현명하게 AI를 활용할 수 있었습니다. 이 글은 파인튜닝이 정확히 무엇인지, 언제 필요한지, 비개발자는 어떻게 접근할 수 있는지를 정리해 보았습니다.
파인튜닝이 뭔가요? — 한 문장으로
파인튜닝은 이미 만들어진 AI 모델을 특정 목적에 맞게 추가로 학습시키는 과정입니다.
요리 비유로 설명하면 이렇습니다. 요리학교를 졸업한 셰프가 있습니다. 한식, 양식, 중식을 다 배운 실력 있는 셰프입니다. 그런데 일하는 레스토랑이 양식 음식만 만드는 곳입니다. 식당의 레시피가 변경되면서 한식, 양식, 중식이 퓨전된 음식을 해야할 때 이 셰프를 처음부터 다시 키울 필요는 없습니다. 우리 식당의 새로운 레시피와 스타일만 집중적으로 가르치면 됩니다. 그게 파인튜닝입니다.
ChatGPT, Claude 같은 AI는 수많은 텍스트를 학습해서 범용적인 능력을 갖췄습니다. 파인튜닝은 거기에 추가로 우리 회사 문서, 우리 업종 용어, 우리 브랜드 말투를 집중적으로 학습시켜서 특화된 AI로 만드는 과정입니다.
파인튜닝 vs 프롬프트 엔지니어링 vs RAG
비슷한 개념들이 있어서 헷갈릴 수 있습니다. 세 가지를 한 번에 정리합니다.
프롬프트 엔지니어링
AI에게 매번 지시를 잘 내리는 방법입니다. AI 자체는 바뀌지 않습니다. 같은 AI에게 더 좋은 질문을 하는 스킬입니다. 비용이 들지 않고 바로 적용됩니다. 하지만 매번 지시를 잘 써야 하고, 대화창을 닫으면 설정이 사라집니다.
RAG
AI가 답하기 전에 관련 문서를 검색해서 참고하게 하는 방법입니다. AI 자체는 바뀌지 않습니다. 최신 정보나 내부 문서를 실시간으로 참조하게 하는 데 유리합니다. 문서가 바뀌면 바로 반영됩니다.
파인튜닝
AI 모델 자체를 추가 학습시켜서 바꾸는 방법입니다. AI의 행동 방식과 스타일이 바뀝니다. 한 번 학습시키면 매번 지시하지 않아도 됩니다. 하지만 비용과 시간이 들고 데이터를 준비해야 합니다.
| 구분 | AI자체변화 | 비용 | 최신정보반영 | 스타일변경 |
| 프롬프트 엔지니어링 | 없음 | 없음 | 어려움 | 매번 지시 필요 |
| RAG | 없음 | 중간 | 가능 | 어려움 |
| 파인튜닝 | 있음 | 높음 | 어려움 | 영구 반영 |
세 가지는 경쟁 관계가 아닙니다. 목적에 따라 맞는 방법을 쓰거나 함께 씁니다.
파인튜닝이 필요한 순간
파인튜닝이 항상 필요한 건 아닙니다. 어떤 상황에서 파인튜닝이 효과적인지 알면 필요한 때를 알 수 있습니다.
특정 말투나 스타일이 일관되게 필요할 때
브랜드 고유의 어투가 있는 기업들이 있습니다. 항상 반말을 쓰는 브랜드, 특정 이모지를 꼭 넣는 브랜드, 특유의 문장 구조가 있는 브랜드. 프롬프트로 매번 설명해도 일관성이 떨어집니다. 파인튜닝을 하면 그 스타일이 모델에 내재화됩니다.
특수 용어나 전문 분야 지식이 많을 때
의료, 법률, 금융, 특정 산업에서만 쓰는 용어들이 있습니다. 일반 AI는 이런 용어를 틀리게 쓰거나 모르는 경우가 있습니다. 해당 분야 문서로 파인튜닝하면 전문 용어를 정확하게 쓰는 AI를 만들 수 있습니다.
특정 형식의 출력이 항상 필요할 때
보고서는 항상 이 형식으로, 이메일은 항상 이 구조로, 코드는 항상 이 스타일로 나와야 하는 경우가 있습니다. 매번 프롬프트에 형식을 지정하지 않아도 항상 그 형식으로 나오게 하고 싶을 때 파인튜닝이 유효합니다.
대규모 반복 작업을 처리할 때
고객 응대 메시지를 하루에 수천 건 처리해야 한다면 매번 프롬프트를 정교하게 쓸 수 없습니다. 파인튜닝을 통해 모델 자체가 원하는 방식으로 작동하면 개별 프롬프트 없이도 일관된 결과가 나옵니다.
파인튜닝은 어떻게 하나요?
파인튜닝 과정을 크게 세 단계로 나눌 수 있습니다.
1단계 — 데이터 준비
파인튜닝의 핵심은 학습 데이터입니다. 어떤 데이터를 넣느냐가 결과를 결정합니다.
학습 데이터는 보통 입력과 출력 쌍으로 구성됩니다. 예를 들어 고객 응대 챗봇을 파인튜닝한다면 고객 문의와 그에 대한 이상적인 답변 쌍을 수백에서 수천 개 준비합니다.
데이터 품질이 중요합니다. 잘못된 데이터로 학습시키면 잘못된 방향으로 파인튜닝됩니다. 쓰레기를 넣으면 쓰레기가 나온다는 원칙이 파인튜닝에도 그대로 적용됩니다.
2단계 — 모델 선택 및 학습
어떤 기반 모델을 파인튜닝할지 선택합니다. OpenAI의 경우 파인튜닝을 지원하는 모델이 있고, 플랫폼에서 직접 파인튜닝 작업을 할 수 있습니다.
준비한 데이터를 업로드하고 학습을 시작합니다. 데이터 양과 모델 크기에 따라 몇 시간에서 며칠이 걸릴 수 있습니다.
3단계 — 평가 및 반복
학습된 모델을 테스트합니다. 원하는 방향으로 잘 작동하는지, 의도하지 않은 이상한 행동은 없는지 확인합니다. 결과가 만족스럽지 않으면 데이터를 보완하고 다시 학습시킵니다.
파인튜닝은 한 번에 완성되지 않는 경우가 많습니다. 테스트하고 개선하는 반복 과정이 필요합니다.
비개발자는 파인튜닝을 어떻게 활용하나요?
파인튜닝 자체는 기술적인 작업이지만 비개발자도 활용할 수 있는 방법들이 있습니다.
OpenAI 파인튜닝 플랫폼 활용하기
OpenAI는 코드 없이 파인튜닝을 할 수 있는 플랫폼을 제공합니다. platform.openai.com에서 Fine-tuning 메뉴를 선택하면 됩니다.
데이터를 JSONL 형식으로 준비해서 업로드하고 학습을 시작하면 됩니다. JSONL 형식이 낯설어 보이지만 질문과 답변을 특정 형식으로 정리하는 것입니다. ChatGPT에게 "내 데이터를 JSONL 형식으로 변환해줘"라고 하면 도와줍니다.
비용은 학습에 사용한 토큰 수에 따라 달라집니다. 정확한 가격은 OpenAI 공식 사이트에서 확인하세요.
노코드 파인튜닝 서비스 활용하기
코딩이 전혀 필요 없는 파인튜닝 서비스들이 있습니다.
Hugging Face AutoTrain은 데이터를 업로드하면 자동으로 파인튜닝을 해주는 서비스입니다. 인터페이스가 단순해서 비개발자도 쓸 수 있습니다.
Poe, Character.AI 같은 서비스는 프롬프트 수준에서 AI 페르소나를 커스터마이징할 수 있습니다. 완전한 파인튜닝은 아니지만 특정 스타일로 일관되게 동작하는 AI를 만드는 데 활용됩니다.
파인튜닝 전문 업체에 맡기기
데이터만 준비하고 파인튜닝 작업 자체는 전문 업체에 맡기는 방법도 있습니다. 국내에도 기업용 AI 파인튜닝 서비스를 제공하는 업체들이 있습니다. 회사 내부 문서나 고객 응대 데이터를 기반으로 기업 맞춤형 AI를 만드는 프로젝트로 진행됩니다.
파인튜닝의 한계와 주의할 점
파인튜닝이 만능은 아닙니다. 알고 써야 하는 한계들이 있습니다.
데이터 품질이 전부입니다
파인튜닝 결과는 학습 데이터에 달려있습니다. 편향된 데이터, 부정확한 데이터, 양이 부족한 데이터로 학습하면 오히려 안 좋은 방향으로 바뀔 수 있습니다. 데이터 준비에 가장 많은 시간을 써야 합니다.
최신 정보를 따라가지 못합니다
파인튜닝을 해도 학습 이후에 생긴 정보는 모릅니다. 시장 상황이나 제품 정보가 자주 바뀌는 분야라면 파인튜닝보다 RAG가 더 적합할 수 있습니다.
비용이 발생합니다
파인튜닝은 학습 비용과 이후 사용 비용이 모두 발생합니다. 일반 API 사용보다 비용이 높습니다. 소규모 개인 용도라면 파인튜닝보다 프롬프트 엔지니어링이나 RAG가 더 현실적일 수 있습니다.
원치 않는 방향으로 변할 수 있습니다
파인튜닝은 AI의 전반적인 능력에 영향을 줍니다. 특정 스타일을 잘하게 만들면서 다른 능력이 떨어지는 경우가 생길 수 있습니다. 파인튜닝 전후를 철저히 테스트하는 과정이 필요합니다.
파인튜닝이 필요한지 판단하는 기준
파인튜닝을 해야 할지 고민될 때 이 순서로 판단해보세요.
먼저 프롬프트 엔지니어링으로 해결이 되는지 확인합니다. Custom Instructions를 잘 설정하고 프롬프트를 정교하게 쓰는 것만으로 원하는 결과가 나온다면 파인튜닝이 필요 없습니다.
그다음으로 RAG로 해결이 되는지 확인합니다. 최신 정보나 내부 문서 기반 답변이 필요한 거라면 파인튜닝보다 RAG가 더 적합합니다.
위 두 가지로 해결이 안 될 때 파인튜닝을 고려합니다. 스타일이 일관되게 안 나오거나, 전문 용어를 계속 틀리거나, 대규모 반복 작업에서 매번 긴 프롬프트를 써야 한다면 파인튜닝이 효과적입니다.
마무리
파인튜닝은 AI를 범용 도구에서 내 상황에 맞는 전문 도구로 바꾸는 방법입니다. 처음에는 개발자만의 영역처럼 느껴졌지만 노코드 서비스들이 늘어나면서 진입 장벽이 낮아지고 있습니다.
당장 파인튜닝을 직접 할 계획이 없어도 개념을 알아두는 게 중요합니다. AI 서비스를 도입하거나 업무에 AI를 적용하는 논의를 할 때 파인튜닝이 무엇인지, 언제 필요한지, RAG와 어떻게 다른지를 알면 더 현명한 결정을 내릴 수 있습니다.
지금 당장 시작할 수 있는 건 데이터 수집입니다. 우리 회사만의 말투가 담긴 기존 콘텐츠, 고객 응대 이력, 내부 문서들을 정리해두는 것 자체가 나중에 파인튜닝을 할 때 가장 중요한 자산이 됩니다.
파인튜닝이란, AI파인튜닝, FineTuning, AI커스터마이징, RAG파인튜닝차이, AI학습