LLM이란 무엇인가?

순서가 중요한 세 단어

이름을 거꾸로 뜯어봅시다.

모델(Model). 모델은 입력을 출력으로 바꾸는 함수이며, 그 규칙은 프로그래머가 작성한 것이 아니라 데이터로부터 학습된 것입니다. 날씨 모델은 오늘의 관측값을 입력받아 내일의 예보를 출력합니다. 언어 모델은 텍스트를 입력받아 다음에 올 내용의 확률을 출력합니다.

언어(Language). 입력과 출력 모두 텍스트이며, 토큰이라는 단어 조각으로 잘게 나뉩니다. AI에서 토큰이란에서 이 단위를 자세히 다루는데, 짧게 말하면 모델은 대략 단어의 4분의 3 크기 조각 단위로 읽고 씁니다.

대규모(Large). 모델은 학습 과정에서 조정되는 내부 수치인 파라미터를 매우 많이 가지고 있습니다. 2019년 GPT-2는 15억 개였습니다. 2020년 GPT-3는 1,750억 개였습니다. 이 사이트가 2026년에 가격을 매기는 카탈로그에는 2.4조 개의 파라미터를 가진 Qwen 모델이 포함되어 있으며, 그중 약 950억 개가 토큰 하나당 활성화됩니다. "대규모"라는 이름값을 톡톡히 하는 셈이며, 그 수치는 7년 만에 천 배 넘게 늘어났습니다.

즉 LLM은 매우 거대한 다음 토큰 예측기입니다. 추론, 어조, 자신감 넘치는 실수 등 사람들이 여기에 갖다 붙이는 다른 모든 특성은 바로 이 하나의 작업에서 비롯됩니다.

LLM은 챗봇이 아니며, 그 차이가 곧 제품 전체입니다

ChatGPT는 앱입니다. GPT는 그 안의 모델입니다. Claude는 모델 계열이자 Anthropic이 그 위에 씌운 앱이기도 합니다. Gemini도 Google에서 마찬가지입니다. AI 챗봇이란에서 앱 계층을 다루며, 이 페이지는 엔진에 관한 것입니다.

엔진을 바꿀 수 있다는 사실을 아는 순간, 이 구분은 더 이상 학술적인 이야기가 아니게 됩니다. 같은 채팅 창에서 메시지를 GPT, Claude, Gemini, DeepSeek, Llama 중 어디로든 보낼 수 있으며, 답변은 어조, 비용, 속도, 정확도에서 서로 다릅니다. Whizi 같은 멀티 모델 워크스페이스가 바로 이런 구조입니다. 창은 하나, 그 뒤에 280개 이상의 모델이 있고, 어느 모델이 답할지 고르는 선택기가 있습니다. 앱은 운전대이고 LLM은 엔진이며, 엔진은 수십 종류가 있습니다.

LLM은 어떻게 학습되는가, 두 단계로

1단계, 사전학습(pretraining). 모델은 방대한 텍스트 말뭉치를 읽고, 각 위치마다 다음 토큰을 추측합니다. 틀린 추측 하나하나가 파라미터를 조금씩 조정합니다. Meta는 Llama 3가 15조 개가 넘는 토큰으로 사전학습되었다고 밝혔는데, 토큰당 단어 4분의 3이라는 기준으로 75,000단어 분량 소설이 약 10만 토큰인 점을 감안하면 이는 대략 1억 5천만 권의 책에 해당하는 텍스트 양입니다. 이 단계를 마친 모델은 훌륭한 자동완성기이지만 형편없는 비서입니다. 질문을 던지면 질문을 세 개 더 이어 쓸 수도 있는데, 인터넷의 텍스트가 흔히 그런 식이기 때문입니다.

2단계, 후속학습(post-training). 이후 모델에게 좋은 답변의 예시를 보여주고, 사람들이 두 답변 중 어느 쪽이 더 나은지 평가하게 합니다. 이를 사람 피드백 기반 강화학습, 즉 RLHF라고 부릅니다. 여기서 비서다운 행동, 즉 요청한 형식대로 질문에 답하고 일부 요청은 거절하는 행동이 만들어집니다. 이것은 새로운 지식이 아니라 코칭입니다. 사실 정보는 여전히 1단계에서 옵니다.

두 단계에서 두 가지가 따라옵니다. 모델의 지식은 사전학습 데이터가 끝난 시점에서 멈추며, 이것이 모든 모델에 지식 마감일이 있는 이유입니다. 그리고 어느 단계에서도 사실 확인 장치가 설치되지 않습니다. 모델은 그럴듯한 텍스트를 만드는 법을 배운 다음, 호감 가는 텍스트를 만드는 법을 배웠을 뿐입니다. 진실은 둘 다의 흔한 부산물일 뿐, 보장되는 것이 아닙니다. AI가 틀리는 이유에서 이 이야기를 더 깊이 다룹니다.

LLM이 찾아보는 대신 예측하는 이유

검색엔진은 검색합니다. 페이지 색인을 가지고 있고 일치하는 것을 반환합니다. LLM에는 색인이 없습니다. 사전학습 중에 읽은 모든 것은 파라미터 안에 압축되었고, 답변 시점에는 그 압축된 것으로부터 한 번에 토큰 하나씩, 확률 분포에서 골라 텍스트를 다시 생성합니다.

그래서 LLM은 이름조차 들어본 적 없는 요리의 레시피를 그럴듯하게 써낼 수 있는 동시에, 존재하지 않는 판례 인용을 만들어낼 수도 있습니다. 둘 다 그럴듯한 이어쓰기일 뿐입니다. 모델에는 그럴듯한 이어쓰기가 실제로 사실인지 확인하는 별도의 장치가 없습니다.

제품들이 쓰는 해결책은 검색을 덧붙이는 것입니다. 먼저 웹이나 사용자의 파일을 검색한 다음, 그 구절들을 모델에 건네주고 그것을 바탕으로 답하게 합니다. 이 기법을 RAG라고 부르며, RAG란 무엇인가에서 설명합니다. 채팅 앱 안의 웹 검색은 인터넷을 출처로 삼는 RAG입니다. 모델은 여전히 예측하고 있을 뿐이며, 다만 더 나은 자료를 바탕으로 예측할 뿐입니다.

가격이 계열 안에서 무엇을 사는지, 수치로

모든 계열은 사다리 구조로 출시됩니다. 소형 모델, 중형 모델, 플래그십 모델. 공개 추론, 코딩, 지식 벤치마크를 종합한 점수인 Artificial Analysis 지능 지수는 각 단계에 숫자를 매기고, 리더보드는 그 옆에 백만 토큰당 혼합 가격을 함께 나열합니다. 아래 네 개의 사다리는 2026-09-17에 확인한 것입니다.

OpenAI는 18배의 요금으로 15점을 더 사고, Anthropic은 36배로 35점을, Qwen은 16배로 19점을 삽니다. DeepSeek는 이 패턴을 깨뜨립니다. V4 Flash는 V4 Pro보다 절반도 안 되는 가격으로 더 높은 점수를 받습니다. 여기서 두 가지가 따라옵니다. 계열 안에서는 마지막 몇 점이 가장 비싸므로, 짧은 사실 확인용 질문이라면 소형 모델도 플래그십과 같은 답을 줍니다. 그리고 계열을 넘나들면 가격은 품질의 약한 지표일 뿐입니다. 백만 토큰당 $0.27인 DeepSeek V4 Flash는 $5.09인 Claude Sonnet 5보다 2점 더 높은 점수를 받습니다. 이것이 구매자로서 LLM에 대해 알아야 할 가장 유용한 사실입니다. 모델은 고정 비용이 아니라 다이얼입니다. Whizi도 같은 논리로 요금을 매깁니다. 하우스 모델 메시지 하나에 크레딧 1개, Claude Opus 5에는 20개, 가장 비싼 항목은 최대 100개까지이며, Whizi 크레딧이 작동하는 방식에서 모델별로 정리해 두었습니다.

다만 솔직히 말하면, 종합 지수는 여러 작업의 평균일 뿐입니다. 긴 추론 사슬이라면 플래그십이 그만한 값을 하지만, 단순한 재작성이라면 그렇지 않습니다. 각 계열이 실제로 무엇을 잘하는지 비교하려면 어떤 AI 모델을 써야 할까가 결정을 도와주는 페이지입니다.

LLM이 할 수 없는 것, 한 목록으로

아래 내용은 모두 아키텍처의 결과이지, 다음 출시로 고쳐질 버그가 아닙니다.

• 검색이 텍스트를 건네주지 않는 한, 학습 마감일 이후의 일은 알 수 없습니다.
• 긴 입력에서 안정적으로 개수를 셀 수 없습니다. 항목을 하나씩 순회하는 것이 아니라 토큰과 확률로 작동하기 때문입니다.
• 자기 출력을 검증할 수 없습니다. 같은 모델이 다시 검토해도 같은 예측기가 다시 추측하는 것일 뿐입니다.
• 제품이 메모를 저장했다가 다시 붙여넣지 않는 한, 대화 사이에 당신을 기억할 수 없습니다. 그 기억은 모델의 기능이 아니라 제품의 기능입니다.
• 대화 전체를 영원히 볼 수 없습니다. 모든 모델에는 한 번에 고려할 수 있는 최대 텍스트 양인 컨텍스트 윈도우가 있으며, 컨텍스트 윈도우란에서 그 한계에 부딪히면 어떤 일이 벌어지는지 설명합니다.

실용적인 결론은 이렇습니다. LLM을 유창하지만 가끔 틀리는 동료로 대하고, 검증은 당신 쪽에서 계속 맡으세요. 모델을 스스로 행동하는 존재로 바꾸는 루프는 별개의 것이며, AI 에이전트란에서 그 경계를 그어 둡니다. 비용이 걸린 일이라면 다른 모델에게도 물어보세요. 서로 다른 예측기 두 개가 같은 답을 내놓는 것은 약한 증거이고, 둘이 다른 답을 내놓는 것은 확인해야 한다는 강한 신호입니다.