Whizi에서 AI 모델을 나란히 비교하는 법

짧은 답

채팅 헤더에서 Compare를 누르고 각 열에 모델을 하나씩 선택한 다음, 동일한 프롬프트를 두 모델에 함께 보내세요. 각 열은 자신만의 숨겨진 대화를 유지하므로 어느 모델도 상대의 답변을 보지 못하고, 한쪽 답변이 다른 쪽에 의해 왜곡되지 않습니다. 바로 이 점이 이 비교가 가치 있는 이유입니다. 계정당 한 번에 하나의 생성만 실행되기 때문에 두 열은 왼쪽, 오른쪽 순서로 차례로 스트리밍됩니다.

나란히 비교는 Powerhouse 기능이며 한 번에 두 모델을 실행합니다. 각 답변은 해당 모델의 크레딧 요율대로 청구되므로, 10크레딧 모델과 20크레딧 모델을 비교하면 30크레딧이 소모됩니다.

어떤 종류의 업무에 어떤 모델을 기본값으로 써야 할지 결정할 때 이 기능을 사용하세요. 두 개의 답변을 비교하는 대신 하나의 답변을 개선하고 싶다면 다른 방법을 쓰세요. 같은 스레드 안에서 모델을 바꾼 뒤 두 번째 모델에게 첫 번째 답변을 비평하게 하는 것입니다.

벤치마크가 당신의 질문에 답하지 못하는 이유

공개된 벤치마크는 표준화된 작업에서의 성능을 측정합니다. 당신의 질문은 더 좁고 더 실용적입니다. 바로 자신이 일주일에 스무 번씩 하는 그 일을 어떤 모델이 더 잘 처리하는가입니다. 이는 다른 질문이며, 두 번째 질문에는 공개된 답이 없습니다. 당신과 같은 업무량을 가진 사람은 아무도 없기 때문입니다.

프롬프트 하나를 두 모델에 실행하는 데는 약 30초가 걸리며, 이 질문에 직접 답을 줍니다. 중요한 것은 답이 두 개 나온다는 사실이 아니라, 그 격차가 얼마나 큰지 알게 된다는 점입니다. 때로는 결과물이 거의 동일해서 그 작업에 대해서는 더 이상 모델 선택을 고민하지 않아도 된다는 걸 알려줍니다. 때로는 한쪽이 쓸모없는 수준이라서, 그 모델로 워크플로우를 구축하기 전에 미리 알아두는 게 도움이 됩니다.

비교가 잡아내는 또 다른 것은 확신에 찬 오류입니다. 두 모델이 사실 관계 질문에 실질적으로 다른 답을 내놓으면 최소 하나는 틀린 것이며, 어느 한쪽만 읽어서는 그것을 알 수 없습니다. 그 신호는 단일 모델 워크플로우에서는 어떤 대가를 치르더라도 얻을 수 없습니다.

읽기 전에 '더 낫다'의 기준을 정하세요

나란히 비교의 함정은 더 길거나, 더 확신에 차 있거나, 더 다듬어진 결과물을 선호하게 된다는 것입니다. 이런 요소는 품질이 아닙니다. 먼저 기준을 정하고, 그다음에 읽으세요.

작업	'더 낫다'의 의미	무시해야 할 것
글쓰기	그대로 보낼 수 있을 만큼 편집이 적게 필요함	길이, 어휘, 열정적인 어조
사실 조사	주장을 뒷받침하고 확인 가능한 출처	유창함과 확신에 찬 어조
추출	정확한 스키마, 지어낸 필드 없음, 일관된 라벨	표 주변의 문장 품질
추론	논리 단계가 성립하고 예외 상황을 다룸	결론이 자신의 기존 생각과 일치하는지 여부
코드	실패 경로를 처리하고 리뷰 가능함	화려함, 간결함
요약	중요한 것은 남기고 그렇지 않은 것은 빼는가	포괄성

실용적인 요령 하나: 두 결과물을 읽기 전에 좋은 답이라면 어떤 내용을 담고 있어야 하는지 한 문장으로 적어두세요. 그런 다음 읽으세요. 10초밖에 걸리지 않지만, 강력하고 대부분 무의식적인 '다듬어짐 편향'을 막아줍니다.

사실 관계 질문에서는 승자보다 의견 불일치를 확인하세요. 두 모델이 특정 숫자와 출처에 대해 일치한다면 그 답에 대한 신뢰는 타당합니다. 의견이 갈리는 지점이야말로 직접 확인해야 할 대상이며, 이 전체 작업에서 가장 값진 결과물입니다.

실제 차이를 드러내는 프롬프트

어떤 작업은 모델을 뚜렷하게 갈라놓지만 어떤 작업은 그렇지 않습니다. 비교에서 뭔가 배우고 싶다면 특정 능력에 부담을 주는 프롬프트를 사용하세요.

• 어려운 상황에서의 어조. 마감을 놓쳤다는 것을 클라이언트에게 알리는 메모를 작성해줘. 지나치게 사과하지 말고 변명도 하지 말되 책임은 인정해야 해. 120단어 이내로. 여기서는 어조의 차이가 바로 드러납니다.
• 엄격한 추출. 이 텍스트에서 모든 날짜, 금액, 당사자를 정확히 다음 키를 가진 JSON 배열로 추출해줘. 필드가 없으면 null을 사용해. 추측하지 마. 형식 준수와 지어내는 경향을 시험합니다.
• 함정이 있는 추론. 직관적인 접근이 틀린 답으로 이어지는 비율이나 비례 문제처럼, 그럴듯한 오답이 있는 문제를 내보세요. 모델마다 지름길을 택하는지가 갈립니다.
• 긴 맥락 회상. 긴 문서를 업로드하고 중간 부분에 대해 질문하세요. 광고된 맥락 길이가 아니라 실제로 활용 가능한 맥락 길이를 드러냅니다.
• 모름을 인정하는가. [정말로 잘 알려지지 않았거나 아주 최근에 일어난 일]에 대해 무엇이 발표되었어? 가장 좋은 답은 명확한 '모른다'거나 출처가 있는 검색 결과입니다. 여기서 지어내는 것은 실격 사유입니다.
• 부정 제약 따르기. 비유나 은유를 전혀 쓰지 말고 X를 설명해줘. 부정형 지시를 따르는 정도는 예상보다 모델마다 훨씬 다릅니다.

퍼즐이 아니라 자신의 실제 업무로 비교를 실행하세요. 분기 보고서를 더 잘 쓰는 모델이 논리 퍼즐을 더 잘 푸는 모델보다 훨씬 쓸모 있습니다.

일주일간의 비교를 라우팅 지도로 바꾸기

한 번의 비교는 흥미롭습니다. 일주일간의 비교는 실행 가능합니다. 방법은 이렇습니다.

1. 5일 동안, 중요한 작업이 생길 때마다 하나가 아니라 두 모델에 실행해보세요.
2. 작업 종류, 승자, 격차가 얼마나 컸는지 기록하세요. 세 단어면 충분합니다.
3. 주말에 어떤 모델이 반복적으로 이겼는지, 어떤 결과물이 서로 바꿔써도 무방했는지 살펴보세요.
4. 그 결과를 바탕으로 기본값을 정하고, 격차가 꾸준히 없었던 작업에서는 비교를 멈추세요.

사람들이 보통 발견하는 것은 비교가 자신의 업무 중 소수에서만 중요하고 나머지에서는 시간 낭비라는 사실입니다. 빠른 사실 조회, 단순한 재작성, 정형화된 서식 작업은 모델 간 차이를 거의 드러내지 않습니다. 고객이 읽을 글, 의사 결정에 쓰일 조사, 낯선 주제에 대한 추론은 큰 차이를 만듭니다.

이 결과가 바로 보상입니다. 차이가 없는 곳에서는 비교를 멈추고, 결과를 바꾸는 작업에서만 비교를 유지하게 됩니다.

나란히 비교 대 순차 비교

구분해둘 가치가 있는 두 가지 다른 기법입니다.

나란히 비교는 서로의 결과물을 볼 수 없는 두 모델에 같은 프롬프트를 실행합니다. 각 열은 [Compare] 접두사가 붙은, 사이드바에 나타나지 않는 자신만의 숨겨진 대화를 유지하므로 후속 질문도 공정한 테스트로 남습니다. 두 모델 모두 독립적인 다중 턴 맥락을 갖습니다. 기본 모델을 정하거나 사실 관계의 불일치를 잡아낼 때 적합한 도구입니다.

순차 비교는 답변을 하나 받은 뒤 같은 스레드 안에서 모델을 바꿔 새 모델에게 그것을 비평하게 하는 것을 뜻합니다. 비교 결과가 아니라 결함을 찾아내고 싶을 때 사용하세요. 두 번째 모델이 구체적인 논지에 직접 관여할 수 있기 때문입니다. 대화 도중 모델 전환하기를 참고하세요.

대략적인 규칙은 이렇습니다. 어떤 모델을 쓸지 정할 때는 나란히 비교를, 답변을 개선할 때는 순차 비교를 사용하세요.