AI 탈옥이란 무엇인가

거부는 습관이고, 탈옥은 그 습관을 깨는 방법이다

모델 안에는 "자물쇠 따는 법을 설명하지 마라" 같은 규칙이 들어 있지 않다. 대신 거부하는 습관이 들어 있는데, 이는 파인튜닝이란 무엇인가에서 설명하는 사후 학습 단계에서 사람들이 유해한 요청에 대한 거부를 순응보다 높게 평가하면서, 거부가 그런 요청에 가장 그럴듯한 다음 문장이 되도록 만들어진 것이다. 그럴듯한 것이지 확실한 것은 아니다.

탈옥은 이 확률을 바꾸는 모든 프롬프트다. 요청을 이야기 속에 감싸면 가장 그럴듯한 다음 문장은 그 이야기의 다음 줄이 된다. 무해한 조각들로 나누면 어느 조각도 거부 습관을 건드리지 않는다. base64로 인코딩하면, 평문 영어만 보고 학습된 거부 훈련이 그것을 알아보지 못한다. 어시스턴트가 순응하는 예시를 200개 보여주면 201번째 요청도 같은 식으로 답이 나오는데, Anthropic은 이를 2024년 4월에 many-shot jailbreaking이라 이름 붙였고, 컨텍스트 윈도우가 커질수록 더 쉬워졌다.

이 메커니즘은 모델을 쓸모 있게 만드는 것과 똑같다. 모델은 입력의 패턴을 따라간다. 안전 학습은 일부 패턴을 훨씬 덜 그럴듯하게 만들 뿐이고, 탈옥은 그 학습이 다루지 않은 패턴을 찾아낸다. 그래서 이 문제는 더 나은 규칙으로 해결되지 않으며, 벤더들이 이를 하나의 비율로 측정하는 이유이기도 하다.

흔한 기법들과 각각이 노리는 지점

2022년 12월부터 Reddit에서 퍼진 DAN 프롬프트는 대중판이며, OpenAI가 모델을 업데이트할 때마다 각 버전은 몇 주에서 몇 달 안에 작동을 멈췄고, 다음 버전이 등장했다. 이름 붙은 모든 기법은 이 주기를 따른다. 공개되면 곧 패치된다. Anthropic은 자사 분류기를 뚫는 범용 탈옥에 유상 현상금을 걸었고, 지금 지속적인 시도는 그쪽으로 향한다.

구분해 둘 것 하나. 탈옥은 사용자가 모델의 정책에 맞서는 것이다. 프롬프트 인젝션이란 무엇인가는 모델이 읽는 콘텐츠를 통해 제3자가 사용자에 맞서는 것이다. 기법은 겹치지만 피해자는 다르다.

가드레일이 실제로 막는 것, 수치로

가장 신뢰할 만한 공개 수치는 2025년 2월 발표된 Anthropic의 constitutional classifiers에서 나왔다. 팀은 Claude 앞뒤로 입력과 출력을 걸러낼 별도의 분류기 모델을 학습시킨 뒤, 이 필터가 있을 때와 없을 때 모델에 동일한 자동 탈옥 공격을 가했다.

이 하락의 대가가 결과의 나머지 절반이다. 분류기는 쿼리당 연산량을 23.7퍼센트 늘렸고, 무해한 요청에 대한 거부율을 0.38퍼센트포인트 높였다. 이 자동화 테스트 전에는 183명이 3,000시간 넘게 버그 바운티에 매달려 열 가지 금지 질문을 모두 푸는 하나의 범용 탈옥을 찾으려 했지만, 아무도 찾지 못했다. 이후 공개 챌린지에서는 일주일 만에 하나가 발견됐다. 비율이 0은 아니지만, 요점은 대부분의 시도가 성공하던 상태에서 소수만 성공하는 상태로 옮겨갔다는 것이다.

이것이 실무에서 "가드레일"이 의미하는 바다. 확률의 층층이 쌓인 스택이다. 학습된 거부가 대부분을 잡는다. 분류기가 남은 것 대부분을 잡는다. 사람이 검토해 그 나머지 일부를 잡는다. 각 층은 지연 시간이나 비용, 혹은 잘못된 거부라는 대가를 치르며, 벤더는 그 곡선 위 한 지점을 고른다. AI를 사용해도 안전한가는 그 지점이 실제로 마주하는 위험에 어떤 의미인지 다룬다.

탈옥이 아니라 표현을 바꿔야 했던 경우가 대부분이다

탈옥을 검색하는 많은 사람은 그저 합리적인 요청을 거부당했을 뿐이다. 용량을 묻는 의사, 악역을 쓰는 소설가, 실제 공격을 설명하는 보안 연구자, 실제 문헌을 인용하는 역사학자가 그렇다. 위의 0.38포인트 상승은 분류기 몫일 뿐이고, 학습된 습관은 그 자체로도 거부하는데 그 비율은 아무도 공개하지 않는다.

효과가 있는 두 가지가 있고 둘 다 탈옥이 아니다. 첫째는 맥락이다. 거부는 그 요청이 유해하다는 모델의 추측이며, 당신이 누구고 왜 묻는지 한 문장을 더하면 그 추측이 바뀐다. "저는 소아과 용량을 확인하는 약사입니다"는 그냥 던진 질문과는 다른 입력이다. 둘째는 모델이다. 벤더마다 선을 다르게 긋기 때문에, 한 모델이 거부하는 요청을 다른 모델은 예사롭게 답하는 경우가 흔하다. 여러 모델을 쓰는 워크스페이스에서는 이것이 단지 모델 선택기를 바꾸는 문제이고, Whizi AI는 1크레딧, Claude Sonnet 5는 10크레딧이라는 두 번째 모델의 단가만 치르면 된다. AI 모델 선택 방법은 거부 여부를 넘어서는 모델 간 차이를 다룬다.

효과가 없는 것, 그리고 Whizi가 돕지 않는 것은 제공사의 정책을 무력화하려는 프롬프트다. Whizi의 모든 모델은 OpenRouter와 그 경로의 제공사를 거쳐 서비스되므로, 모든 메시지에 그 제공사의 안전 계층과 이용 정책이 적용되며, 통하는 탈옥은 양쪽 회사 모두에 대한 정책 위반이다. 정당한 질문에 솔직한 답을 얻고 싶다는 진짜 필요는 그냥 있는 그대로 물어보고, 거부당하면 정책이 다른 모델에 물어보는 것으로 충족된다.

AI 탈옥은 앞으로 어디로 가는가

공개된 연구에서 이미 세 가지 흐름이 보인다. 분류기 계층이 표준이 되어 가고 있고, 지켜봐야 할 수치는 잘못된 거부율이다. 약사를 막는 가드는 사람들이 우회로를 찾게 만들기 때문이다. 오픈소스 LLM 가이드가 다루는 가중치 공개 모델은 파인튜닝으로 거부 학습을 제거할 수 있어서, 이런 모델의 가드레일은 가중치 안이 아니라 어디에 호스팅되느냐에 달려 있다. 그리고 에이전트는 판돈을 키운다. 탈옥된 챗봇은 해서는 안 될 말을 하는 데 그치지만, 도구를 가진 탈옥된 에이전트는 실제로 무언가를 실행하므로, 어떤 거부보다 행동 전 확인 단계가 더 중요해진다.