가능합니다, 그리고 2025년 벤치마크가 계약서 읽기 실력을 측정했습니다
2025년 8월 카네기멜런, 러트거스, 스탠퍼드, NJIT 연구진이 발표한 ContractEval은 챗봇이 계약서를 얼마나 잘 읽는지 보여 주는 가장 좋은 측정입니다. 연구진은 독점 모델 4개와 오픈 모델 15개에 SEC EDGAR 공시에서 가져온 실제 계약서를 주고, 책임 한도나 경업금지 같은 조항 유형 41가지를 물었습니다. 그리고 각 답변이 질문에 답이 되는 조항을 제대로 돌려줬는지 채점했습니다.
저자들은 상위 GPT 모델을 "주니어 법률 보조원 수준에 근접: 관련 조항은 찾아내지만 여전히 시니어 전문가의 감독이 필요하다"고 평가했습니다. 세입자에게는 두 가지 시사점이 있습니다. 0.64면 그냥 넘겨 읽었을 수수료와 날짜를 찾기에는 충분하지만, 놓친 것이 없다고 믿기에는 부족합니다. 설명 문구도 중요합니다. GPT-4.1은 조항이 실제로 있었던 질문의 7.1%에서 "관련 조항 없음"이라고 답했고, Gemini는 1.1%였습니다. 그러니 GPT의 짧은 답이 계약서에 문제가 없다는 증거는 아닙니다.
증거에는 한계가 두 가지 있습니다. 이 테스트의 바탕인 CUAD 데이터셋은 아파트 임대차계약서가 아니라 상업 계약서입니다. 작업은 같지만(질문에 답이 되는 조항 찾기), 주거용 임대차계약서는 더 짧고 평이해서 모델에 유리합니다. 또 테스트에는 2025년 모델 버전이 쓰였는데, 2026년 9월 기준 채팅 앱의 GPT와 Claude 모델보다 오래된 버전입니다.
ChatGPT가 알 수 없는 것: 보증금 규정은 주 경계에서 달라집니다
같은 계약 조항이 한 주에서는 합법이고 옆 주에서는 무효일 수 있습니다. 모델은 법전이 아니라 조항을 읽기 때문입니다. 우리는 2026년 9월 26일에 인구 상위 5개 주(Census Bureau Vintage 2025 순위)의 보증금 관련 법 조항을 읽었습니다. 보증금 2개월치 조항은 뉴욕에서는 불법이고, 텍사스와 플로리다에서는 합법이며, 펜실베이니아에서는 계약 첫해에만 합법이고, 캘리포니아에서는 소규모 집주인에게만 합법입니다.
| 주 | 보증금 상한 | 보증금 반환 기한 | 법 조항 |
|---|---|---|---|
| 캘리포니아 | 월세 1개월치. 부동산 2채 이하, 4세대 이하인 집주인은 2개월치 (2024년 7월 1일 이후 받은 보증금) | 퇴거 후 21일 이내, 항목별 명세서 첨부 | Civil Code 1950.5 |
| 텍사스 | 법에 상한 없음 | 세입자가 집을 반환한 후 30일 이내 | Property Code 92.103 |
| 플로리다 | 법에 상한 없음 | 청구가 없으면 15일, 청구가 있으면 30일 이내에 서면 통지 | Florida Statutes 83.49 |
| 뉴욕 | 월세 1개월치 | 14일 이내, 항목별 명세서 첨부 | General Obligations Law 7-108 |
| 펜실베이니아 | 첫해 2개월치, 2년차부터 1개월치 | 30일 이내, 손해 내역 서면 목록 첨부 | Landlord and Tenant Act 511.1 and 512 |
텍사스에는 챗봇이 확인하기 어려운 규정이 하나 더 있습니다. Property Code 92.103(b)는 환불 조건으로 퇴거 사전 통지를 요구하는 조항이 "계약서에 밑줄이 그어져 있거나 눈에 띄는 굵은 글씨로 인쇄된 경우에만 효력이 있다"고 정합니다. 채팅에 붙여넣은 계약서 텍스트에는 밑줄도 굵은 글씨도 남지 않으므로, 모델은 그 조항이 나를 구속하는지 알려 줄 수 없습니다. 인쇄된 종이를 직접 확인하세요.
AI 업체들도 같은 선을 긋습니다. 2025년 10월 29일 시행된 OpenAI의 이용 정책은 금지 용도로 "면허가 필요한 맞춤형 조언(법률 또는 의료 조언 등)을 면허 있는 전문가의 적절한 관여 없이 제공하는 것"을 꼽습니다. 그러니 모델에게 내가 사는 주를 알려 주고 그 지역 규정이 무엇이라고 보는지 물은 다음, 행동하기 전에 모든 답을 법 조항이나 주 법무장관의 세입자 안내서와 대조하세요.
임대차계약서 프롬프트: 모든 조항을 인용하고, 요약은 하지 않기
ChatGPT에 임대차계약서를 검토시키려면 계약서를 업로드하거나 텍스트를 붙여넣은 뒤, 아래 프롬프트의 대괄호 두 곳을 채워 보내세요.
첨부한 주거용 임대차계약서를 읽어 줘. 나는 [주와 도시]에서 임차해. 나에게 부과된 모든 의무, 모든 수수료와 금액, 모든 날짜와 기한, 집주인이 월세나 조건을 바꾸거나 계약을 끝낼 수 있게 하는 모든 조항, 보증금 조건, 그리고 [아파트 / 주택 / 방] 임대차계약서로서 이례적인 것을 나열해 줘. 각 항목마다 조항을 조항 번호와 함께 원문 그대로 인용한 다음, 쉬운 문장 한 줄로 설명해 줘. 계약서를 요약하지 마. 서명하라 마라 말하지 마. 마지막에는 합법 여부가 내가 사는 주에 달린 조항을 확인할 질문 형태로 나열해 줘.
"조항을 원문 그대로 인용"하라고 하면 모델이 조항을 원문보다 부드러운 말로 바꿔 쓰는 일을 막을 수 있습니다. 인용된 조항은 검색으로 찾을 수 있지만 바꿔 쓴 문장은 찾을 수 없습니다. "요약하지 마"는 목록을 강제하고, 목록은 쪽수와 견줘 볼 수 있는 길이가 있습니다. 마지막 줄은 위 섹션의 주별 법 문제를, 모델이 내릴 자격이 없는 판정이 아니라 확인할 체크리스트로 바꿔 줍니다.
무엇이든 보내기 전에 이름, 주소, 주민등록번호(미국의 Social Security number에 해당), 은행 정보를 [TENANT]와 [ADDRESS]로 바꾸세요. 조항 분석에는 그런 정보가 하나도 필요 없고, 답변도 똑같이 나옵니다.
임대차계약서의 위험 신호는 무엇인가요?
임대차계약서의 위험 신호는 돈이나 시간을 나에게서 집주인에게로 옮기는 조항이며, 아래 열 가지는 모델에게 그대로 인용해 달라고 해야 할 항목입니다.
- 자동 갱신, 그리고 나가려면 며칠 전에 통지해야 하는지.
- 계약 기간 중 또는 갱신 때의 월세 인상.
- 연체료: 금액과 부과 시작일.
- 환불되지 않는 수수료, 그리고 보증금을 어디에 쓸 수 있는지.
- 조기 해지 수수료 또는 계약 중도 해지 조건.
- 세입자에게 넘겨진 수리와 유지보수.
- 집주인의 출입과 필요한 사전 통지.
- 전대, 방문객, 거주 인원 제한.
- 연대 책임: 룸메이트가 내지 않은 월세까지 내가 갚아야 하게 만듭니다.
- 변호사 비용과 권리 포기 조항.
모델은 이 중 대부분을 찾지만 전부는 아닙니다. ContractEval 최고 점수가 1.0 만점에 0.64였으니, 열 가지를 직접 계약서와 대조해 체크하세요. 어떤 조항이 허용되는지는 다시 주별 법 문제입니다. 위 표의 보증금 행이 가장 분명한 예이고, 수리 의무와 출입 통지도 주마다 다릅니다. 수리 조항이 이미 현실의 문제라면, 법적 기한을 시작시키는 편지는 AI로 집주인에게 편지 쓰기에서 다룹니다.
임대차계약서를 ChatGPT에 업로드해도 안전한가요?
개인 정보를 지우고 올리면 안전합니다. 계약 조건 자체는 민감하지 않고, 나머지는 설정이 결정하기 때문입니다. ChatGPT에서는 설정, 데이터 제어에서 "모든 사용자를 위해 모델 개선"을 끄지 않으면 대화가 학습에 쓰일 수 있습니다. Claude의 개인용 플랜(Free, Pro, Max)은 Anthropic의 2025년 8월 28일 약관 업데이트에 따라 학습을 허용하면 대화를 5년, 허용하지 않으면 30일간 보관합니다.
ChatGPT, Claude, Gemini를 나란히 비교한 전체 내용은 AI 챗봇 개인정보 비교에 있고, 문서를 올리기 전에 어느 업체에든 물어야 할 세 가지 질문은 AI에 문서를 업로드해도 안전한가에 있습니다.
GPT와 Claude는 서로 다른 방식으로 조항을 놓칩니다
ChatGPT와 Claude처럼 두 모델에서 임대차계약서 프롬프트를 돌려 두 조항 목록을 비교하세요. ContractEval 결과가 보여 주듯 모델마다 놓치는 방식이 다르기 때문입니다. GPT-4.1은 전체 점수는 더 높았지만, 잘못된 "관련 조항 없음" 답변은 Claude Sonnet 4보다 약 세 배 자주 냈습니다(7.1% 대 2.5%). 한 모델만 찾은 조항은 계약서 해당 부분으로 돌아가 직접 읽어 보라는 표시로 받아들이세요.
Whizi에서는 스레드에 올린 임대차계약서가 대화 도중에 모델을 바꿔도 그대로 읽을 수 있어서, 두 번째 검토는 모델 선택기만 바꾸면 되고 다시 업로드할 필요가 없습니다. 이 방법이 밀리는 경우도 있습니다. 탭 두 개에서 두 번 읽으면 ChatGPT와 Claude의 무료 요금제로도 같은 프롬프트를 무료로 돌릴 수 있고, Spellbook이나 LegalOn 같은 전용 법률 도구는 일반 모델에 없는 시장 표준 조항 라이브러리와 조항을 비교해 줍니다.
변호사 검토 $660은 언제 낼 만한가요?
계약서 때문에 검토 비용보다 더 큰 손해를 볼 수 있을 때, 또는 질문이 텍스트가 아니라 내가 사는 주에 관한 것일 때 변호사에게 비용을 내세요. ContractsCounsel은 마켓플레이스의 최근 80건 프로젝트를 기준으로, 변호사의 임대차계약서 검토 평균 정액 수수료를 $660으로 표시합니다(2026년 9월 25일 페이지 갱신).
보증금이 1개월치인 1년짜리 아파트 계약은, 모델의 목록에서 내가 사는 주의 규정과 맞춰 볼 수 없는 조항이 나오지 않는 한 그 기준을 넘는 일이 드뭅니다. 상업용 임대차, 개인 보증이 붙은 계약, 고정 인상이 있는 여러 해짜리 계약은 목록을 다 읽기도 전에 그 기준을 넘습니다. $660을 낼 수 없는 주거용 세입자라면, 많은 지역에서 법률 구조 기관이나 시 세입자 상담 전화가 주 관련 질문에 무료로 답해 줍니다.
어느 쪽이든 모델의 목록을 가져가세요. 인용된 조항 한 장 아래에 내 주 관련 질문이 적혀 있는 상태로 시작하는 변호사는, 문제를 찾는 데 비용을 쓰지 않고 내 질문에 답하는 데 비용을 씁니다.
- 업로드하기 전에 이름, 주소, 주민등록번호, 은행 정보를 자리표시자로 바꾸기
- 대괄호에 내가 사는 주와 도시를 넣어 임대차계약서 프롬프트 붙여넣기
- 목록 길이를 쪽수와 견주기: 12쪽짜리 계약서에서 항목이 네 개만 나왔다면 제대로 읽지 못한 것
- 인용된 조항마다 계약서에서 검색해 앞뒤 단락까지 읽기
- 보증금 액수와 반환 기한을 내 주의 법 조항과 대조하기
- 같은 프롬프트를 두 번째 모델에서 돌려 두 목록을 맞춰 보기
- 개인 보증, 상업용 임대차, 내 주의 규정과 맞춰 볼 수 없는 것은 목록을 들고 변호사나 법률 구조 기관에 가져가기
자주 묻는 질문
ChatGPT는 근로계약서 같은 계약서도 검토할 수 있나요?
네, ChatGPT는 임대차계약서와 똑같은 방식으로 어떤 계약서든 검토합니다. 의무, 급여 조건, 통지 기간, 경업금지나 환수 조항을 찾아 인용해 줍니다. 위의 ContractEval 점수는 CUAD 세트의 상업 계약서에서 나온 것이고 근로계약은 들어 있지 않으므로, 내 계약서에 대한 측정 점수가 아니라 대략적인 참고로 읽으세요. 경업금지가 내 주에서 효력이 있는지는 알려 주지 못합니다. ContractsCounsel은 근로계약서 검토의 평균 정액 수수료를 $440으로 표시합니다.
ChatGPT가 계약서를 수정 표시(redline)해 줄 수 있나요?
네, ChatGPT는 붙여넣은 어떤 조항에든 수정안 문구를 제안할 수 있고, 이전 문구와 새 문구를 나란히 보여 달라고 하면 바뀐 부분을 표시해 줍니다. 세입자에게 수정안은 집주인이 거절할 수 있는 요청이므로, 임대차계약서 전체를 다시 쓰라고 하기보다 가장 중요한 변경 두세 가지를 달라고 하세요.
ChatGPT가 법률 문서를 검토할 수 있나요?
ChatGPT는 법률 문서를 읽고 설명할 수 있지만, 그 문서를 두고 어떻게 해야 하는지 알려 주는 역할을 맡으면 안 됩니다. OpenAI의 이용 정책은 면허 있는 전문가의 관여 없는 맞춤형 법률 조언을 금지합니다. 그러니 답변은 문서가 무엇을 말하는지 정리한 목록이자 변호사에게 가져갈 질문 모음으로 쓰세요.
