리걸테크 회사 Clio가 연 웨비나를 들었다. 발표자는 기술과는 거리가 먼 건설 전문 변호사 Jason Feng와 개발자로 일하다 변호사가 된 기술법 전문가 Raymond Sun였다.
변호사 AI 교육에서 빠져 있는 부분
발표자들의 진단부터 옮기면 이렇다. 변호사를 상대로 한 AI 교육은 양쪽 끝에만 몰려 있다.
한쪽에는 무엇을 하면 안 되는지를 가르치는 리스크·컴플라이언스 교육이 있고, 반대쪽에는 이 도구로 무엇을 할 수 있는지를 보여주는 제품 시연이 있다. 정작 그 사이, 그러니까 “내가 맡은 사건에 이걸 어떻게 쓰는가”를 가르쳐 주는 사람은 없다. 발표자들은 이 빈 가운데를 the missing middle이라고 불렀다.
겪어 본 사람이라면 고개를 끄덕일 것이다. 보안팀이 금지선을 긋고 리걸테크 회사가 기능을 시연하고 나면, “그래서 내 다음 사건에는 어떻게 쓰는데?”라는 질문은 각자의 몫으로 남는다. AI 도입이 멈추는 지점이 늘 여기다.
결론은 한 문장
이 웨비나의 주장을 한 문장으로 줄이면 이렇다. 좋은 프롬프트란 좋은 질문이 아니라 잘 짜인 브리핑이다. 신입 변호사에게 일을 맡길 때 우리가 하는 브리핑을 그대로 글로 옮기면 된다는 것이다.
이 웨비나에서 강조된 이야기는 두 가지였다:
- 하나, 결과물의 형식까지 정해 준다. “이 계약서 좀 검토해줘”는 지시가 아니다. “조항번호, 쟁점, 우리 고객이 안게 되는 리스크, 제안할 입장, 출처를 열로 갖는 쟁점 정리표를 만들라”까지 가야 지시다.
- 둘, 초안을 쓰기 전에 AI가 나에게 먼저 묻게 한다. 내가 설명을 더 보태는 것이 아니라, 일을 받은 쪽이 범위와 예외를 되묻는 단계를 끼워 넣는 것이다. 나머지는 이 두 가지의 응용이거나, 이미 알려진 검증 이야기다.
왜 그렇게 해야 하나
이 웨비나는 프롬프트 요령을 늘어놓는 대신 언어모델의 성질에서 규칙을 하나씩 끌어내서 설명했다. 그 슬라이드의 제목이 “It doesn’t think. It predicts.”였다. 언어모델은 생각하는 것이 아니라 예측한다는 뜻이다.
이 모델들은 판례부터 광고 문구까지 온갖 글을 섞어 학습했다. 그래서 역할을 정해 줘야 한다. 역할이란 그 방대한 재료 가운데 무엇을 꺼내 쓸지 정해 주는 일이고, 역할이 없으면 “세상 모든 글의 평균” 같은 답이 돌아온다.
모델은 내용을 이해하는 것이 아니라 패턴을 보고 다음에 올 말을 예측한다. 그래서 문서와 핵심 사실을 직접 줘야 한다. 주지 않으면 빈자리를 “보통 이런 문서에는 이런 말이 오더라” 하는 것들로 메우는데, 그것이 바로 Hallucination, 환각이다.
마지막으로, 내가 준 자료는 모델이 원래 알던 것과 경쟁한다. 그래서 “첨부한 문서만 근거로 삼아라, 문서에 없으면 없다고 답하라”는 울타리를 쳐야 한다. 이렇게 명시해서 막지 않으면 학습 데이터가 조용히 경쟁에서 이긴다.
이 가운데 세 번째가 실무에서 제일 요긴하다. 한국 계약서를 넣고 검토를 시켰더니 미국이나 영국 계약서의 감각으로 검토 결과가 돌아오는 경험, 해 본 사람이 많을 것이다. 그 현상의 정체가 이것이다.
3단계 접근법: 브리핑하고, 질문을 받고, 틀로 굳힌다
1단계는 브리핑이다. 다섯 가지를 담는다. 역할(어느 분야 전문가의 눈으로 볼 것인가), 목적과 맥락(고객이 누구이고 무엇을 하려는가), 과업(무슨 작업을 해서 어떤 형태로 내놓을 것인가), 핵심 사실(문서만 봐서는 알 수 없는 사정, 집중해서 볼 부분), 제약(형식과 분량과 어조, 그리고 모르는 것은 추측하지 말고 표시만 하라는 지시). 여기에 회사의 문서 양식이나 자체 체크리스트가 있다면 함께 붙인다.
발표에서 든 예시는 NBA 선수의 계약 연장 두 가지 방안을 비교하는 자문 이메일이었다(가상 사례). 눈여겨볼 만한 디테일이 둘 있었다. “권고 부분은 내가 직접 쓸 테니 자리만 비워 두라”고 한 것, 그리고 “검토 대상은 이 두 방안뿐”이라고 범위를 닫아 둔 것이다. 둘 다 판단은 내가 쥐고 품이 드는 일만 맡기는 장치다.
2단계는 질문을 받는 것이다. 브리핑 끝에 한 줄을 붙인다. “시작하기 전에, 작업 범위나 예외 상황, 결과물이 갖춰야 할 모습에 관해 나에게 물어볼 것이 있으면 물어봐라.”
이 단계는 내가 설명을 더 하는 단계가 아니라, AI가 초안을 쓰기 전에 나에게 질문하게 하는 단계다. 위 예시에서 실제로 돌아온 질문은 이런 것들이었다. 세후 금액을 비교할 때 다음 시즌 거주지는 어느 주로 놓고 계산할까. 계약 기간을 끝까지 채우는 것을 전제로 비교할까, 중간에 나가는 경우도 볼까. 추천은 하지 말라고 했는데, 어느 쪽 위험이 큰지 표시하는 정도는 할까.
이 질문들에는 공통점이 있다. 전부, 내가 정하지 않았다는 사실조차 몰랐던 것들이다. 거주지를 어디로 놓느냐에 따라 세후 비교 숫자가 통째로 달라지는데, 브리핑을 쓰던 나에게는 그 구멍이 보이지 않았다. 브리핑을 쓰는 시점의 나는 내가 뭘 안 정했는지 모른다. 이 단계는 그 전제 위에 서 있고, 그 전제는 맞다.
3단계는 틀로 굳히는 것이다. 마음에 드는 결과가 나왔다면, 그 대화를 다음에 또 쓸 수 있는 자산으로 바꾼다. 요령은 프롬프트를 둘로 나누는 것이다. 어느 사건에서든 똑같을 부분(역할, 문서 양식, 고객사의 위험 성향, 결과물 형식, 검증 요구)은 저장해 두는 고정 문단으로 만들고, 사건마다 달라지는 부분(이번 계약서, 이번 당사자, 이번 사실관계)은 빈칸으로 뚫어 둔다. 이 전환 작업 자체를 AI에게 시키는 프롬프트를 웨비나가 나눠 줬는데, 글 끝에 옮겨 두었다.
그 프롬프트의 마지막 한 줄이 백미다. “내가 한 말 중에, 늘 지켜야 할 선호가 아니라 이번 한 번에만 해당하는 것이 있었나?” 이것을 묻지 않으면 이번 사건에서만 유효했던 지시(“급하니 짧게”)가 고정 규칙으로 굳어서 다음 사건들을 망가뜨린다.
발표자들은 이 방식의 손익을 이렇게 요약했다. “처음에는 직접 하는 것보다 오래 걸린다. 네 번째쯤 되면 거의 공짜다.” AI를 써 보다가 접는 가장 흔한 이유가 “해 보니 더 오래 걸리던데”인데, 그것이 실패가 아니라 원래 그런 학습 곡선이라는 이야기다.
인상적이었던 장면들
하나는 리스크 문장이 달라지는 장면이다.
건설 하도급 계약 검토 예시(역시 가상 사례다)에서 처음 나온 리스크 평가는 “높음. 긴 지급 기한이 현금흐름에 부담을 준다“였다. 어느 계약서에 갖다 붙여도 되는 문장이다.
발표자가 고쳐서 시킨다. “리스크마다 이 고객에게 생기는 구체적인 사업상 결과를 적어라. 이 고객은 운전자본에 여유가 없고 자재비를 먼저 치르는 제작사다.”
그러자 이런 문장이 돌아왔다. “높음. 지급 기한이 45일이면 원가를 치른 날부터 돈을 받는 날까지 길게는 75일이다. 이 계약 규모면 많을 때 60만 달러가량이 묶이는데, 확인된 대출 한도는 50만 달러다.” 리스크 평가가 법률 문장에서 경영 판단의 재료로 바뀌는 순간이다. 그리고 이 한 번의 교정은 3단계를 거치며 “리스크는 일반론이 아니라 이 고객에게 생기는 사업상 결과로 쓸 것”이라는 고정 규칙이 된다. 한 번 고친 것이 두고두고 남는 구조다.
다른 하나는 없는 것을 없다고 말하게 만든 장면이다.
소송 예시에서 상대방의 주장과 우리 쪽 반박을 표로 정리시키면서 “근거 자료가 없는 주장은 지어내서 채우지 말고 없다고 적어라”는 규칙을 걸었다. 그랬더니 표에, 양쪽 칸이 모두 빈 채 “이 사실을 입증할 자료가 증거 목록에 없다”고 적힌 행이 하나 나왔다. AI가 가장 못 하는 일이 없는 것을 없다고 말하기인데, 그것을 결과물의 형식으로 해내게 만든 것이다.
한국에서 쓸 때 유의할 점
방법 자체는 어느 나라에서든 통하지만, 예시가 전부 호주 실무라 그대로 가져다 쓸 일은 아니다. 그리고 한국에서는 아까 말한 “학습 데이터가 조용히 이긴다”가 한층 세게 작동한다. 이 모델들이 학습한 계약서는 압도적으로 영미 계약서다. 한국 계약서를 검토시키면 영미 계약 관행의 감각이 그대로 밀고 들어온다. 그래서 시장 관행에서 벗어난 조항을 찾아 달라고 할 때는 어느 시장 기준인지를 못 박아야 하고, 한국 법령과 국내 실무 자료를 참고자료로 직접 붙여 주는 것이 실질적인 울타리가 된다.
검증에 관한 경고 하나도 옮겨 둔다. 없는 판례를 지어내는 환각은 검색해 보면 걸린다. 정말 위험한 것은 인용도 진짜고 법리도 맞는데 우리 사실관계에는 맞지 않는 경우다. 이런 오류는 인용 검증을 다 통과하고도 살아남는다. 결국 사실관계와 맞춰 보는 일은 자동화되지 않는, 변호사의 몫이다. 결과물에 대한 책임은 어디까지나 서명하는 사람에게 있다.
부록: 그대로 가져다 쓸 프롬프트 두 개
질문받기(2단계). 브리핑 끝에 붙인다.
- 시작하기 전에, 작업 범위나 예외 상황, 결과물이 갖춰야 할 모습에 관해 나에게 물어볼 것이 있으면 물어봐라.
틀로 굳히기(3단계). 마음에 드는 결과가 나온 뒤에 쓴다.
- 만족스러운 결과가 나왔다. 이 대화를 다음에 또 쓸 수 있는 워크플로로 바꿔 달라. 내 브리핑, 초안 전에 네가 했던 질문, 그에 대한 내 답, 내가 고친 부분을 전부 되짚어라. 그런 다음 비슷한 작업에 쓸 프롬프트를 만들되, ① 어느 사건에서든 똑같을 부분은 저장해 둘 고정 문단으로, ② 사건마다 달라질 부분은 빈칸으로, ③ 최종 결과물의 형식은 정확하게 적고, ④ 내가 고쳤던 내용은 처음부터 반영되게 하고, ⑤ 내가 검증할 항목과 그 순서를 담아라. 시작하기 전에 하나 묻겠다. 내가 한 말 중에 늘 지켜야 할 선호가 아니라 이번 한 번에만 해당하는 것이 있었나?
이 두 줄만 지금 쓰는 방식에 끼워 넣어도, AI가 물어보는 도구에서 일을 맡기는 상대로 바뀌는 것을 느낄 수 있을 것이다.
댓글 남기기