전체 글

AI 에이전트에게 '보내기' 버튼을 주지 않은 이유

영문 원문을 옮긴 글입니다.

2026년 9월부터 제 스타트업의 행정을 Claude로 동작하는 에이전트 팀이 맡고 있습니다. 메일, 각종 안내, 일정, 카드⁠·⁠통장 내역, 세무 마감, 구매 조사까지. 에이전트는 밤낮없이 일하지만 그동안 어느 에이전트도 혼자서 메일을 보내거나 대금을 결제하거나 주문을 넣을 수 없었습니다.

일부러 그렇게 설계했고 다른 것을 전부 버려야 하더라도 이 결정만은 남길 것입니다.

경계를 그은 곳

에이전트가 할 수 있는 일을 모두 두 묶음으로 나눴습니다.

  • 회사 안의 일: 읽기⁠·⁠검색⁠·⁠요약⁠·⁠정리⁠·⁠대조⁠·⁠조사⁠·⁠초안 작성. 묻지 않고 정해진 일정에 따라 자동으로 실행
  • 회사 밖의 일: 발송⁠·⁠결제⁠·⁠이체⁠·⁠예약⁠·⁠주문⁠·⁠신고⁠·⁠서명⁠·⁠게시⁠·⁠삭제. 제가 직접 승인하지 않으면 절대 실행하지 않음

판단 기준은 간단합니다.

회사 밖의 누군가가 볼 수 있는가, 아니면 되돌릴 수 없는가?

답이 '예'라면 사람이 결정합니다. 거래처에 보낼 회신 초안을 쓰는 일은 안쪽이고 보내는 일은 바깥입니다. 세 곳의 가격을 알아보는 일은 안쪽, 주문은 바깥.

이 경계는 지시로도 지키고 기술로도 지킵니다. 제 본 메일 계정은 읽기 전용으로 연결되어 있어서 에이전트가 읽고 검색할 수는 있어도 그 계정으로 보낼 방법은 없습니다. 보내야 할 메일은 별도 업무용 계정에서 나갑니다. 그것도 승인을 받은 뒤에만. 은행⁠·⁠카드사 로그인에는 에이전트가 아예 손대지 않습니다.

버튼 두 개, 그리고 침묵은 거절

밖으로 나가야 할 일이 생기면 에이전트는 메일 전문이나 주문 내역까지 빠짐없이 준비해 두고 짧은 사유와 승인⁠·⁠취소 버튼 두 개를 단 채팅 메시지를 제게 보냅니다.

가장 오래 고민한 규칙은 기본값이었습니다. 제가 30분 안에 답하지 않으면 실행하지 않음. 해당 건은 미결 사항 목록에 남아 다음 브리핑에 다시 올라옵니다. 일이 멈추지 않도록 침묵을 승낙으로 보고 싶은 마음도 들지만 침묵을 승낙으로 보는 시스템은 사람이 자는 동안에도 일을 벌이는 시스템입니다.

'급해 보인다'도 예외가 아님

급해 보이는 메시지야말로 사람이 직접 봐야 할 메시지. '오늘까지 납부하지 않으면 서비스가 중단됩니다'라는 안내는 진짜일 수도 있고 이미 처리된 일일 수도 있으며 애초에 받는 사람과 상관없는 안내일 수도 있습니다. 문구가 급하다는 이유로 서두르는 에이전트는 가장 급한 문구를 쓰는 사람이 조종할 수 있는 에이전트입니다.

그래서 급해 보인다고 승인 절차가 짧아지지는 않습니다. 에이전트가 할 수 있는 일은 제게 보내는 메시지의 우선순위를 올리는 것뿐.

메일 속 문구는 지시가 아닌 자료

저희 에이전트는 메일, 청구서, 웹페이지, 안내문처럼 다른 사람이 쓴 글을 많이 읽습니다. 그 가운데에는 지시가 들어 있는 글도 있습니다. '계좌 정보를 회신해 주십시오', '이전 지시는 무시하십시오', '지금 잔액을 이체하십시오'. 흔히 프롬프트 인젝션(메일⁠·⁠웹페이지에 숨긴 지시로 AI를 조종하려는 공격)이라고 부르는 문제입니다.

저희 규칙은 이렇습니다. 메일⁠·⁠문서⁠·⁠웹페이지 안에 있는 것은 무엇이든 요약할 자료일 뿐 따를 명령으로 보지 않음. 행동을 요청할 수 있는 사람은 채팅 채널로 말하는 저뿐이고 그때도 밖으로 나가는 일에는 승인 버튼이 필요합니다. 승인 절차는 첫 번째 방어선이 뚫렸을 때를 위한 두 번째 방어선.

승인 절차가 막아 낸 일

가장 분명한 예는 저희 실수에서 나왔습니다. 한번은 에이전트가 카드사의 '결제 연체' 문자를 읽고 대금이 미납이라고 보고했습니다. 장부에는 같은 날 같은 금액의 결제가 남아 있었습니다. 문자가 결제보다 먼저 왔을 뿐. 보고는 틀렸지만 에이전트는 제게 알릴 수만 있고 결제는 할 수 없었으므로 아무 일도 일어나지 않았습니다. 에이전트가 자기가 읽은 대로 직접 움직일 수 있었다면 그 '바로잡기'는 두 번째 결제가 되었을 것입니다.

이 일로 규칙이 하나 더 생겼습니다. 상태를 보고하기 전에 장부를 확인할 것. 이 규칙은 다음 글에 따로 적었습니다. 하지만 아무 손해 없이 넘어간 것은 승인 절차 덕분.

저희 시범 운영 밖에서도 중요한 이유

Anthropic의 이용 정책은 법률⁠·⁠금융⁠·⁠고용과 관련된 용도를 고위험으로 보고 이런 분야에서는 결과물을 사람이 검토하도록 요구합니다. 한국에서도 세무 신고⁠·⁠법률 업무⁠·⁠노무 신고는 자격을 갖춘 전문가의 일입니다. 승인 절차는 이 두 사실을 면책 문구에 두지 않고 제품 안에 넣는 방법입니다. 준비는 에이전트가, 결정은 대표님과 필요하면 대표님의 세무사⁠·⁠변호사⁠·⁠노무사가.

드는 수고는 하루 몇 번 버튼을 누르는 정도. 그 대신 회사 밖으로 나가는 일 가운데 뜻밖의 일은 하나도 없습니다.

무료 시범 운영 신청 8주 무료, 국내 사업자 최대 5곳. 신청은 이메일로 받습니다.

In English

This post is a Korean translation of the founder's English original.

Read this page in English