서론: 자율성과 신뢰의 딜레마

2025년 이후 AI 에이전트 기술은 단순한 챗봇을 넘어 자율적으로 작업을 수행하는 지능형 시스템으로 진화했습니다. OpenAI의 GPT-4 기반 에이전트, Anthropic의 Claude 에이전트, Google의 Gemini 에이전트 등이 이메일 작성, 스프레드시트 관리, 웹 자동화, 심지어 소프트웨어 개발까지 수행하기 시작했습니다.

이에 따라 근본적인 질문이 제기됩니다. AI가 자동으로 중요한 일을 처리할 때, 사용자는 그것을 어떻게 신뢰하고, 어떻게 통제할 것인가? 에이전트가 작업을 수행하는 동안 사용자는 무엇을 보아야 하고, 어디에서 개입할 수 있어야 하고, 실수가 발생했을 때 어떻게 대응해야 하는가?

이 기사에서는 에이전틱 UX(Agentic UX)라는 새로운 디자인 패러다임의 핵심 패턴들을 살펴보겠습니다. 특히 위임(delegation), 확인(confirmation), 오버라이드(override)라는 세 가지 핵심 상호작용 모델과 이를 실무에 어떻게 구현할 것인지에 대해 깊이 있게 다룹니다.

배경: 에이전트 기반 인터페이스의 필요성

전통적인 소프트웨어 인터페이스는 명령-응답(imperative) 모델을 기반으로 합니다. 사용자가 어떤 버튼을 클릭하면 정확히 그 작업이 수행됩니다. Excel에서 셀을 선택하고 서식을 지정하는 것처럼, 모든 작업이 사용자의 명시적 지시에 따릅니다.

하지만 AI 에이전트는 다릅니다. 사용자가 "우리 팀의 월간 보고서를 작성해줘"라고 말하면, 에이전트는 다음을 자동으로 수행할 수 있습니다:

1. 필요한 데이터를 여러 소스에서 수집
2. 데이터를 정리하고 분석
3. 보고서 템플릿 선택
4. 본문 작성
5. 차트와 그래프 생성
6. 팀원들에게 자동으로 배포

이러한 자동화는 큰 시간 절약을 제공하지만, 동시에 새로운 문제를 야기합니다: 사용자가 중간 과정을 볼 수 없으면 신뢰할 수 없고, 신뢰할 수 없으면 자동화의 이점을 누릴 수 없습니다.

따라서 에이전틱 UX는 이 딜레마를 해결하기 위한 디자인 패턴의 집합입니다.

‍

핵심 개념: 에이전트의 세 가지 작동 모드

1. 위임(Delegation) 모드: 완전한 자율성

위임 모드는 사용자가 에이전트에게 작업을 맡기고 완전히 신뢰하는 경우입니다. "이 업무를 처리해, 다 끝나면 알려줘"라고 말하는 식입니다.

설계 원칙: 위임 모드에서는 에이전트가 백그라운드에서 작동하며, 사용자는 다른 일을 계속할 수 있습니다. 진행 상황을 계속 보여달라는 강박은 오히려 사용자 경험을 해칩니다.

설계 패턴:

1. 명확한 작업 정의: "마케팅 팀에게 분기별 성과 요약 보내기"처럼 매우 구체적이어야 함
2. 예상 완료 시간 표시: "약 5분이 걸릴 것 같습니다"라는 정보 제공
3. 조용한 배경 작동: 팝업이나 방해 없이 조용히 작동
4. 완료 알림: 푸시 알림이나 대시보드 배지로 작업 완료 알림
5. 결과 요약: 무엇을 했는지, 어떤 결과가 나왔는지 간단히 표시

예시: Slack의 AI 어시스턴트가 "일주일간의 메시지를 분석해서 주요 주제 정리"라는 작업을 받을 때, 사용자는 이 요청을 날린 후 다른 일을 해도 됩니다. 30초 후에 DM으로 "완료했습니다, 주요 주제는 XYZ입니다"라는 메시지를 받으면 됩니다.

위임 모드의 위험성: 하지만 위임 모드만으로는 부족합니다. 에이전트가 실수하거나 예상과 다른 결과를 낼 수 있기 때문입니다. 따라서 "잠깐, 뭔가 이상한데?"라고 생각했을 때 개입할 방법이 필요합니다.

2. 확인(Confirmation) 모드: 감시된 자율성

확인 모드는 에이전트가 작업을 수행하기 전에, 또는 중간에, 또는 수행 후에 사용자의 승인을 받는 모드입니다.

설계 원칙: "나는 이것을 해려고 하는데, 괜찮습니까?" 또는 "나는 이것을 했는데, 확인해 보세요"

세 가지 확인 시점:

2-1. 사전 확인(Pre-confirmation): 에이전트가 실제 작업 수행 전에 계획을 제시하고 승인을 요청합니다.

1. 계획 시각화: "이 메일들을 보낼 생각입니다, 총 15명에게 보낼 예정입니다"라고 구체적으로 표시
2. 선택적 변경 기능: "인원 수 조정", "템플릿 변경", "예약 시간 변경" 같은 옵션 제공
3. 명확한 진행 버튼: "확인" 또는 "진행" 버튼으로 사용자의 적극적 동의 요구

예시: Gmail의 AI 기반 메일 자동 분류 기능에서, "다음 100개의 이메일을 자동으로 분류하려고 합니다"라고 미리 보여주고, 사용자가 "이 규칙은 조정해줘", "저건 추가해줘"라고 말할 수 있어야 합니다.

2-2. 중간 확인(Mid-confirmation): 에이전트가 작업 중 중요한 결정 지점에서 멈추고 사용자에게 묻습니다.

1. 의사결정 지점 식별: "데이터가 여러 해석이 가능합니다. 어느 것을 선택하시겠습니까?"
2. 옵션 명확화: 각 옵션의 장단점을 간단히 설명
3. 타이머(선택사항): "5분 내에 응답이 없으면 기본값으로 진행합니다"

예시: 고객 분석 에이전트가 "매출이 30% 떨어졌습니다. 계절 변화 때문일 수도, 시장 변화 때문일 수도 있습니다. 어느 가설로 분석할까요?"라고 묻습니다.

2-3. 사후 확인(Post-confirmation): 에이전트가 작업을 완료한 후 결과를 보여주고 승인을 요청합니다.

1. 결과 미리보기: 최종 결과물을 사용자가 보기 좋은 형태로 표시
2. 변경사항 강조: "추가된 부분", "삭제된 부분", "변경된 부분"을 색상으로 구분
3. 수정 도구: "이 부분 다시 해줘", "저것만 유지해" 같은 자연어 피드백 허용
4. 승인 메커니즘: 최종 "게시", "저장", "전송" 버튼

예시: Google Workspace의 "스마트 작성" 기능이 초안을 작성한 후, 사용자가 "좀 더 정중하게", "이 부분은 다르게" 같은 피드백을 줄 수 있습니다.

확인 모드의 중요성: 확인 모드는 사용자에게 심리적 안정감을 줍니다. "내가 통제권을 가지고 있다"는 느낌이 신뢰를 만듭니다.

3. 오버라이드(Override) 모드: 긴급 개입

오버라이드 모드는 에이전트가 작동 중일 때 사용자가 언제든 개입할 수 있는 메커니즘입니다.

설계 원칙: "지금 멈춰!", "다르게 해!", "돌아가!"

구체적 설계 패턴:

1. 일시 정지 버튼(Pause): 에이전트가 중간에 멈출 수 있어야 함. 특히 돌이킬 수 없는 작업(삭제, 전송, 배포) 전에
2. 방향 변경(Redirect): "그것이 아니라 저걸 해줘"라고 중간에 지시 변경 가능
3. 최근 작업 취소(Undo): 에이전트가 마지막 몇 가지 단계를 되돌릴 수 있어야 함
4. 전체 중지(Abort): "이 작업 전부 취소해"라고 말할 수 있어야 함
5. 강제 종료(Kill Switch): 에이전트가 제어 불능 상태가 되었을 때 완전히 끌 수 있어야 함

예시: GitHub Copilot이 코드 자동 완성을 하고 있을 때, 개발자가 "이건 아니야"라고 생각하고 ESC 키를 누르면 즉시 중단되고 원래 상태로 돌아갑니다.

오버라이드의 UI 원칙:

오버라이드 메커니즘은 항상 접근 가능해야 합니다. 깊은 메뉴 안에 숨겨져 있으면 안 됩니다. 대신 다음과 같은 배치가 권장됩니다:

• 화면 상단에 떠있는 컨트롤 바 (Figma의 실시간 협업처럼)
• 오른쪽 사이드바에 에이전트 상태 패널
• 키보드 단축키 (ESC, Ctrl+Z 등)
• 음성 명령 ("잠깐", "다시")

‍

실무 설계 프레임워크: 어떤 작업에 어떤 모드를?

4. 작업 유형에 따른 모드 선택

모든 작업이 같은 방식으로 처리될 수는 없습니다. 작업의 특성에 따라 어떤 모드를 선택할지 결정해야 합니다.

낮은 위험, 높은 신뢰: 위임 모드

다음과 같은 작업들은 위임 모드로 진행해도 괜찮습니다:

• 자동 정렬, 필터링, 분류: "메일을 주제별로 정렬해"
• 요약 및 분석: "지난 주의 트래픽 동향을 요약해"
• 반복적 작업: "매일 아침 날씨 요약을 보내"
• 읽기 전용 작업: "이 문서의 핵심을 뽑아줘"

이런 경우 에이전트가 자동으로 작동해도 문제가 작습니다. 최악의 경우는 다시 실행하면 되거나, 수정하면 됩니다.

중간 위험, 중간 신뢰: 확인 모드

다음과 같은 작업들은 확인 모드가 적절합니다:

• 데이터 생성: "이달의 보고서를 작성해"
• 쓰기 작업: "이 이메일에 답변해", "블로그 포스트 초안 작성"
• 수정 작업: "이 스프레드시트에서 오류 수정", "코드 리팩토링"
• 업로드 작업: "이 파일들을 클라우드에 백업해"

이 경우 사용자가 결과물을 확인하고 미세 조정할 기회가 필요합니다.

높은 위험, 낮은 신뢰: 강화된 확인 모드

다음과 같은 작업들은 매우 신중하게 처리해야 합니다:

• 삭제 작업: "이 파일들을 삭제해", "이 메일들을 영구 삭제"
• 재정 거래: "이 청구서를 승인해", "이 구매 주문을 처리"
• 배포 작업: "이 코드를 프로덕션에 배포", "이 이메일을 모든 고객에게 발송"
• 권한 변경: "이 사용자의 접근 권한을 변경"

이 경우 사전 확인과 최종 확인, 양쪽 모두 필요합니다. 또한 이런 작업은 에이전트의 "신뢰 점수"에 따라 더 엄격한 확인 프로세스를 거쳐야 합니다.

5. 신뢰 점수 시스템

에이전트가 사용자의 신뢰를 어느 정도 획득했는지를 나타내는 "신뢰 점수"를 도입하면 UX가 크게 개선됩니다.

신뢰 점수가 낮을 때 (초기 사용, 또는 오류 이력이 많을 때): 모든 작업에 강화된 확인 모드 적용

신뢰 점수가 중간일 때: 위험도에 따라 위임 모드와 확인 모드 혼합

신뢰 점수가 높을 때: 저위험 작업은 완전 위임, 고위험 작업만 확인

Microsoft Copilot의 사례를 보면, 처음 사용자는 모든 작업에 대해 "이렇게 할까요?"를 물어보지만, 시간이 지나면서 사용자의 피드백을 학습하여 점차 자율성을 높입니다.

6. 실제 설계 예시: 이메일 자동 응답 에이전트

이메일 자동 응답 에이전트의 설계를 통해 이 패턴들을 실제로 어떻게 적용하는지 살펴보겠습니다.

상황: 사용자가 "이 이메일들을 자동으로 답변해"라고 명령

Step 1 - 사전 확인: 에이전트가 다음을 표시합니다:

• "15개의 이메일을 분석했습니다"
• "이 중 12개는 자동 응답할 수 있고, 3개는 직접 검토가 필요합니다"
• "자동 응답할 12개의 이메일 목록"
• "응답 템플릿 미리보기"
• "지금 진행할까요?" (Yes/No/Edit)

Step 2 - 중간 확인(필요 시): 에이전트가 12개를 처리하는 동안:

• "이 고객은 2주 전에도 유사한 질문을 했습니다. 같은 답변을 할까요, 아니면 다르게 할까요?"
• 사용자가 다르게 할 생각이면 "이렇게 수정해줘"라고 자연어로 피드백

Step 3 - 사후 확인: 모든 응답이 작성되면:

• "다음 12개의 이메일에 답변을 준비했습니다"
• 각 이메일의 원문과 그에 대한 AI의 답변을 나란히 표시
• 각 항목에 "이 답변은 좋습니다", "다시 작성해", "발송하지 마"라는 옵션
• "모든 답변 발송" 버튼으로 최종 승인

Step 4 - 오버라이드: 처리 중간에 "잠깐,"이라고 생각하면 ESC를 누르거나 "멈춰"라고 말할 수 있음

심리학적 고려사항: 신뢰 구축

7. 투명성과 설명 가능성

왜 이 결정을 했는가? 에이전트의 선택이 이해 가능해야 합니다.

예: "왜 이 이메일은 자동 응답 불가라고 판단했는가?"라고 물으면, "이 이메일은 새로운 고객(지난 이메일 이력이 없음)이고, 복잡한 맞춤형 질문을 하고 있어서 직접 검토 필요"라고 설명해야 합니다.

무엇이 잘못되었는가? 에이전트가 실수했을 때, 왜 실수했는지 설명해야 합니다.

예: "이 메일의 톤이 예상과 달라 보이시나요?"라고 물을 수 있어야 합니다.

다음에는 어떻게 다르게 할 것인가? 에이전트는 피드백으로부터 학습해야 합니다.

예: "사용자가 이 유형의 질문에는 항상 더 심층적인 답변을 원한다"는 것을 학습

8. 예측 가능성

사용자는 에이전트의 행동을 예측할 수 있어야 합니다. "이건 자동으로 될까, 아니면 물어볼까?"를 예측할 수 있어야 합니다.

명확한 규칙을 보여주세요:

• "메일 답변은 항상 발송 전에 확인을 요청합니다"
• "정리와 분류는 자동으로 진행합니다"
• "삭제는 항상 먼저 물어봅니다"

이런 규칙이 일관되면, 사용자는 에이전트를 신뢰하게 됩니다.

9. 에러 복구

에이전트가 실수했을 때, 복구가 얼마나 쉬운가도 신뢰의 중요 요소입니다.

• 모든 에이전트 작업은 로그에 기록되어야 함
• 최근 10개 작업은 한 번의 클릭으로 취소 가능해야 함
• "이런 일은 다시 하지 마"라고 말할 수 있어야 함

예: Slack에서 메시지를 실수로 삭제했을 때, "실행 취소" 옵션이 있는 것처럼

구체적인 구현 사례

10. 사례 1 - Slack의 AI 에이전트

Slack의 최신 AI 어시스턴트는 위임과 확인 모드를 잘 혼합합니다:

• 위임: "이 채널의 일주일 요약"은 자동으로 생성하여 매주 월요일 아침에 전송
• 확인: "이 스레드에서 액션 아이템 추출"은 추출 후 "맞나요?"라고 물어봄
• 오버라이드: 생성된 요약이 마음에 안 들면 "다시 생성해" 또는 스스로 수정 가능

11. 사례 2 - Gmail의 스마트 작성

Gmail의 "스마트 작성" 기능:

• 위임: "답장해"라고 하면 자동으로 초안 생성
• 사후 확인: 생성된 초안을 사용자가 검토하고 수정 가능
• 피드백 학습: "좀 더 정중하게" 같은 피드백을 학습하여 다음 생성에 반영

12. 사례 3 - GitHub Copilot의 코드 자동 완성

GitHub Copilot:

• 위임: 개발자가 함수명을 입력하면 Copilot이 함수 본문을 자동으로 제안
• 확인: 제안된 코드를 사용자가 Tab으로 수락하거나 무시 가능
• 오버라이드: Ctrl+Z로 제안을 되돌리고 다시 입력
• 신뢰 점수: 개발자가 많이 수락하는 제안은 미래에 더 자신 있게 제시

설계 체크리스트: 에이전틱 UX 평가

에이전트 인터페이스를 설계할 때 다음 항목들을 확인하세요:

1. 작업 분류: 각 에이전트 작업을 위험도에 따라 분류했는가? (저/중/고위험)
2. 모드 선택: 각 작업에 적절한 모드(위임/확인/오버라이드)가 할당되었는가?
3. 계획 공개: 에이전트가 실행 전에 계획을 보여주는가?
4. 중간 개입: 사용자가 진행 중 개입할 수 있는가?
5. 결과 검증: 사용자가 결과물을 확인할 기회가 있는가?
6. 오버라이드 접근성: 긴급히 멈출 수 있는 방법이 명확한가?
7. 설명 가능성: 에이전트가 왜 이런 결정을 했는지 설명할 수 있는가?
8. 피드백 루프: 사용자의 피드백을 에이전트가 학습할 수 있는가?
9. 에러 복구: 실수가 발생했을 때 쉽게 되돌릴 수 있는가?
10. 신뢰 표시: 사용자가 에이전트의 신뢰 점수나 신뢰도를 알 수 있는가?

에디터 노트: 에이전트와 인간의 협력

에이전틱 UX의 핵심은 "AI는 도우미이지, 마스터가 아니다"라는 철학에 있습니다.

가장 우수한 에이전트 인터페이스는 사용자가 다음을 느낄 수 있게 설계됩니다:

첫째, "나는 항상 통제권을 가지고 있다" - 에이전트가 자동으로 뭔가를 할 때도, 내가 언제든 개입할 수 있다는 느낌

둘째, "나는 무슨 일이 일어나고 있는지 이해한다" - 에이전트의 결정이 투명하고 설명 가능하다는 느낌

셋째, "에이전트는 나를 더 똑똑하게 만든다" - 단순히 시간을 절약하는 것이 아니라, 더 나은 결정을 할 수 있게 돕는다는 느낌

이런 느낌들이 전달될 때, 사용자는 에이전트를 진정한 협력자로 받아들입니다.

아울러 중요한 점은 에이전트 인터페이스는 "한 번 설계하고 끝"이 아니다는 것입니다. 사용자의 신뢰도가 시간에 따라 변하면서, 인터페이스의 자동화 수준도 동적으로 조정되어야 합니다. 초기에는 매우 신중하게, 시간이 지나면서 점차 자율성을 높이는 방식으로 진화합니다.

미래의 에이전틱 UX

2026년 이후 에이전틱 UX는 더욱 정교해질 것입니다:

• 멀티 에이전트 조정: 여러 에이전트가 함께 작동할 때의 복잡성 관리
• 문맥 학습: 에이전트가 개별 사용자의 선호도를 더욱 깊게 학습
• 예측적 제안: "내 다음 행동이 뭘 건지 예측"할 정도의 지능
• 윤리적 가이드라인: "이건 해도 되고, 이건 절대 하면 안 돼"라는 명확한 경계

Where AI Drives UX, FRAMEOUT