자동 응대를 붙이면 응답 속도가 좋아집니다. 그리고 그 숫자만 보면 성공처럼 보입니다.
그런데 속도는 틀린 답도 빠르게 만듭니다. 그래서 무엇을 재는지가 도구 선택보다 중요합니다.
#해결률이 속도보다 먼저다
봐야 할 첫 숫자는 자동 응대만으로 끝난 비율입니다. 사람에게 넘어가지 않고 마무리된 대화요.
다만 이 숫자만 보면 넘겨야 할 것을 안 넘기고 억지로 끝내는 쪽으로 최적화됩니다.
그래서 같은 고객이 다시 문의한 비율을 함께 봅니다. 해결된 것처럼 보였지만 아닌 경우가 여기서 드러납니다.
두 숫자를 같이 봐야 「정말 해결됐는가」가 나옵니다.
#못 답한 질문이 개선 목록이다
자동이 답을 못 한 질문은 실패가 아니라 자료입니다. 그 목록이 곧 보강해야 할 문서입니다.
그래서 못 답한 질문을 자동으로 모으는 구조를 만들어 둡니다. 사람이 기억해서 적는 방식은 유지되지 않습니다.
그리고 이 목록을 주기적으로 훑어 세 개씩 자료에 반영합니다. 한 번에 다 하려 하면 안 하게 됩니다.
몇 주만 반복해도 못 답하는 비율이 눈에 띄게 줄어듭니다.
#만족도 조사는 절반만 말한다
「도움이 되셨나요」 버튼은 편리하지만 응답률이 매우 낮습니다. 그리고 답하는 사람은 대개 극단에 있습니다.
그래서 만족도만 보면 가운데가 통째로 안 보입니다. 조용히 불만족한 다수가 빠집니다.
보완하려면 행동 지표를 같이 봅니다. 대화 중 이탈, 재문의, 사람 연결 요청 비율.
이 숫자들은 말하지 않는 사람의 의사를 보여 줍니다.
#틀린 답은 빈도가 아니라 크기로 본다
오답 100건 중 99건이 사소해도, 나머지 1건이 납기나 금액이면 손해는 그 1건에서 납니다.
그래서 오답을 셀 때 등급을 나눕니다. 불편·오해·손해 정도면 충분합니다.
그리고 손해 등급은 0 을 목표로 합니다. 0 이 아니면 그 영역은 자동 응대에서 빼야 합니다.
이 구분이 없으면 「정확도 98%」 같은 숫자가 안전하다는 착각을 만듭니다.
2%가 어떤 2%인지가 전부입니다. 같은 정확도라도 어디서 틀리느냐에 따라 위험이 몇 배 달라집니다.
#나빠지는 것을 먼저 알아야 한다
자동 응대는 조용히 나빠집니다. 상품이 바뀌고, 정책이 바뀌고, 자료가 낡아도 답은 계속 나갑니다.
그래서 자료 갱신일을 지표로 둡니다. 오래된 자료가 있으면 그 자체가 경고입니다.
그리고 상품·가격·배송 정책을 바꿀 때 자동 응대 자료 갱신을 같은 절차에 넣습니다.
체크리스트 한 줄이면 됩니다. 기억에 맡기면 바쁜 달에 반드시 빠집니다.
절차에 없으면 반드시 빠지고, 빠진 자료는 틀린 답을 계속 만듭니다.
#사람 응대와 비교한다
자동이 잘하고 있는지는 사람이 했을 때와 비교해야 알 수 있습니다.
같은 질문 묶음을 사람과 자동 양쪽으로 처리해 보고 재문의율과 소요 시간을 비교합니다.
사람이 더 나은 영역이 있으면 그 영역은 사람에게 둡니다. 전부 자동일 필요가 없습니다.
자동화율을 목표로 잡으면 사람이 나은 영역까지 밀어 넣게 됩니다. 목표는 비율이 아니라 결과여야 합니다.
그리고 이 비교는 반년에 한 번쯤 다시 합니다. 도구도 바뀌고 문의 성격도 바뀝니다.
#숫자를 한 장에 모은다
지표가 여러 화면에 흩어져 있으면 아무도 안 봅니다.
그래서 한 장에 모읍니다. 해결률, 재문의율, 못 답한 질문 수, 손해 등급 오답 수, 자료 최종 갱신일.
다섯 줄이면 충분하고, 주 1회 확인이면 충분합니다.
그리고 이 표를 사람 응대 담당자와 함께 봅니다. 현장 감각과 숫자가 만나야 원인이 보입니다.
숫자만 보면 「왜 그런지」가 안 보이고, 감각만 보면 「얼마나 그런지」가 안 보입니다.
#목표는 문의를 줄이는 것이다
정리하면 응대 지표의 최종 목적은 빠른 응대가 아니라 문의 자체가 줄어드는 것입니다.
같은 질문이 반복된다는 건 페이지나 절차에 빈 곳이 있다는 신호입니다. 거기를 고치면 문의가 사라집니다.
그래서 가장 좋은 개선은 응대 성능이 아니라 그 질문이 안 생기게 만드는 것입니다.
자동 응대는 그 빈 곳을 찾아 주는 장치로 쓸 때 가장 값어치가 큽니다.
그렇게 보면 문의가 줄어드는 것이 도구를 잘 쓴 증거이지 도구가 필요 없어진 신호가 아닙니다.
처음부터 읽기 → AI 상담에 무엇을 맡길 것인가
