당신의 AI 직원에게도 KPI가 필요합니다, AI 챗봇 KPI 예시와 설정 순서

데이터 분석 회사 다타이쿠(Dataiku)가 2026년 9월에 CIO(최고정보책임자) 조사 결과를 하나 발표했습니다. 해리스폴에 의뢰해 같은 해 7월 세계 각국의 CIO 685명에게 물은 조사인데요. 자기 회사의 AI 에이전트 전부를 대상으로 운영 성과와 사업 성과를 '둘 다 꾸준히' 측정하고 있다고 답한 CIO는 28%뿐이었습니다. 나머지 72%의 CIO는 '운영성과와 사업성과를 모두 다 꾸준히 측정하고 있다'고 답하지 못한 것이죠.

직무분석이라는 주제를 전문으로 하고 있는 입장에서 28% 밖에 측정하지 않고 있는 이유는 '무엇을 핵심 Target으로 일해야 하는지, 그것을 어떠한 상태로 만들어야 하는지'에 대한 AI에이전트의 성과목표가 명확하지 않기 때문일 가능성이 높아 보입니다. 성과목표가 명확히 설정되지 않은 AI 에이전트라면, 무엇을 측정해야 할지도 알 수가 없기 때문입니다.

올해는 강의장에서도 자문 현장에서도 "우리 회사도 AI 에이전트를 만들었습니다"라는 말을 참 많이 듣습니다. 그런데 보고서나 발표 자료에서 그 AI의 성과를 찾아보면, 제 눈에 들어오는 답은 대개 응답 건수 같은 숫자인데요. 사람 직원이었다면 KPI를 설정하기 전에 '이 직원은 누구를 위해 무엇을 어떤 상태로 만드는가'를 반드시 먼저 물었을 텐데, AI 에이전트 앞에서는 이 질문을 하지 않는 것 같습니다.

이 글에서는 사람이 맡던 일의 한 덩어리를 넘겨받아 처리하는 AI 에이전트를 'AI 직원'이라고 부릅니다. 고객 문의에 답하는 챗봇이 대표적인 예입니다. 오늘은 AI 직원의 KPI를 사람 직원의 KPI와 같은 순서로 설정해야 하는 이유, 그리고 고객 문의 챗봇을 예로 든 AI 챗봇 KPI 설정 순서에 대해 함께 살펴보는 시간을 갖도록 하겠습니다.

세 줄로 핵심 내용을 정리하고 시작하겠습니다.

ㄱ. '월 응답 건수'와 'AI 도입률'은 성과가 나아지지 않아도 올라가는 수치라서 AI 직원의 KPI가 될 수 없고, PI로 설정해 지켜보는 것이 좋습니다.

ㄴ. AI 직원도 사람 직원과 같은 순서로, 누구를 위해 무엇을 어떤 상태로 만들어야 하는지 성과목표부터 설정한 다음 성과활동과 KPI를 도출합니다.

ㄷ. 고객 문의 챗봇이라면 해결까지 걸린 시간, 사람에게 넘긴 비율, 재문의율이 KPI 후보가 되고, 챗봇과 일을 나눈 담당자는 성과목표는 그대로 둔 채 성과활동과 KPI를 새로 설정합니다.

1. '월 응답 건수'와 'AI 도입률'은 왜 KPI가 될 수 없을까요?

성과가 하나도 나아지지 않아도 두 숫자는 얼마든지 올라가기 때문입니다.

설명을 위해 가상의 장면 하나를 만들어 보았습니다(실제 회사의 이야기가 아닙니다). 가전제품을 온라인으로 파는 회사의 고객지원팀이 고객 문의 챗봇을 도입한 지 석 달째 되는 날, 경영회의에 도입 보고서를 올립니다. 성과 항목에는 '월 응답 1만 2천 건, 응답률 98%'라는 한 줄만 적혀 있습니다. 보고를 들은 대표가 이렇게 말합니다. "숫자가 좋네요. 다른 부서에도 하나씩 만들어 봅시다." 이 한마디로 다음 분기 이 회사의 AI 도입률이 올라갑니다.

그런데 보고서의 1만 2천 건 가운데 고객이 원하던 답을 얻고 대화를 끝낸 것이 몇 건인지는 어디에도 나오지 않습니다. 답을 못 얻은 고객이 같은 질문을 말만 바꿔 세 번 다시 입력하면 응답은 세 건 늘어나고, 챗봇이 엉뚱한 안내를 내놓더라도 대답을 하기만 했다면 응답률은 여전히 98%입니다. 보고서의 숫자가 좋아지는 동안 고객의 불편은 그대로였을 수도 있는 것이죠. 응답률 98%만 믿고 다른 부서에까지 같은 방식으로 AI를 들였다고 생각하면...아찔하죠. (아마 실제 많은 회사의 AI 챗봇을 이용하면서 이런 생각 많이들 하셨을겁니다.)

도대체 왜 이런 숫자가 AI 성과 보고서의 첫 줄을 차지하게 되는 것일까요?

AI 직원이 만들어야 할 상태, 즉 성과목표가 설정되어 있지 않으니 셀 수 있는 것이 응답 건수와 도입률밖에 없기 때문이죠.

제가 책 『KPI는 어떻게 당신의 성과가 되는가』에서 가장 먼저 설정한 원칙은 '지표는 목표가 아니다'입니다. KPI는 Key Performance Indicator의 줄임말이고, 마지막의 Indicator는 '목표'가 아니라 '지표'라는 뜻인데요. 지표란 지금 무엇이 어떤 상태에 와 있는지를 있는 그대로 알려 주는 신호입니다. 그런데 응답 건수에 담긴 정보는 챗봇이 '몇 번 대답했는가'뿐이고, 고객의 문의가 '해결된 상태인가', ‘고객이 만족스럽게 상담을 마쳤는가’는 어디에도 담겨 있지 않습니다. 응답 건수 같은 숫자를 KPI로 설정하면 숫자를 올리는 일 자체가 목표처럼 다뤄지게 되는데요. 지표를 목표로 착각하는 순간, 고객의 문의가 정말 해결됐느냐는 질문은 아무도 던지지 않고 오로지 숫자만 바라보게 되는 것이죠.

책에서 KPI를 선정할 때 쓰는 다섯 기준 가운데 첫째가 '임의로 올릴 수 있는 수치는 제외한다'입니다. 응답 건수는 챗봇이 한 번에 끝낼 대답을 여러 번으로 쪼개 내보내도록 설정만 바꿔도 올라가고, AI 도입률은 AI 도구를 하나 더 들이기만 해도 올라갑니다. 성과와 상관없이 회사가 마음먹은 만큼 올릴 수 있는 수치라서, 두 숫자는 처음부터 KPI 자격이 없는 것입니다.

2. AI 직원의 KPI 설정 순서는 사람 직원과 무엇이 다를까요?

다른 점이 없습니다. 사람의 KPI를 설정할 때 던지는 세 가지 질문을 같은 순서로 AI 직원에게 던지면 됩니다.

첫째 질문은 '이 AI 직원은 누구를(무엇을) 위해 일하는가'입니다. 고객 문의 챗봇이라면 답은 문의를 남긴 고객이죠. 둘째 질문은 '그 고객을 어떤 상태로 만들어야 하는가'입니다. 예를 들면 '고객이 궁금해 하는 사항을 완전히 해결한 상태'라고 적을 수 있습니다. 셋째 질문은 '고객이 그 상태에 가까워질 때 어떤 수치가 움직이는가'인데요. 고객이 궁금해 하는 사항을 완전히 해결했다면 서비스 이용 만족도가 올라가고, 같은 고객이 동일하거나 유사한 내용으로 다시 들어오는 문의가 줄어드는 것 같은 변화가 그 답이 됩니다.

앞의 두 질문에 대한 답을 한 문장으로 묶으면 성과목표가 되고, 셋째 질문에서 나온 수치들은 성과지표(PI)가 됩니다. 이 PI들 가운데 성과목표와 관련이 가장 깊은 것을 KPI로 선정하는 것이죠. 그리고 성과목표와 KPI 사이에는 AI 직원이 성과목표를 이루려고 실제로 수행하는 일, 즉 성과활동이 들어갑니다. 책에서 설명한 '성과목표 → 성과활동 → KPI'의 세 단계가 바로 이 흐름입니다.

세 질문 가운데 가장 헷갈리기 쉬운 자리는 둘째 질문인데요. 책에서 강조한 대로 성과는 Do(하는 것)가 아니라 Be(되는 것)입니다. '고객 문의에 자동으로 답변한다'는 챗봇이 수행하는 성과활동, 다시 말해 Do에 해당합니다. 이 Do가 성과목표 자리에 들어가면 KPI 역시 '몇 번 답변했는가', 곧 응답 건수로 흘러가게 됩니다. 반면 성과목표를 '해결된 상태'라는 Be로 적으면, 해결 여부를 드러내지 못하는 응답 건수는 KPI 후보에서 저절로 밀려납니다.

콜센터 상담원을 예로 들어 보면 Do와 Be의 차이가 훨씬 또렷해집니다. 상담원의 직무를 '전화를 받는 사람'이라고 정의한 회사에서는 하루 동안 받은 통화 수가 KPI가 됩니다. 같은 상담원을 '고객의 문제를 해결하는 사람'이라고 정의한 회사에서는 한 통화 만에 문제가 풀린 비율이 KPI가 되죠. 상담원도 같고 전화도 같은데, 직무를 무엇으로 정의했는지, 다시 말해 성과목표를 무엇으로 설정했는지가 KPI를 바꿔 놓은 것입니다. 챗봇도 마찬가지입니다. 챗봇을 '대답하는 프로그램'으로 보는 회사는 응답 건수를 세고, '고객 문의를 해결하는 직원'으로 보는 회사는 해결된 상태를 드러내는 수치를 셉니다. KPI를 결정하는 것은 성과목표이지, 세기 편한 숫자가 절대 아닙니다.

3. 고객 문의 챗봇이라면 어떤 수치를 KPI로 설정해야 할까요?

성과목표가 '고객 문의가 5분 안에 해결된 상태'인 챗봇이라면, 주요 KPI 후보로 다음 세 수치를 생각해 볼 수 있습니다. 실제 회사에서 가져온 수치가 아니라 책의 기준에 맞춰 구성한 예시이며, 회사마다, 챗봇이 맡은 범위마다 달라질 수 있습니다.

ㄱ. 해결까지 걸린 시간 — 고객이 문의를 남긴 순간부터 문제가 해결될 때까지의 시간으로, 성과목표에 적힌 '5분 안에'를 그대로 재는 결과지표입니다. 챗봇이 아무리 여러 번 대답해도 문제가 풀리지 않으면 해결까지 걸린 시간은 짧아지지 않습니다.

ㄴ. 사람에게 넘긴 비율 — 챗봇이 끝내 해결하지 못해 사람 상담원에게 넘긴 문의가 전체 문의에서 차지하는 비율입니다. 매일 확인할 수 있는 선행지표라서, 이 비율이 갑자기 뛰는 날에는 해결 시간에 문제가 드러나기 전에 무엇이 달라졌는지부터 살펴볼 수 있습니다. (저도 이런 경우 엄청 많습니다.)

ㄷ. 재문의율 — 같은 고객이 같은 내용으로 다시 문의한 비율로, '대답은 했지만 해결은 못 한' 문의가 얼마나 되는지 알려 주는 결과지표입니다. 만약 응답 건수와 재문의율이 나란히 오르고 있다면, 응답 건수가 성과를 비추지 못한다는 사실을 재문의율이 숫자로 증명하는 셈입니다.

세 수치가 KPI로 쓸 만한지는 책의 다섯 기준에 하나씩 대어 확인합니다. 첫째, 임의로 올릴 수 있는가. 해결 시간과 재문의율은 문의가 실제로 해결되어야 좋아지고, 사람에게 넘긴 비율은 챗봇이 스스로 해결하는 문의가 늘어야 낮아집니다. 대답을 늘린다고 좋아지는 수치는 하나도 없는 것이죠. 둘째, 성과목표와 관련이 있는가. 셋 다 '해결된 상태'에서 바로 나온 수치입니다. 셋째, 정성 지표인가. 시간과 비율로 재기 때문에 평가자의 판단이 끼어들지 않습니다. 넷째, 수시로 측정할 수 있는가. 해결까지 걸린 시간, 사람에게 넘긴 비율, 재문의율 모두 매일 확인할 수 있는 지표인 덕분에 결과지표가 나빠지기 전에 먼저 중간 과정을 살필 수 있습니다. 다섯째, 실제로 집계할 수 있는가. 회사마다 답이 달라지는 것이 바로 이 다섯째 기준인데요. 재문의율은 고객이 누구인지 알아보고 문의 내용을 주제별로 나누는 체계가 갖춰져야 셀 수 있습니다. 그런 체계가 아직 없는 회사라면 재문의율은 PI로 두고, 해결 시간과 사람에게 넘긴 비율 두 가지만 KPI로 설정하시면 됩니다.

그렇다고 응답 건수와 AI 도입률을 지워 버릴 필요는 절대 없습니다. KPI가 아니라 PI로만 설정해 두면 이 지표도 제 몫을 할 수 있는데요. 응답 건수가 어느 달 갑자기 반 토막이 났다면, 챗봇에 장애가 생겼거나 고객이 챗봇을 건너뛰고 있다는 뜻으로 읽을 수 있습니다. AI 도입률은 도입 초기에 아직 한 번도 AI 챗봇을 도입하지 않은 팀을 찾아내고 도입한 팀과 도입하지 않은 팀의 성과를 비교하는 데는 쓸모가 있습니다. 두 숫자를 PI로 설정해 지켜보고 분석하되, 집중해서 관리하고 평가 기준으로 삼는 KPI의 자리는 내주지 않는 것이 좋습니다.

4. 챗봇과 일을 나눈 고객지원 담당자에게는 어떤 KPI를 새로 설정해야 할까요?

성과목표는 그대로 두고, 성과활동과 KPI를 다시 설정합니다.

같은 예시로 이어 가 보면, 챗봇을 들이기 전에도 고객지원 담당자의 성과목표는 '고객 문의가 5분 안에 해결된 상태'였을 것이고, 챗봇이 문의 해결의 일부를 넘겨받은 뒤에도 이 성과목표는 그대로 남습니다. 바뀌는 쪽은 해결된 상태를 만들려고 담당자가 하는 일, 즉 성과활동인데요. 예전에 '들어온 문의에 직접 답변한다'가 성과활동이었다면, 이제는 '챗봇이 넘겨준 문의를 마무리한다', '재문의가 몰리는 주제를 찾아 챗봇의 답변을 수정한다' 등이 새로운 성과활동(행동지표)이 될 수 있습니다. 성과활동이 달라졌으니 KPI 후보도 '챗봇이 넘겨준 문의의 해결 시간'이나 '재문의가 몰리던 주제에서 다음 달 재문의율이 얼마나 낮아졌는가' 같은 수치로 달라집니다.

이때 '챗봇 답변을 몇 건 수정했는가'를 담당자의 KPI로 설정하고 싶은 마음이 들기 쉽습니다. 하지만 이것은 1절에서 본 응답 건수의 함정을 사람 담당자에게 그대로 옮겨 놓는 일인데요. 답변을 손보기만 하면 올라가는 수치라서, 손본 답변 덕분에 고객의 문의가 실제로 해결됐는지는 알려 주지 못하기 때문입니다. 결국 사람이든 AI든 KPI를 가려내는 기준은 하나입니다. 이 수치가 성과목표의 상태를 그대로 비추고 있는가.

AI 직원의 성과목표를 설정할 때 그 AI에게 일을 넘겨준 직무 담당자와 해당 팀장이 함께 진행하는 것이 좋습니다. AI 직원이 만들어야 하는 성과목표는 원래 그 직무 담당자가 만들어야 했던 성과목표의 한 조각이기 때문이죠.

챗봇이 아닌 AI 직원에게도 순서는 같습니다. 견적서 작성을 자동화한 AI라면 먼저 '고객이 요청한 당일에 영업담당자가 정확한 견적서를 보낼 수 있는 상태'처럼 그 AI가 누구를 어떤 상태로 만들어야 하는지 구체적인 성과목표를 정리해야 합니다. 반면 '만들어 낸 견적서 건수'는 견적서를 찍어 내기만 하면 올라가는, 응답 건수와 똑같은 성격의 수치이므로 PI로만 두고 KPI로는 선정하지 않습니다.

사람이 하던 일을 AI 직원과 나눠 맡긴다면, 사람 쪽에도 AI 쪽에도 성과목표에서 출발해 KPI까지 내려가는 설정이 각각 있어야 합니다. 그래야 고객 문의가 해결되지 않았을 때 중간에 어느 활동에서 막혔는지 그 과정을 지표를 통해 찾아낼 수 있습니다.

자, 여러분들 회사에 다음 AI 도입 보고서가 올라오면 성과 항목의 수치마다 이렇게 물어보시기 바랍니다. "이 수치는 성과가 하나도 좋아지지 않아도 올라갈 수 있는가?" 올라갈 수 있다는 답이 나온 수치는 PI로 내려 두시고, 그 AI 직원이 누구를 어떤 상태로 만들어야 하는지를 성과목표로 먼저 한 줄 적은 다음 KPI를 다시 도출해 보세요. 사람 직원에게는 당연히 던지던 '누구를 어떤 상태로 만들어야 하는가'라는 질문 하나가, AI 챗봇 KPI를 설정하는 첫 단계입니다.

5. 자주 받는 질문

AI 챗봇의 KPI로 응답 건수를 쓰면 안 되나요?

응답 건수는 고객의 문의가 해결되지 않아도 올라가는 수치라서 KPI로는 맞지 않습니다. 대신 PI로 설정해 두면, 갑자기 크게 줄었을 때 챗봇 장애나 고객 이탈을 알아차리는 신호로 쓸 수 있습니다.

AI 직원의 KPI는 어떤 순서로 설정하나요?

그 AI 직원이 누구를 위해 일하는지, 그 대상을 어떤 상태로 만들어야 하는지를 먼저 정리해 성과목표를 설정합니다. 그다음 성과활동을 정리하고, 그 상태에 가까워질 때 움직이는 수치 가운데 성과목표와 가장 관련이 깊은 것을 KPI로 선정합니다.

고객 문의 챗봇의 KPI 예시에는 무엇이 있나요?

해결까지 걸린 시간, 사람 상담원에게 넘긴 비율, 재문의율을 후보로 볼 수 있습니다. 재문의율을 집계할 체계가 아직 없다면 앞의 두 가지만 KPI로 설정하고 재문의율은 PI로 둡니다. 회사와 챗봇이 맡은 범위에 따라 달라지는 예시입니다.

챗봇을 도입하면 고객지원 담당자의 KPI도 바꿔야 하나요?

성과목표는 그대로 두고 성과활동과 KPI를 다시 설정합니다. 챗봇이 넘겨준 문의의 해결 시간처럼, 바뀐 성과활동이 성과목표에 얼마나 다가가게 했는지를 보여 주는 수치가 새 KPI 후보가 됩니다.

조사 출처: 다타이쿠(Dataiku) 발표, 2026년 9월 24일 — Global AI Confessions Report: CIO Edition

함께 읽으면 좋은 글: AI 활용시간 또는 AI 활용 건수 등을 KPI로 설정하면 안 되는 이유 · 성과목표의 뜻과 성과목표 설정 시 많이 저지르는 실수 (성과관리 시리즈 7) · PI와 KPI는 어떻게 다른가요? KPI를 선정하는 기준 (연재⑥) · 『KPI는 어떻게 당신의 성과가 되는가』 출간