AI가 KPI를 도출해줬는데 왜 효과가 없을까요? KPI를 스스로 직접 도출해야 하는 이유 3가지

하나. AI에게 "우리 팀 KPI 뽑아줘"라고 하면 몇 초 만에 그럴듯한 지표 목록이 나옵니다. 그런데 몇 달 뒤 그 지표를 보는 사람은 아무도 없을 뿐더러 직원들의 성과가 좋아지는데 전혀 도움이 되지 않습니다. 둘. 이유는 세 가지입니다. 우리 조직의 맥락이 없고, 구성원의 수용이 없고, 무엇보다 '무엇이 성과인가'를 고민하는 사고 과정이 통째로 생략되었기 때문입니다. 셋. AI에게 모든 것을 도출하도록 ‘통으로’ 맡기는 것이 아니라 다수의 KPI 후보를 만들어 내는 것은 AI에게, 성과목표·CSF의 정의와 최종 선정은 사람에게. 이 분담이 정답입니다.

안녕하세요. 직무분석 컨설팅센터 최영훈입니다.

"챗GPT한테 물어보니 KPI를 10개나 뽑아주던데요? 이제 KPI 워크숍 같은 건 필요 없는 것 아닌가요?"

요즘 강의장에서 부쩍 자주 받는 질문입니다. 실제로 해 보면 놀랍긴 합니다. 팀 이름과 업무 몇 줄만 넣어도 균형 잡힌 지표 목록이 몇 초 만에 나오니까요. 그런데 몇 달 뒤에 다시 만난 분들께 여쭤보면 대답이 비슷합니다. "그 지표요? 보고서에 넣고 그 뒤로는... 아무도 안 봅니다."

그럴듯한 KPI가 도대체 왜 돌아가지 않는 걸까요?

오늘은 AI가 도출해준 KPI가 작동하지 않는 이유 세 가지와, 그럼에도 AI를 KPI 도출에 현명하게 쓰는 법을 정리해 보겠습니다.

1. 이유 하나: 우리 조직의 '맥락'이 없습니다

KPI(핵심성과지표)란 성과목표가 달성되었는지를 확인하는 대표 지표입니다. 여기서 핵심은 KPI가 성과목표에서 도출된다는 점인데요. 성과목표가 다르면 같은 팀이라도 KPI가 완전히 달라져야 정상입니다.

그런데 AI가 뽑아주는 KPI는 어디서 올까요? 세상의 수많은 '영업팀 KPI', '인사팀 KPI' 문서들의 평균에서 옵니다. 일반론으로는 훌륭하지만, 올해 우리 팀이 반드시 만들어야 할 결과 상태, 그 달성에 결정적 영향을 미치는 핵심성공요인(CSF)과는 아무 관련이 없죠.

기성복과 맞춤복의 차이를 예로 들자면, AI의 KPI는 잘 만든 기성복입니다. 평균 체형에는 그럭저럭 맞지만, 우리 조직의 어깨와 소매 길이에는 맞지 않습니다. 그리고 몸에 맞지 않는 지표는 반드시 두 가지 중 하나가 됩니다. 아무도 안 보는 지표가 되거나, 엉뚱한 행동을 유도하는 지표가 되거나.

관련 글: AI 자동 측정 시대, 굿하트의 법칙은 더 무서워집니다 — 잘못된 지표가 행동을 어떻게 왜곡하는지는 이 글을 참고하세요.

https://blog.naver.com/job-analysis/224339417974

2. 이유 둘: 도출 '과정'이 곧 수용 과정인데, 그것이 생략됩니다

KPI가 작동한다는 것은 무슨 뜻일까요? 구성원이 그 지표를 의식하며 행동을 바꾼다는 뜻입니다. 그러려면 구성원이 그 지표를 '내 것'으로 받아들여야 하는데요. 수용은 결과물을 통보받는 순간이 아니라, 도출에 참여하는 과정에서 생깁니다.

팀이 모여 우리의 성과목표를 놓고 갑론을박하고, 무엇이 결정적 요인인지 다투고, 그 끝에 지표를 합의하는 몇 시간. 겉보기에 비효율적인 이 과정이 사실은 지표에 대한 소유감을 만드는 심리적 장치입니다. AI가 3초 만에 준 지표에는 이 과정이 없습니다. 아무리 정교해도 구성원에게는 '남의 숫자'인 것이죠. 남의 숫자를 위해 행동을 바꾸는 사람은 없습니다.

3. 이유 셋: 지표보다 값진 '사고 과정'이 통째로 사라집니다

세 번째 이유가 가장 본질적인데요. KPI 도출의 진짜 산출물은 지표 목록이 아닙니다. "우리에게 성과란 무엇인가", "그 성과는 무엇에 의해 좌우되는가"에 대한 팀의 이해입니다. 미션에서 성과목표를 세우고, 성과목표에서 CSF를 찾고, CSF에서 성과행동과 지표를 도출하는 이 사고의 여정을 거친 팀은, 지표가 조금 어긋나도 스스로 교정할 수 있습니다. 일의 구조가 머릿속에 있기 때문이죠.

AI에게 결과만 받으면 이 여정이 통째로 사라집니다. 하버드비즈니스스쿨과 BCG의 실험 연구가 시사하는 바가 큰데요. 컨설턴트들에게 AI를 쓰게 했더니 AI가 잘하는 과제에서는 성과가 크게 올랐지만, 맥락 판단이 필요한 과제에서 AI 답을 무비판적으로 받아들인 그룹은 AI 없이 일한 그룹보다 오히려 성과가 19퍼센트포인트가량 나빴습니다. 판단이 필요한 일에서 사고를 외주 주면 결과가 더 나빠진다는 것입니다. KPI 도출은 정확히 그 '판단이 필요한 일'에 속합니다.

4. 그렇다면 AI를 어떻게 쓸 것인가: 발산은 AI, 수렴은 사람

오해는 마시기 바랍니다. AI를 쓰지 말자는 이야기가 아닙니다. 역할을 제대로 주자는 이야기인데요. KPI 도출 흐름(미션 → 성과목표 → CSF → 성과행동 → 지표 후보 → KPI 선정)에서 단계별로 역할이 갈립니다.

1. 성과목표와 CSF 정의: 사람이 직접 합니다. 우리 조직이 만들어야 할 결과 상태와 그 결정 요인은 우리만 알 수 있는 맥락 그 자체이기 때문입니다. Grouping 정도만 AI에게 맡기는 것이 좋습니다.
2. 지표 후보(PI)의 발산: AI가 탁월합니다. 성과행동을 입력하고 "이 행동의 실행 수준을 확인할 수 있는 지표 후보를 30개 나열해 달라"고 하면, 사람끼리는 나오지 않던 발상까지 쏟아냅니다.
3. KPI 선정과 합의: 다시 사람의 일입니다. 후보들 중 무엇이 우리 성과목표를 가장 잘 대표하는지, 통제 가능한지, 측정 비용은 감당되는지를 팀이 토론해 고르고 합의합니다.

요컨대 AI는 브레인스토밍 파트너로 쓰고, 정의와 판단과 합의는 사람이 가져가는 것입니다. 이렇게 쓰면 도출 시간은 줄면서도 맥락, 수용, 사고 과정이라는 세 가지 핵심은 지킬 수 있습니다.

5. 정리하며

AI가 도출해준 KPI가 실제 성과와 연결되지 않는 이유는 AI가 부족해서가 아닙니다. KPI라는 것이 원래 지표 목록이 아니라, 맥락과 수용과 사고 과정의 산물이기 때문입니다. 그 세 가지는 도출 과정에서만 생겨나고, 과정은 외주를 줄 수 없습니다.

올해 KPI를 AI에게 받아 보고서에 넣어 두셨다면, 팀원들과 한 시간만 확보해 보시기 바랍니다. 그 지표들을 화면에 띄워 놓고 "우리의 성과목표가 무엇이고, 이 지표가 그것을 대표하는가"를 함께 따져 보세요. 살아남는 지표와 버려지는 지표가 갈리는 그 한 시간이, 바로 KPI가 작동하기 시작하는 시간입니다.