지난 회에서 RAG·파인튜닝·프롬프트 세 방식을 비교했더니, 미팅이 끝나기 무섭게 한 상무님이 이렇게 물으셨다. "방식은 골랐다 치고, 그래서 이게 얼마짜리인지는 어떻게 보고합니까?" 화이트보드 앞에서 30분을 더 서 있었다. 결재자 입장에서는 당연한 질문인데, 실무자 쪽에서는 의외로 이 부분이 준비되어 있지 않은 경우가 많다.
솔직히 말하면, LLM 프로젝트가 사내에서 조용히 소멸하는 가장 흔한 경로가 여기다. 파일럿은 돌아가고, 사용자는 "편해졌다"고 말하는데, 반기 보고서에는 쓸 문장이 없다. 오늘 정리하는 것은 그 간극을 어떻게 좁힐 것인가에 대한 실무 프레임이다.
왜 "편해졌다"는 KPI 가 될 수 없는가
WRITER 가 임원 대상으로 진행한 서베이에서, 97%의 임원이 개인 수준에서 GenAI 효과를 체감한다고 답했다. 그러나 같은 조사에서 조직 차원에서 "의미 있는 ROI" 를 달성했다고 답한 비율은 29%에 그쳤다. 개인 체감과 P&L 사이에 벌어져 있는 이 간극이 문제의 본질이다.
비슷한 결과가 미국 연준 분석에서도 나온다. GenAI 를 실제로 사용하는 근로자는 평균 근로시간을 5.4% 절감한다 — 주 40시간 기준 약 2.2시간이다. 숫자만 보면 훌륭하다. 하지만 이 2.2시간이 그대로 인건비 절감으로 이어지느냐 하면, 아무도 그렇게 회계 처리하지 않는다. 절감된 시간이 어디로 갔는지가 훨씬 중요한 질문이다.
결국 KPI 설계의 출발점은 이 문장이다. 생산성 지표는 그 자체로 P&L 이 아니다. 반드시 "환산 경로" 가 붙어야 한다.
5개 영역으로 나눠 관리한다 — 실무 KPI 프레임
업계에서 지금 자리잡고 있는 방식은 KPI 를 5개 영역으로 분리해서 관리하는 것이다. 하나의 지표에 모든 걸 걸면 방어가 안 된다.
- 효율 — 응답시간, 처리건수, 첫 응답까지 걸리는 시간, 건당 처리 시간
- 품질 — 정답률, 재문의율, 사람 개입 비율(HITL rate), 오답으로 인한 재작업 비율
- 비용 — 건당 처리 원가(LLM 호출 비용 + 인력 시간), 외주비, 야근수당
- 채택률 — 대상자 대비 실제 사용률, WAU/MAU, 재사용률
- 만족도 — 사용자 NPS, CSAT, 상담사 번아웃 지표
이 다섯 영역을 도입 전 4주, 도입 후 4주로 나눠서 A/B 로 측정하는 것이 가장 방어하기 쉬운 형태다. 예산이 부족하면 A/B 대신 도입 전 3개월 baseline 과 도입 후 3개월 비교로 대체해도 된다. 중요한 것은 baseline 을 먼저 잡고 시작하는 것이다. 이걸 건너뛰면 반년 뒤에 아무 이야기도 할 수 없다.
McKinsey 2026 State of AI 조사에서, 도입 범위를 명확히 정의하고 측정 가능한 baseline 을 갖춘 조직은 GenAI 투자 median ROI 3.7배를 기록했다. 반면 EBIT 기여를 측정 가능한 조직은 전체의 20%가 채 되지 않는다. 대부분의 조직은 "효과가 있는 것 같다" 는 감각으로 끝난다.
P&L 로 환산하는 4가지 경로
절감된 시간을 어떻게 돈으로 환산할 것인가. 클라이언트 회의에서 실제로 자주 쓰는 4가지 경로가 있다.
1) Headcount neutrality — 볼륨 증가 흡수. 이번 분기 문의량이 20% 늘었는데 상담사를 늘리지 않고 대응했다면, 채용하지 않은 인원이 그대로 절감이다. NBER 연구에서 고객지원 상담사에게 GenAI 어시스턴트를 붙였을 때 시간당 해결건수가 평균 14%, 저경력 상담사는 34% 증가했다. 이 증가분을 채용 회피로 잡으면 P&L 에 곧바로 반영된다.
2) SLA 개선 → 이탈률 방지. 첫 응답 시간이 4시간에서 20분으로 줄었을 때, 그 결과로 유지된 계정 수를 환산한다. 유지 계정의 연간 매출 × 유지율 개선분이 곧 효과다. B2B SaaS 라면 이 경로가 가장 강력하다.
3) 여유 시간의 매출 활동 재배치. 상담사가 확보한 2시간을 업셀·크로스셀 활동으로 돌렸을 때의 전환 매출. 사전에 "확보된 시간을 어디로 배치할지" 를 규정해두지 않으면 이 경로는 성립하지 않는다.
4) 외주·야근비 직접 감소. 가장 회계적으로 깔끔한 경로다. 번역·1차 문서 작성·데이터 정리 등 외주비 라인 아이템이 실제로 줄어들면 그대로 잡는다.
챗봇 산업의 벤치마크로는, 잘 설계된 시스템이 Tier-1 문의의 45~65% 를 자동 처리(deflection)하고, 첫 해 지원 비용 30~40% 절감, 6~9개월 payback 이 일반적이다. AI 처리 건당 비용은 $0.5~$2, 사람 상담은 $6~$12 수준. 문의량이 큰 조직일수록 이 격차가 P&L 을 흔든다.
경영 보고용 ROI 산식 — 최소한의 방어선
실제 보고서에 들어갈 산식은 이 정도 골격이면 충분하다.
ROI(연간) = [ (건당 인력원가 − 건당 AI 처리원가) × 자동화 건수 + 인력 재배치로 확보된 매출 기여 − 도입·운영 비용 ] ÷ 도입·운영 비용
이 산식이 방어 가능하려면 세 가지가 사전에 문서화되어 있어야 한다. 첫째, 건당 인력원가의 산정 근거(시간당 인건비 × 처리 시간). 둘째, 자동화 건수의 로그 기반 카운트. 셋째, 도입·운영 비용의 월별 breakdown(LLM API 비용, 인프라, 유지보수 인력). 이 세 가지가 없으면 아무리 좋은 결과도 재무팀 리뷰에서 반려된다.
덧붙여, ROI 를 단일 숫자로만 보고하지 않는 것이 좋다. 낙관·기본·보수의 3가지 시나리오로 제시하고, 각 시나리오의 가정을 한 줄로 명시한다. 결재자는 단일 숫자보다 "이 사람이 시나리오를 이해하고 있다" 는 인상에 더 신뢰를 준다.
흔한 실패 — 지표를 너무 많이 잡는다
처음 KPI 를 설계할 때 15개, 20개씩 잡는 경우가 있다. 대부분 6개월 뒤에 3~4개만 계속 측정된다. 나머지는 측정 자체가 부담이 돼서 조용히 사라진다.
차라리 처음부터 영역당 1~2개, 총 5~8개로 좁히는 편이 낫다. 도입 초기의 지표는 "보여주기" 가 아니라 "이 프로젝트가 다음 분기에도 살아남게 하는" 도구다. 살아남는 프로젝트는 결국 담당자가 매주 부담 없이 확인할 수 있는 지표만 남긴다.
지난 회 RAG·파인튜닝·프롬프트 세 방식 비교에서 정리한 것처럼, 방식 선택은 데이터 형태와 갱신 주기에 따라 달라진다. KPI 도 마찬가지다. RAG 기반이라면 "검색 정확도"와 "근거 문서 인용률" 이 품질 영역의 핵심이 되고, 파인튜닝 기반이라면 "도메인 용어 정합률" 이 앞으로 나온다. 방식과 KPI 는 한 세트다.
다음 단계 — 방식과 KPI 가 정해지면, 도구
여기까지 오면 자연스레 나오는 질문이 "그럼 뭘로 만드나" 이다. 다음 회에서는 자사 LLM 구축 스택을 실무 시점에서 비교한다. Claude, OpenAI, 오픈소스 Llama 계열, 그리고 온프레미스 옵션까지 — 비용 구조, 데이터 주권, 운영 부담이 어떻게 갈리는지 정리할 예정이다.
KPI 설계가 부담스럽다면, 저희 5years+ 에서는 자사 데이터 LLM 무료 KPI 세션을 진행하고 있습니다. 조직의 baseline 데이터를 함께 검토하고, 방어 가능한 ROI 산식 초안을 90분 안에 함께 그려드립니다. 파일럿을 시작하기 전이든, 이미 돌고 있는 시스템의 효과를 정리해야 하는 시점이든, 첫 대화로 부담 없이 이용해보시면 좋겠습니다.