자사 LLM 구축 비용과 예산 수립 — 규모별 견적 가이드 2026

회의실에서 시작된 질문

지난주 강남의 한 회의실에서 대표께서 이렇게 물으셨습니다. "그래서 결국 우리 회사는 얼마가 드는 겁니까?" 저는 한 박자 뜸을 들이고 답했습니다. "지금 상태로는 정확히 못 말씀드립니다. 다만 어느 구간인지는 오늘 안에 좁혀 드릴 수 있습니다."

솔직히 말하면, 자사 LLM 비용은 견적 요청을 받은 시점에 답이 나오는 종류의 숫자가 아닙니다. 데이터가 몇 GB인지, 몇 명이 하루 몇 번 물어보는지, 기존 사내 시스템 몇 개와 붙일지에 따라 다섯 배씩 차이가 납니다. 지난 회 자사 LLM 구축 스택 비교에서 상용 API·오픈소스·온프레 세 갈래를 정리했는데, 이번 회는 그 선택을 실제 원가표로 옮기는 작업입니다.

견적을 흔드는 네 가지 변수

같은 "챗봇 하나"라도 원가는 왜 이렇게 튈까요. 대체로 네 개의 변수가 LLM 구축 예산의 80퍼센트를 설명합니다.

첫째, 데이터 규모와 정제 상태입니다. 사내 매뉴얼 200페이지와 20만 페이지는 인덱싱 비용부터 다릅니다. 둘째, 사용자 수와 트래픽입니다. 사내 30명이 하루 열 번 쓰는 것과, 고객 3만 명이 24시간 접속하는 것은 인프라 계층이 완전히 달라집니다. 셋째, 연동 범위입니다. ERP·CRM·그룹웨어 세 개에 붙이면 그 자체가 SI 프로젝트가 됩니다. 넷째, 운영·유지보수 포함 여부입니다. 견적서에 12개월 운영이 포함되어 있지 않으면 반드시 다시 계산해야 합니다.

구축비의 실제 구성

초기 구축비는 크게 네 덩어리로 쪼갤 수 있습니다. RAG 파이프라인(데이터 수집·정제·인덱싱·검색 연동), 필요 시 파인튜닝, 사내 시스템 연동, 그리고 초기 데이터 정제입니다. 국내 시세로 요약하자면, RAG 파이프라인 자체는 대체로 500만~1,500만 원선에서 형성됩니다. 7B~14B 오픈웨이트 모델 LoRA 파인튜닝은 GPU 비용만 50만~300만 원 수준이지만, 여기에 엔지니어 인건비(월 800만~1,500만 원, 통상 1~3개월)가 얹힙니다. 70B급 풀 파인튜닝을 진지하게 고민한다면 3,000만 원부터 시작한다고 보시는 편이 안전합니다.

기업 AI 견적을 가장 심하게 흔드는 축은 사실 연동 개발입니다. 회의실에서 "그냥 우리 그룹웨어에 붙이면 되는 거 아닌가요"라는 말을 들을 때마다, 그 그룹웨어의 API 문서 상태부터 확인하자고 말씀드리는 이유입니다.

운영비 — 매달 나가는 돈

구축비보다 오히려 이쪽에서 예산이 무너지는 사례가 많습니다. 크게 세 항목입니다. 토큰비, 인프라, 유지보수 SLA. LLM API 연동형 챗봇의 월 운영비는 사용량 기반으로 대체로 월 30만~200만 원선입니다. RAG 기반으로 API·벡터DB·서버를 합산하면 월 50만~300만 원으로 올라갑니다. 자체 호스팅을 선택했다면 모델 서빙 인프라만으로도 월 100만~500만 원이 고정으로 나갑니다. 유지보수 SLA와 변경 요청 처리 비용이 계약서에 명시되지 않으면 반년 뒤에 반드시 분쟁이 납니다.

규모별 견적 가이드 — 세 구간으로 좁히기

실제 미팅에서 저희가 대표들께 안내드리는 감각적인 구간은 대체로 다음 세 갈래입니다. 물론 이 구간은 판단 기준이지 견적서가 아닙니다.

구독(API) 대 자체 구축 — LLM TCO 손익분기

지난 회에서 스택을 정했다면, 이번 회는 그 스택을 12개월 원가로 옮겨보는 일입니다. 국내외 자료를 종합하면 관리형 API가 유리한 구간이 상당히 넓습니다. 월 수백만~수천만 토큰 이하 트래픽이면 대개 API가 저렴합니다. 자체 호스팅의 손익분기는 프론티어급 모델 기준 월 1억~2억 토큰 근처, 프리미엄 모델에 국한하면 월 500만~1,000만 토큰까지 내려오기도 합니다. 다만 자체 호스팅에는 시니어 엔지니어 20~30% 상주라는 숨은 비용이 반드시 붙습니다. 월 500~800만 원이 별도로 나간다는 이야기입니다.

그래서 2026년 현재 AI 도입 비용 논의의 컨센서스는 하이브리드입니다. 예측 가능한 기본 트래픽만 자체 인프라에 두고, 스파이크와 프론티어급 요청은 API로 흘려보내는 방식입니다.

예산안을 세울 때 계약서에 반드시 넣을 다섯 줄

지금까지 여러 회사의 견적서를 검토하면서 반복해서 빠져 있던 항목들입니다. 반드시 계약 전에 문서화해 두시길 권합니다.

• 월 API 사용료의 분리 청구 방식과 상한선
• 변경 요청 시 시간당 단가와 처리 기한
• 유지보수 SLA — 장애 대응 시간과 정기 릴리스 주기
• 소스코드·모델 가중치의 이관 가능 여부와 조건
• 초기 데이터 정제 비용의 견적 분리(구축비에 섞으면 나중에 다툼)

덧붙여, 예산이 빠듯한 중소·중견기업이라면 정부 지원 사업을 병행 검토할 가치가 있습니다. 국내 실태조사에서 반복적으로 확인되는 격차가 예산·인력·데이터 정제 세 영역인데, 앞의 두 개는 지원 사업으로 상당 부분 상쇄됩니다.

마무리 — 개산 견적부터 시작하기

저희 5years+는 한국·일본의 중소·중견기업 자사 LLM 도입을 초기 진단부터 운영까지 함께해 왔습니다. 회의실에서 나온 "얼마입니까"라는 질문에 오늘 안에 구간을 좁혀 드리는 일이 그중 한 축입니다. 궁금하신 규모나 방식이 있다면 개산 견적 24시간 내 회신으로 부담 없이 문의 주셔도 좋습니다.

다음 회에서는 견적 안에 반드시 들어가야 할 보안·거버넌스 항목—PII 마스킹·감사 로그·가드레일·RAG 권한—을 짚습니다. 이 항목들을 초기에 반영하지 않으면 대개 6개월 뒤 재작업 청구서가 돌아오기 때문입니다.