"우리 회사만의 챗GPT, 어디부터 시작해야 하나요?"
지난달 서울의 한 중견 물류회사 회의실. 오후 세 시, 창밖으로 톨게이트가 보이는 자리에서 대표님이 노트북 화면을 한참 응시하다가 이렇게 물으셨습니다. "우리 회사 데이터로 챗GPT 같은 걸 만들고 싶은데, 도대체 뭐부터 해야 할지 모르겠습니다."
솔직히 말씀드리면, 그 자리에서 짧게 답할 수 있는 질문이 아니었습니다. 자사 데이터 LLM은 단어는 하나지만 그 안에 여러 갈래가 있고, 갈래마다 비용과 위험, 이후 유지보수의 무게가 완전히 다릅니다. 하나의 정답이 있는 문제도 아닙니다. 어떤 데이터를, 어떤 업무에, 어떤 규모로 붙일 것인가에 따라 답이 달라집니다.
그래서 이 글부터 시작해, 앞으로 여덟 편에 걸쳐 자사 데이터 LLM의 개념·방식·비용·보안·실패 패턴·실행 순서를 하나씩 풀어보려 합니다. 오늘 1편은 그 전체를 조망하는 지도 같은 글입니다.
자사 데이터 LLM은 무엇을 뜻하는가
이름은 어렵게 들리지만 뜻은 단순합니다. 회사가 지금까지 축적해온 문서·매뉴얼·고객 이력·업무 로그를 대형 언어모델(LLM)이 이해하고 답할 수 있게 만든 것. 그것이 자사 데이터 LLM입니다.
왜 필요할까요. 일반 챗GPT나 클로드는 회사 내부 규정을 모릅니다. 우리 제품 사양, 계약 조건, 지난 3년치 고객 응대 기록, 재무 규칙을 모릅니다. 임직원이 실제 업무에 쓰기 시작하면 곧 벽에 부딪힙니다. "이건 우리 회사 상황을 모르네요." 그 벽을 넘기 위한 방법이 자사 데이터 LLM입니다.
글로벌 시장 조사(Fortune Business Insights) 기준, 2026년 엔터프라이즈 LLM 시장은 약 59억 달러 규모로 추산되며 2034년까지 연 30% 수준의 성장이 예상됩니다. 국내 중견·중소 시장도 파일럿 단계를 지나 실질 도입기로 진입하는 회사가 눈에 띄게 늘고 있습니다.
구축 방식 세 가지 — 그리고 왜 이 순서인가
실무에서 마주치는 방식은 크게 세 가지입니다. 이론적으로는 더 세분화할 수 있지만, 예산과 시간이 정해진 프로젝트에서는 이 세 가지 안에서 답이 나옵니다.
RAG(검색 증강 생성)
회사 문서를 벡터 데이터베이스에 담아두고, 질문이 들어올 때마다 관련 문서를 찾아 LLM에 함께 넘겨 답을 만들게 하는 방식입니다. 모델 자체는 건드리지 않습니다. 대신 그 옆에 회사의 지식 창고를 붙여둡니다.
2026년 엔터프라이즈 프로덕션 기준, 커스터마이징 기법 중 RAG의 채택률은 약 51%로 파인튜닝(9%)을 크게 앞섭니다. 이유는 명확합니다. 데이터가 바뀌면 문서만 갈아 끼우면 됩니다. 답변에 출처를 붙일 수 있어 규제 산업(금융·의료·법무)에서 특히 선호합니다.
파인튜닝
모델 자체를 우리 회사 데이터로 재학습시키는 방식입니다. 최근에는 LoRA 같은 부분 학습 기법 덕분에 예전보다 비용이 크게 낮아졌습니다. 7B~14B 규모 오픈 모델의 LoRA 파인튜닝은 GPU 비용만 놓고 보면 50만~300만 원 선에서 가능합니다. 다만 70B 이상 풀 파인튜닝은 여전히 3,000만 원 이상을 각오해야 합니다.
흔한 오해가 있습니다. "회사 지식을 넣으려면 파인튜닝을 해야 한다"는 생각. 사실은 반대에 가깝습니다. 파인튜닝은 지식 주입이 아니라 형식과 톤, 응답의 행동 방식을 조형하는 데 강합니다. 콜센터 스크립트, 의료 차트 요약, 특정 문체 준수처럼 "어떻게 답하는가"가 중요한 업무에 어울립니다.
하이브리드
실제 프로덕션에서 살아남는 답은 대부분 여기에 있습니다. 지식은 RAG로 채우고, 톤과 형식은 파인튜닝으로 다듬는 조합. 커스터마이징 순서의 컨센서스도 프롬프트 설계 → RAG → 파인튜닝 → 증류(distill)로 정리되고 있습니다. 중소·중견 기업이라면 대개 프롬프트와 RAG로 6개월쯤 운영해보고, 데이터·톤 요구가 안정된 뒤 필요한 부분만 LoRA로 미세 조정하는 흐름이 가장 무리 없습니다.
구축 로드맵 — 진단부터 운영까지
로드맵을 그려보면 대략 네 단계로 정리됩니다. 각 단계의 목적과 기간, 필요한 사람이 다르기 때문에 뒤섞으면 반드시 프로젝트가 늘어집니다.
먼저 진단 단계. 어떤 업무를, 어떤 데이터로, 누구를 위해 만들 것인가를 정합니다. 여기서 대상 업무 하나만 잘 좁혀도 이후 6개월이 편해집니다. 반대로 여기서 "우리 회사 모든 업무를 다"라고 시작하면 대체로 실패로 향합니다.
다음이 PoC(개념검증). 좁힌 업무 하나를 실제 데이터 일부로 작게 만들어봅니다. 대개 4~8주. 이 단계에서 나오는 결과는 완성품이 아니라 "이 방향이 우리 회사에 맞는가"를 확인하는 지표입니다.
그다음이 파일럿 운영. 한 팀 또는 한 지사를 대상으로 3~6개월 돌립니다. 이 시기에 진짜 문제가 드러납니다. 사용자가 예상하지 못한 질문을 던지고, 데이터에 구멍이 발견되고, 권한 설계에 허점이 나옵니다. 여기서 다듬어진 것만 전사 확장으로 넘어갑니다.
마지막이 확장과 운영. 글로벌 컨설팅 자료에서 완전한 엔터프라이즈 스케일링에 걸리는 기간을 18~36개월로 잡는 이유가 여기에 있습니다. 만드는 시간보다, 회사 안에 자리 잡게 하는 시간이 훨씬 깁니다.
연재 예정 목차
이번 시리즈는 아래 8편으로 구성됩니다. 오늘 글은 그 지도이고, 앞으로의 글은 각 지점을 하나씩 깊이 파고들 예정입니다.
- 1편(이번 글): 자사 데이터 LLM 완전 정복 — 개념·유형·구축 로드맵 총정리
- 2편: RAG·파인튜닝·프롬프트 — 자사 LLM 구축 방식 3가지 비교
- 3편: 자사 LLM 도입 효과 측정법 — ROI·KPI·업무 지표 설계
- 4편: 자사 LLM 구축 스택 비교 — Claude·OpenAI·오픈소스(Llama)·온프레
- 5편: 자사 LLM 구축 비용과 예산 수립 — 규모별 견적 가이드 2026
- 6편: 자사 LLM의 보안·거버넌스 — PII 마스킹·감사 로그·가드레일·RAG 권한
- 7편: 자사 LLM 프로젝트 실패 5대 패턴과 회피 체크리스트
- 8편: 자사 LLM 도입 단계별 실행 플랜 — 진단→PoC→운영·추가개발
바로 다음 2편에서는 오늘 짧게 훑은 세 가지 방식 — RAG·파인튜닝·프롬프트 — 을 원리, 비용, 유지보수 부담까지 나란히 놓고 비교해봅니다. 왜 대부분의 중소기업이 RAG부터 시작해야 하는지, 그 근거를 숫자로 확인할 수 있는 회차가 될 예정입니다.
마무리
서두의 물류회사 대표님께 드린 답은 이랬습니다. "당장 만드는 게 중요한 게 아니라, 무엇을 만들지 정하는 데서 프로젝트의 절반이 결정됩니다." 그날의 두 시간짜리 대화는 계약이 아니라 진단 미팅이었고, 이후 그 회사는 상담 응대 로그를 대상으로 좁힌 작은 RAG PoC부터 시작했습니다.
저희 5years+는 한국과 일본 중소·중견 기업의 AI 도입 프로젝트를 진행하며, 자사 데이터 LLM의 진단·PoC·운영 지원을 함께 해왔습니다. 관심 있으신 분야가 어디쯤인지 먼저 짧게 살펴보시고 싶다면 서비스 안내를, 사내 상황을 놓고 한 번 얘기를 나눠보고 싶으시다면 LLM 도입 무료 진단을 통해 편하게 문의 주십시오. 다음 편에서 뵙겠습니다.