사내 AI 에이전트 도입 비용 산정, 우리가 직접 따져본 5가지 기준

여러 업체의 제안서를 나란히 펼쳐 놓고도 정작 우리 회사의 실제 지출을 가늠하지 못하는 경우가 많습니다. 제안서 숫자는 대체로 ‘구축비’만 담고 있고, 회사마다 다른 사용량과 내부 사정은 빠져 있기 때문입니다. 사내 AI 에이전트 도입 비용 산정이란 이렇게 벤더 견적을 그대로 받아들이는 대신, 우리 업무량과 우리 쪽에서만 발생하는 비용까지 넣어 총지출을 직접 계산해 보는 작업입니다. 저는 여러 도입 프로젝트를 옆에서 지켜보며, 실패의 상당수가 이 ‘자체 계산’을 건너뛴 데서 시작한다고 판단하게 됐습니다.

근거는 숫자에도 있습니다. 여러 업계 분석에서 AI 프로젝트의 약 60%가 애초 산정한 예산을 30~50% 초과하며, 한 조사(Mavvrik·BenchmarkIT, 2026)에서는 기업의 80~85%가 AI 비용 예측을 25% 이상 빗나간 것으로 나타났습니다. 예측이 이렇게 자주 틀리는 분야이기에, 남이 준 숫자를 검산하는 습관이 중요하다고 생각합니다.

안녕하세요, AI AGENT 와 업무 자동화를 연구하는 기업, 플로우드를 운영하는 유성철입니다.

사내 AI 에이전트 도입 비용 산정은 어디서부터 시작해야 할까?

시작점은 가격표가 아니라 ‘우리가 무엇을, 얼마나’ 자동화할지입니다. 비용은 결국 사용량에서 흘러나오기 때문입니다. Gartner는 생성형 AI 프로젝트의 최소 절반이 잘못된 설계와 불완전한 정보로 짠 예산 탓에 예산을 초과할 것으로 봤는데, 뒤집어 말하면 사용량과 비용 구조를 먼저 세우면 그만큼 초과 위험을 줄일 수 있다는 뜻입니다.

그래서 저희가 쓰는 방식은 위에서 내려온 견적을 아래에서부터 다시 쌓아 보는 것입니다. 순서는 다섯입니다. ① 월 사용량을 숫자로 잡고 ② 제각각인 단가를 건당 비용으로 환산한 뒤 ③ 한 번 드는 돈과 매달 드는 돈을 나누고 ④ 견적서에 없는 우리 쪽 비용을 더한 다음 ⑤ 빗나갈 가능성만큼 버퍼를 얹습니다. 이 다섯을 차례로 채우면, 벤더가 준 숫자와 우리가 만든 숫자를 같은 잣대로 비교할 수 있습니다.

첫째, 월 사용량은 어떻게 숫자로 잡을까?

모든 계산의 바닥에는 ‘한 달에 몇 번 쓰는가’가 있습니다. 고객 문의 응답이든 문서 처리든, 에이전트가 한 달에 처리할 건수를 먼저 추정해야 나머지가 따라옵니다. 저는 지난 3개월 치 실제 업무량(문의 수, 처리 건수, 반복 작업 횟수)을 세어 보는 데서 출발하기를 권장합니다. 감이 아니라 기록에서 뽑은 숫자여야 이후 계산이 흔들리지 않습니다.

피크와 평균을 나눠 잡기

주의할 점은 월평균만 보면 안 된다는 것입니다. 성수기·이벤트·월말처럼 몰리는 시점의 처리량이 평균의 몇 배로 튈 수 있고, 요금과 인프라는 대개 이 피크에 맞춰 잡아야 하기 때문입니다. 평균 사용량으로만 예산을 짜면 바쁜 달에 어김없이 초과가 납니다. 평균과 피크를 따로 적어 두고, 피크를 견딜 수 있는지로 상한을 점검하는 편이 안전합니다.

둘째, 제각각인 단가를 어떻게 건당 비용으로 환산할까?

업체마다 과금 단위가 달라서(자리당·건당·토큰당·월정액) 그대로는 비교가 안 됩니다. 그래서 저희는 모든 단가를 ‘업무 1건당 비용’이라는 공통 단위로 바꿔 놓습니다. 특히 직접 구축이나 API 방식이라면 비용의 뿌리인 토큰 단가를 이해해야 합니다.

입력·출력 토큰과 건당 단가

LLM 요금은 보내는 입력 토큰과 생성되는 출력 토큰에 각각 매겨지고, 출력이 대체로 입력의 3~6배로 비쌉니다. 2026년 7월 기준 프런티어급 모델은 대략 입력 100만 토큰당 2~5달러, 출력은 12~25달러 수준이고, 경량 모델은 그 10분의 1 이하로도 내려갑니다(각 공급사 공식 가격표, 2026년 7월). 업무 1건이 쓰는 평균 토큰을 잡아 단가를 곱하면 건당 비용이 나오고, 여기에 월 사용량을 곱하면 월 토큰비가 나옵니다.

모델 라우팅으로 평균 단가 낮추기

한 가지 모델로 모든 요청을 처리할 필요는 없습니다. 쉬운 요청은 경량 모델로, 어려운 요청만 고급 모델로 보내는 라우팅을 쓰면 평균 단가가 크게 내려갑니다. 한 사례에서는 요청의 대부분을 저가 모델로 돌려 월 비용을 약 86%까지 줄였다고 보고됩니다(LLM 비용 분석, 2026). 산정 단계에서 이 절감 여지를 미리 반영해 두면 과대 추정을 피할 수 있습니다.

셋째, 한 번 드는 돈과 매달 드는 돈을 어떻게 나눌까?

산정에서 가장 흔한 착시는 ‘한 번 내면 끝’이라는 가정입니다. 실제로는 초기 구축비만큼, 때로는 그보다 큰 돈이 매달 빠져나갑니다. 그래서 저희는 모든 항목을 일회성과 반복으로 갈라 적고, 반복 비용은 3년으로 펼쳐서 봅니다.

3년 총소유비용으로 펼치기

여러 분석에서 AI 시스템의 3년 총소유비용은 초기 구축비의 약 1.5~2배에 이릅니다. 벤더 제안서가 담는 것은 대개 구축비뿐이고, 데이터 정비·통합·추론(운영)·유지보수가 그 위에 50~100%가량 더 얹힌다는 지적도 있습니다(업계 비용 가이드, 2026). 그래서 ‘초기 견적 ÷ 36개월’이 아니라, 초기비와 3년 치 운영비를 합쳐 월로 환산하는 편이 실제에 가깝습니다.

매년 되풀이되는 유지보수비

유지보수는 성능을 유지하기 위한 상시 비용입니다. 모니터링·재학습·인프라 갱신에 해마다 초기 구축비의 약 15~25%가 든다는 분석이 있습니다(업계 비용 가이드, 2026). 처음 한 번의 정확도를 조금 더 끌어올리는 데도 비용이 급증하는데, Gartner는 정확도를 90%에서 99%로 올리는 것만으로 구축 노력이 3~5배로 늘 수 있다고 봤습니다.

넷째, 견적서에 없는 우리 쪽 비용은 무엇일까?

여기가 사내 산정의 진짜 핵심입니다. 벤더 견적서에는 우리 회사 직원의 시간, 우리 데이터의 상태, 우리 조직의 적응 비용이 들어 있지 않습니다. 이 ‘우리 쪽 비용’을 빼면 산정은 반드시 낙관 쪽으로 기웁니다.

가장 과소평가되는 데이터 정비 시간

에이전트는 자기가 다루는 데이터만큼만 똑똑합니다. 그런데 사내 데이터를 모으고 정제하고 구조화하는 일은 대개 우리 직원의 시간으로 이뤄집니다. 데이터 관련 작업이 전체 프로젝트 비용의 15~35%를 차지하고, 프로젝트 기간의 40~60%가 데이터 준비에 쓰인다는 분석도 있습니다(업계 비용 가이드, 2026). 이 시간을 인건비로 환산해 산정에 넣어야 합니다.

변화관리와 담당자 학습 곡선

새 도구가 들어오면 담당자는 배우고 적응해야 하고, 업무 흐름도 다시 짜야 합니다. 변화관리 없이 도입한 AI가 훨씬 낮은 성과를 낸다는 지적은 여러 곳에서 반복됩니다. 교육 시간, 초기 감독·검수 시간, 워크플로 재설계에 드는 우리 쪽 공수를 항목으로 세워 두기를 권장합니다.

다섯째, 빗나갈 가능성에 얼마의 버퍼를 얹을까?

아무리 꼼꼼히 잡아도 첫 산정은 틀립니다. 그래서 마지막 단계는 ‘틀릴 것을 전제한 여유분’을 설계하는 일입니다. 저는 단일 숫자 대신 범위로 제시하고, 그 위에 버퍼를 얹기를 권장합니다.

예산을 넘기는 흔한 이유

초과는 대개 사용량이 예상보다 늘거나, 파일럿에서 잘되던 것이 실제 규모에서 비싸지거나, 데이터 준비가 예상보다 길어질 때 생깁니다. 프로젝트의 약 60%가 예산을 30~50% 초과한다는 수치가 바로 이 지점을 가리킵니다. 그래서 ‘기대값’만 잡으면 절반의 확률로 부족해집니다.

감도 분석과 세 시나리오

버퍼는 감으로 얹는 게 아니라, 어떤 변수가 흔들릴 때 총비용이 얼마나 움직이는지 따져 정합니다. 사용량이 1.5배가 되면, 토큰 단가가 오르면, 데이터 정비가 2배로 길어지면 총액이 어떻게 변하는지 낙관·중립·비관 세 시나리오로 계산해 봅니다. 중립값을 기준으로 삼되, 비관값까지 감당 가능한지로 도입 여부를 판단하는 편이 안전합니다.

핵심은 이것입니다. 틀려도 견디는 숫자가, 당장 싸 보이는 숫자보다 낫습니다.

자주 묻는 질문

정리하며

사내 AI 에이전트 도입 비용 산정의 목적은 ‘가장 싼 견적 고르기’가 아니라, 우리 사정에 맞는 숫자를 우리 손으로 만들어 틀릴 때를 대비하는 데 있습니다. 사용량을 바닥에 깔고, 단가를 건당으로 환산하고, 일회성과 반복을 나누고, 견적서에 없는 내부 비용을 더하고, 마지막에 버퍼를 얹는 다섯 단계를 거치면 벤더의 숫자와 우리의 숫자를 같은 잣대로 견줄 수 있습니다. 결론적으로 좋은 산정은 정확한 예언이 아니라 견딜 수 있는 준비라고 생각합니다.

참고 출처

• Gartner, 생성형 AI 프로젝트 예산 초과 및 정확도-비용 관계 전망(90→99% 정확도 시 노력 3~5배), 2025~2026.
• BCG, 기업 AI 지출 동향(2026년 매출의 약 1.7% 계획), 2026.
• Mavvrik·BenchmarkIT, AI 비용 예측 오차 조사(기업 80~85%가 25%+ 오차), 2026.
• 업계 AI 개발 비용 가이드(3년 TCO·데이터·유지보수·추가운영 비중), 2026. ※ 해외 USD 기준 방향성 참고치.
• 각 LLM 공급사 공식 API 가격표(입력·출력 토큰 단가), 2026년 7월.