의료 지식베이스 외주 업체를 고를 때 RAG 전문성이 중요한 이유
의료 지식베이스 외주 업체 중 다수는 벡터DB에 문서를 넣고 검색하는 나이브 RAG를 “RAG 전문성”으로 포장해 납품합니다. 청킹, 검색 구조, 그라운딩, 평가 방법론이라는 네 축을 데모 단계에서 직접 확인하지 않으면 도입 후에야 오답과 환각을 마주하게 됩니다.
RAG(검색증강생성)란 언어모델이 답을 즉석에서 지어내는 대신, 미리 색인해 둔 문서에서 근거를 찾아 그 위에서 답을 생성하도록 만드는 구조를 의미합니다. 문제는 “RAG를 구현했다”와 “RAG를 제대로 구현했다” 사이의 격차가 데모 화면에서는 거의 드러나지 않는다는 점입니다. 저는 여러 병원과 헬스케어 기업의 AI 도입 논의를 지켜보며, 의료 지식베이스 외주 계약 전에는 비슷해 보이던 두 업체의 결과물이 실제 운영 단계에서 완전히 다른 품질을 보이는 사례를 반복적으로 확인했습니다.
“RAG 전문성”은 왜 모든 개발사가 갖췄다고 주장하는 개념이 되었나?
나이브 RAG는 며칠이면 만들 수 있다
2026년 현재, 챗봇 프로젝트를 한 번이라도 진행한 개발사라면 대부분 “RAG도 할 수 있다”고 말합니다. 문서를 쪼개 벡터DB에 넣고, 질문이 들어오면 비슷한 조각을 찾아 언어모델에 그대로 넘기는 나이브 RAG 구현 자체는 며칠이면 가능하기 때문입니다. 2024년 발표된 한 종합 RAG 벤치마크 연구는 이런 기본형 RAG의 사실 정확도가 44%에 그치고, 고도화 기법을 더한 RAG는 63%까지 올라간다고 보고했습니다(출처: CRAG Comprehensive RAG Benchmark, arXiv, 2024). 검색 없이 언어모델만 쓴 경우는 34%였습니다. 의료 지식베이스 외주 시장에 뛰어든 개발사가 빠르게 늘고 있는 만큼, 핵심은 기술 채택 여부가 아니라 설계 성숙도에 있다고 생각합니다.
벡터DB 연동 경험이나 챗봇 UI 구현 이력은 검색 아키텍처 설계 역량과 다른 이야기입니다. 이전 프로젝트가 실제로 어떤 검색·재정렬·그라운딩 구조를 포함했는지 구체적으로 물어야 합니다.
나이브 RAG와 전문 RAG는 아키텍처에서 어떻게 갈리는가?
다섯 가지 축으로 나눠 확인한다
같은 “RAG”라는 이름 아래에도 설계 수준은 천차만별입니다. 의료 지식베이스 외주를 검토한다면 아래 다섯 항목을 각각 짚어 물어보는 것이 데모의 화려함을 보는 것보다 훨씬 유용합니다.
| 구분 | 나이브 RAG (일반 개발사) | 전문 RAG (전문 업체) | 확인 방법 |
|---|---|---|---|
| 청킹 전략 | 문서를 고정 길이로 기계적 분할 | 문서 구조·의미 단위로 분할하고 문맥을 보강 | 청크 샘플 1개를 직접 요청 |
| 검색 구조 | 벡터 유사도 검색만 단독 사용 | 키워드 검색과 벡터 검색을 병합하는 하이브리드 방식 | 진단명·약물명 등 고유명사로 테스트 |
| 재정렬 | 1차 검색 결과를 그대로 전달 | 2차 모델로 관련도를 다시 채점한 뒤 상위만 전달 | 재정렬 단계 유무를 직접 질문 |
| 그라운딩 | 검색 결과를 참고자료 수준으로만 활용 | 답변의 각 문장을 근거 문서에 강제로 연결 | 근거 없는 질문에 “모른다”고 답하는지 확인 |
| 평가 방법론 | “잘 되는 것 같다”는 정성 평가에 의존 | 정량 지표로 주기적으로 성능을 측정 | 지표 명칭과 측정 주기를 질문 |
문서 조각이 원래 맥락을 잃지 않도록 미리 가공하는 기법만으로 검색 실패율을 최대 67%까지 낮췄다는 연구 결과도 있어(출처: Contextual Retrieval 연구, Anthropic, 2024), 청킹 전략 하나만 물어봐도 업체의 수준 차이가 상당 부분 드러납니다.
검색 구조(하이브리드 검색과 재정렬)는 왜 정확도의 상한을 결정하는가?
벡터 검색만으로는 고유명사를 놓친다
벡터 검색만 쓰는 시스템은 “허리 디스크”와 “요추 추간판 탈출증”처럼 표현이 다른 동의어는 잘 찾지만, 정확한 코드명이나 고유명사가 섞인 질문에서는 오히려 관련 없는 문서를 끌어오는 경우가 흔합니다. 키워드 검색을 함께 쓰는 하이브리드 구조가 실무 표준으로 자리 잡은 이유입니다. 의료 전용 데이터로 파인튜닝한 임베딩 모델이 범용 임베딩보다 임상 문서의 전문용어를 더 정확히 구분한다는 연구 결과도 이런 흐름을 뒷받침합니다(출처: Journal of Medical Internet Research, 2026).
재정렬이 항상 도움이 되는 것은 아니다
모든 업체의 재정렬 단계가 실제로 효과가 있는 것은 아닙니다. 한 RAG 아키텍처 평가 연구는 특정 상용 재정렬 모델이 자체 평가셋에서는 기본 검색 대비 뚜렷한 이점을 보이지 못했다고 보고했습니다(출처: ARAGOG, arXiv, 2024). 재정렬을 “쓴다”는 답변만으로는 부족하고, 자사 데이터로 직접 검증한 결과를 요구해야 합니다.
답변을 근거 문서에 강제로 묶는 그라운딩 구조는 어떻게 검증하는가?
“인용이 달린 오답”이 더 위험하다
검색 결과에 출처가 달려 있다고 해서 그 답변이 실제로 검증된 것은 아닙니다. 검색된 문서가 질문과 느슨하게만 관련될 때, 생성 모델은 그 간극을 그럴듯한 문장으로 메우면서 인용까지 붙이는 경우가 있습니다. 이런 인용이 달린 오답은 근거가 아예 없는 오답보다 위험한데, 인용을 보는 순간 사람이 검증을 건너뛰기 때문이라고 판단합니다. 근거가 부족할 때 모델이 답변을 보류하도록 허용하는 장치가 환각을 줄이는 핵심 방법이라는 설명도 있습니다(출처: Arthur AI, AI 환각 저감 가드레일 가이드).
아래는 벤더 평가 과정에서 흔히 나타나는 장면을 재구성한 가상 사례입니다. 한 헬스케어 스타트업이 두 업체의 데모를 나란히 비교했습니다. A사는 모든 질문에 매끄러운 답과 출처 링크를 붙였고, B사는 지식베이스에 없는 질문 두 건에 “해당 자료를 찾지 못했다”고 답했습니다. 담당자는 처음엔 A사가 더 완성도 높다고 느꼈지만, 인용된 원문을 직접 대조하자 A사의 답변 일부는 출처 문서의 논지와 어긋나 있었습니다.
업체가 제시하는 성능 수치는 어떤 평가 방법론에서 나온 것인가?
네 가지 지표를 함께 봐야 한다
“환각률 2%”라는 숫자를 제시하는 업체를 만나면, 그 수치가 어떤 방법론에서 나왔는지부터 물어야 합니다. 학계에서 널리 쓰이는 RAG 평가 프레임워크는 답변이 검색 근거로 실제 뒷받침되는지를 보는 충실도, 검색된 문서가 질문과 얼마나 관련 있는지를 보는 문맥 정밀도, 필요한 정보를 빠짐없이 가져왔는지를 보는 문맥 재현율, 답변이 질문 의도에 부합하는지를 보는 답변 관련성이라는 네 지표를 함께 사용합니다(출처: RAGAS 프레임워크, Es 외, 2024). 의료 지식베이스 외주 계약서에 이런 측정 방법론을 명시해 두길 권장합니다.
측정 방법론 자체를 모르거나 자체 개발한 정성적 기준만 제시하는 업체는 실제로 성능을 측정해본 적이 없을 가능성이 있습니다. 테스트셋 규모와 의료 도메인 질문 포함 여부도 함께 확인해야 합니다.
피칭 자리에서 RAG 전문성을 즉석으로 테스트하는 질문은 무엇인가?
데모 30분 안에 확인하는 세 가지
계약 전 짧은 데모에서도 아래 세 가지는 바로 시도해볼 수 있습니다.
| 테스트 | 방법 | 전문 업체의 전형적 반응 |
|---|---|---|
| 결측 질문 테스트 | 지식베이스에 없는 내용을 의도적으로 질문 | “자료에서 찾지 못했다”고 인정 |
| 교차문서 합성 테스트 | 두 문서에 걸친 정보를 종합해야 답이 나오는 질문 | 두 출처를 함께 인용하며 답변 |
| 인용 대조 테스트 | 답변에 달린 인용을 원문과 직접 맞춰본다 | 인용 문장과 주장이 실제로 일치 |
지식베이스에 절대 없을 법한 질문을 먼저 던져보세요. 그럴듯한 답을 지어내는지, 모른다고 인정하는지가 첫 번째 신호입니다.
답변에 붙은 인용을 클릭해 원문을 열어보세요. 인용된 문장이 실제로 그 주장을 뒷받침하는지 30초만 확인해도 그라운딩 품질이 드러납니다.
국내에서도 검증 요구가 커지고 있다
국내에서도 이런 흐름은 이미 시작됐습니다. 한 관절·척추 전문병원은 병원이 직접 검수한 자료만으로 학습한 RAG 기반 AI 상담 서비스를 도입했다고 밝혔습니다(출처: 헬스경향, 2026). 보건복지부 역시 2025년 12월 발표한 계획에서 2026년 의료 AI 실증 지원 과제를 20개로 확대하겠다고 밝혀, 성능 검증을 제도적으로 요구하는 방향으로 가고 있습니다(출처: 보건복지부 보도자료, 2025).
자주 묻는 질문
챗봇을 만들어본 개발사면 RAG 전문성이 있다고 봐도 되나요?
아닙니다. 챗봇 UI 구현 경험과 검색 아키텍처 설계 경험은 다른 역량입니다. 이전 프로젝트에 실제 검색·그라운딩 구조가 포함됐는지 확인해야 합니다.
벡터DB를 쓴다고 하면 전문성이 있다고 볼 수 있나요?
벡터DB는 기본 도구일 뿐입니다. 하이브리드 검색, 재정렬, 그라운딩 구조 등 그 위에 얹는 설계가 전문성을 가릅니다.
오픈소스 RAG 프레임워크를 쓰면 검증이 더 쉬워지나요?
프레임워크 사용 여부보다 의료 문서 구조에 맞게 얼마나 커스터마이징했는지가 중요합니다.
평가 지표를 제시하지 못하는 업체는 무조건 배제해야 하나요?
즉시 배제보다 측정 계획을 요구하는 편이 현실적입니다. 다만 방법론 자체를 모른다면 위험 신호로 봐야 합니다.
소규모 의원의 의료 지식베이스 외주에도 같은 기준이 필요한가요?
네. 규모와 무관하게 답변 오류가 환자 안전과 연결된다면 같은 수준의 검증이 필요합니다.
데모를 통과했다면 실제 운영에서도 안정적인가요?
단정할 수 없습니다. 데모는 선별된 질문에 최적화됐을 수 있어 무작위·경계 사례 질문으로 다시 확인하는 것이 안전합니다.
정리하며
의료 지식베이스 외주 업체를 고를 때 저는 화려한 데모보다 결측 질문과 인용 대조 같은 압박 테스트에서의 반응을 먼저 보라고 권장합니다. 청킹, 검색 구조, 그라운딩, 평가 방법론이라는 네 축에서 “모르겠다”고 말할 줄 아는 시스템을 만든 업체가 결국 신뢰할 수 있는 지식베이스를 만든다고 판단합니다. RAG 전문성은 인터뷰가 아니라 데모의 압박 테스트에서 드러납니다.
참고 출처
- CRAG Comprehensive RAG Benchmark, arXiv:2406.04744, 2024
- ARAGOG: Advanced RAG Output Grading, Eibich 외, arXiv:2404.01037, 2024
- RAGAS 평가 프레임워크, Es 외, 2024
- Contextual Retrieval 연구, Anthropic, 2024
- Improving RAG for Health Care by Fine-Tuning Clinical Embedding Models, Journal of Medical Internet Research, 2026
- How to Use Guardrails to Reduce AI Hallucinations, Arthur AI
- 바른세상병원 AI 상담 서비스 도입 보도, 헬스경향, 2026
- 의료데이터 활용 확대 계획, 보건복지부 보도자료, 2025
진료실에서 필요한 지식을
근거 기반 iDOC-AI 가 보조합니다.
iDOC AI는 검증된 의료 데이터를 근거로 콘텐츠 정확도를 보강하는 의료 지식 RAG 서비스입니다.
