의료 AI 평가기준 7가지와 병원 도입 전 확인할 근거
의료 AI 평가기준은 데모 화면의 정확도 숫자가 아니라 식약처 인증 등급, 임상 검증의 질, 도입 후 책임 소재까지 포함한 구조적 점검 항목을 뜻합니다. AI 기본법 시행령이 2026년 7월 발효되며 병원이 확인해야 할 의무도 늘었습니다. 계약 전에 짚어야 할 7가지를 정리했습니다.
의료 AI 평가기준이란 병원이나 의원이 진단·기록·상담 지원 등에 AI 솔루션을 들이기 전, 그 솔루션의 규제 적합성과 임상적 근거, 운영 안정성을 문서로 확인하는 절차를 의미합니다. 데모 화면의 정확도 숫자만으로는 이 세 가지 중 어느 것도 검증되지 않습니다.
병원은 왜 의료 AI 솔루션 도입 전 체계적 평가기준이 필요한가?
한국보건산업진흥원이 대한의사협회 협조로 의사 2,125명을 대상으로 진행한 조사에서 47.7%가 의료 AI 활용 경험이 있다고 답했고, 활용 목적은 진단(68.0%)과 선별(51.2%)이 중심이었습니다(출처: 한국보건산업진흥원, 2025). 도입 속도는 정부 차원에서도 빨라지고 있습니다. 2026년 8월 6일 정부는 ‘AI 기본의료 전략’을 발표하며 전국 보건소와 공공병원까지 AI 진료지원 도구를 보급하겠다고 밝혔습니다. 저는 이런 흐름일수록 병원의 벤더 선택 하나하나가 더 무거워진다고 판단합니다. 도구가 흔해질수록 “이미 많이 쓴다”는 이유만으로 평가를 건너뛰기 쉬워지기 때문입니다.
데모에서 본 정확도는 왜 병원 현장과 다르게 나타날 수 있나?
대형 상급종합병원 데이터로 학습한 모델이 중소병원이나 지역 의료기관에 배포되면 성능이 다르게, 때로는 위험하게 나타날 수 있다는 점은 의료 AI 확장 실패를 다룬 여러 분석이 지적합니다. 이 분포 차이는 알고리즘 결함이 아니라 검증 범위의 한계에서 옵니다.
식약처 SaMD 인증·규제 분류는 어떻게 확인하나?
소프트웨어 의료기기(SaMD)는 위해도에 따라 1~4등급으로 나뉘며, 등급마다 요구되는 절차와 서류가 다릅니다. 등급을 모른 채 “허가받았다”는 말만 듣고 넘어가면 실제 심사 강도를 오판하기 쉽습니다.
| 등급 | 절차 구분 | 임상자료 제출 | 심사 주체 |
|---|---|---|---|
| 1등급 | 신고 | 불요 | 한국의료기기안전정보원(즉시 수리) |
| 2등급 | 인증 또는 허가 | 자료 유무에 따라 구분 | 지정 기술문서심사기관 |
| 3~4등급 | 허가 | 필요 | 식약처 직접 심사 |
지난해 국내 AI 기반 의료기기의 허가·인증은 153건으로 전년보다 41.6% 늘었습니다(출처: 식약처 집계, 2026). 디지털의료제품법 하위규정 시행에 맞춰 식약처는 2025년 5월 AI·VR 등 신기술이 적용된 기기의 판단 흐름도를 포함한 가이드라인도 정비했습니다.
의료기기전자민원시스템에서 해당 제품의 등급과 허가·인증·신고 여부를 직접 조회합니다. 벤더의 설명이 아니라 공적 기록을 1차 근거로 삼습니다.
인증이 없다고 배제해야만 할까?
그렇지는 않습니다. 혁신의료기기로 지정되면 일반 허가 심사기간이 200일에서 80일로 단축되고, 2026년 1월부터는 시장 즉시진입 의료기술 제도로 식약처 허가와 함께 신의료기술평가를 유예받아 비급여로 더 빨리 시장에 들어오는 경로도 생겼습니다(출처: 식약처·관련 보도, 2026). 다만 이 경로에 있는지는 병원이 먼저 확인해야 합니다.
임상 검증 데이터는 어떤 기준으로 판단해야 하나?
식약처 인증은 안전성·성능 기준의 충족을 뜻하지, 모든 임상 상황에서 동일한 정확도를 보장한다는 뜻은 아닙니다. 인증 등급과 임상 근거의 질은 따로 확인해야 하는 별개 항목입니다.
내부 검증과 외부 검증은 무엇이 다른가?
개발사 자체 데이터로만 검증한 결과와, 개발에 쓰이지 않은 다른 병원·다른 인구집단 데이터로 재검증한 결과는 신뢰도가 다릅니다. 식약처의 임상 유효성 평가 가이드라인도 후향적 임상시험 등 검증 방법을 구체적으로 안내하고 있어, 어떤 방식으로 검증됐는지 물어볼 근거가 이미 마련돼 있습니다.
한 요양병원이 영상판독 보조 AI를 인지도만 보고 도입했다가, 학습 데이터와 실제 환자군의 연령대가 달라 판독 보조율이 기대보다 낮았던 사례입니다. 재계약 전 외부 검증 자료를 요청하면서 벤더사의 후속 대응 속도까지 함께 확인했습니다. 실존 병원이 아닌 가상의 예시입니다.
정확도 수치 하나만으로 충분할까?
충분하지 않다고 봅니다. 민감도·특이도처럼 임상 목적에 따라 더 중요한 지표가 따로 있고, 훈련 데이터셋의 출처와 결과물 간 상관관계에 대한 설명가능성도 위해도 판단 요소로 다뤄지고 있습니다(출처: 식약처 가이드라인 해설, 2025). 숫자 하나로 판단하기보다 그 숫자가 어디서 나왔는지를 묻는 편이 안전합니다.
기존 EMR·병원정보시스템과의 연동성은 왜 살펴야 하나?
전자의무기록시스템(EMR) 인증제는 의료법 제23조의2에 근거해 기능성·상호운용성·보안성 세 영역을 심사하며, 2020년 41개소였던 인증 의료기관은 2024년 12월 기준 4,052개소로 늘었고 상급종합병원 47곳은 전부 인증을 받았습니다(출처: 보건복지부, 2026). 2주기 개편에서는 상호운용성 심사 항목이 14개에서 20개로 늘어, 시스템 간 연계 기능이 더 촘촘하게 검증됩니다.
EMR 인증과 AI 솔루션 자체 인증은 같은 의미인가?
아닙니다. EMR 인증은 병원의 기록 시스템에 대한 인증이고, SaMD 인증은 AI 솔루션 자체에 대한 인증이라 서로 다른 절차입니다. 두 인증을 모두 갖췄더라도, 그 둘이 실제로 오류 없이 데이터를 주고받는지는 별도로 확인해야 합니다.
벤더의 트랙레코드와 재무 안정성은 어떻게 확인하나?
대형병원의 실증 사례처럼 공개된 임상 적용 실적이 있는 벤더는 확인이 비교적 쉽지만, 신생 벤더라면 레퍼런스를 직접 확보하는 절차가 더 중요해집니다.
카탈로그가 아니라 실제 도입 병원에 연락해 사용률과 오류 경험, 벤더의 대응 속도를 직접 물어봅니다. 레퍼런스를 공개하지 못하는 벤더라면 그 이유를 먼저 확인합니다.
레퍼런스 병원에는 무엇을 구체적으로 물어야 하나?
도입 초기의 성능이 아니라 6개월, 1년 뒤에도 그 성능이 유지됐는지를 묻는 편이 실질적입니다. 저는 여러 도입 사례를 지켜본 경험상, 초기 성과 발표와 1년 뒤 실사용률 사이에 꽤 큰 격차가 있는 경우를 자주 봤습니다.
도입 후 성능 모니터링·재검증 체계는 갖춰져 있는가?
모델 성능은 왜 시간이 지나며 달라지나?
병원의 환자 구성, 검사 장비, 임상 프로토콜이 바뀌면 AI가 처음 학습한 조건과 실제 운영 조건 사이에 간격이 생깁니다. 이 간격을 방치하면 성능 저하를 눈치채지 못하고 넘어갈 수 있습니다. 재검증 주기와 이상 탐지 알림을 벤더가 표준 서비스로 제공하는지는 계약 전에 확인할 항목이라고 판단합니다.
설명가능성과 임상적 판단 근거 제시는 가능한가?
AI가 왜 그런 결과를 냈는지 의료진이 확인할 수 없는 블랙박스 구조라면, 등급이 높아도 현장 신뢰를 얻기 어렵습니다. 임상 AI 도입은 경영진 승인만으로 끝나지 않고, 실제로 쓰는 임상의의 수용이 뒷받침돼야 한다는 지적도 이와 같은 맥락입니다. AI 기본법상 고영향 인공지능에 해당하면 결과 도출에 쓰인 주요 기준과 학습 데이터 개요를 설명하는 방안을 마련해 게시할 의무도 2026년 7월부터 구체화됐습니다. 설명가능성은 이제 선택이 아니라 점검 항목에 가깝습니다.
오류·오진 발생 시 책임 소재는 계약에 명시돼 있는가?
의사 대상 조사에서 의료 AI 활용 경험자의 69.1%, 미경험자의 76.0%가 사고 발생 시 법적 책임의 불명확성을 가장 큰 우려로 꼽았습니다. 책임 주체를 묻는 질문에는 공동책임(35.3%)과 AI 개발사 책임(26.9%) 응답이 의사 개인 책임(18.0%)보다 많았습니다(출처: 한국보건산업진흥원, 2025). 현재 의료법 체계에서 AI는 보조 도구이고 최종 진단 권한은 의사에게 있다는 원칙은 유지되지만, 그렇다고 벤더의 책임이 사라지는 것은 아닙니다. 계약서에 오류 발생 시 대응 절차와 책임 범위가 구체적으로 적혀 있는지가 핵심입니다.
책임 분쟁을 계약서로 어디까지 예방할 수 있나?
전부는 아니지만 상당 부분 예방할 수 있다고 봅니다. 오류 보고 절차, 재발 방지 조치, 손해 발생 시 분담 방식을 사전에 문서화해두면 사고 이후 책임 공방에 드는 시간과 비용을 크게 줄일 수 있습니다.
앞서 짚은 의료 AI 평가기준 7가지를 표로 정리하면 다음과 같습니다.
| 평가 항목 | 확인 질문 | 확인 방법 |
|---|---|---|
| 규제 분류 | SaMD 등급과 허가·인증·신고 여부는 | 의료기기전자민원시스템 조회 |
| 임상 근거 | 외부 기관 데이터로도 검증됐는가 | 논문·임상시험 자료 요청 |
| 연동성 | 우리 병원 EMR과 실제 연동 사례가 있는가 | EMR 벤더사 교차 확인 |
| 트랙레코드 | 레퍼런스 병원에 직접 문의 가능한가 | 레퍼런스 콜 요청 |
| 모니터링 | 도입 후 재검증 주기가 있는가 | 계약서 SLA 확인 |
| 설명가능성 | 판단 근거를 의료진이 확인할 수 있는가 | 데모에서 근거 화면 요청 |
| 책임소재 | 오류 발생 시 책임 조항이 명시돼 있는가 | 계약서 법무 검토 |
자주 묻는 질문
식약처 인증이 없는 AI 솔루션은 항상 피해야 하나요?
아닙니다. 혁신의료기기 지정이나 시장 즉시진입 제도처럼 정식 허가 전이라도 조건부로 쓸 수 있는 경로가 있습니다. 다만 어떤 경로의 어느 단계인지는 병원이 직접 확인해야 합니다.
임상 검증 논문이 있으면 그것으로 충분한가요?
논문 존재 여부보다 그 검증이 개발사 자체 데이터인지, 다른 병원·다른 인구집단에서도 확인됐는지가 더 중요합니다.
계약서에서 가장 먼저 확인해야 할 조항은 무엇인가요?
오류나 오진 관련 사고 발생 시 책임 소재와 성능 재검증 주기 조항입니다. 의사 대상 조사에서도 법적 책임 불명확성이 가장 큰 우려로 꼽혔습니다.
레퍼런스 병원에는 무엇을 구체적으로 물어야 하나요?
도입 초기 성과보다 6개월~1년 뒤 실제 사용률과 성능 유지 여부, 오류 발생 시 벤더의 대응 속도를 물어보는 편이 훨씬 신뢰도 높은 정보를 줍니다.
AI 기본법 시행으로 병원이 추가로 준비해야 할 것이 있나요?
도입하는 AI가 고영향 인공지능에 해당한다면 위험관리방안과 설명방안을 마련해 게시할 의무가 새로 구체화됐습니다. 계약 전 이 부분의 책임 소재도 함께 확인해야 합니다.
의료 AI 평가기준은 챗봇이나 RAG 시스템에도 동일하게 적용되나요?
큰 틀은 같지만, RAG 아키텍처나 챗봇의 개인정보 처리처럼 기술별로 더 깊이 봐야 할 세부 항목은 따로 있습니다. 이 글은 의료 AI 평가기준의 공통 축에 집중했습니다.
정리하며
의료 AI 평가기준은 결국 정확도 숫자 하나가 아니라 규제·근거·책임이라는 세 층위를 함께 보는 일이라고 생각합니다. 식약처 인증 등급과 임상 검증의 질을 확인하고, 도입 후에도 성능이 유지되는지 점검하며, 오류 발생 시 누가 책임지는지를 계약서에 남겨두는 편이 안전합니다. 좋은 평가기준은 화려한 데모가 아니라 문서로 답할 수 있는 질문에서 나옵니다.
참고 출처
- 국가법령정보센터, 「의료기기 허가·신고·심사 등에 관한 규정」(식품의약품안전처 고시)
- 식품의약품안전처, 「디지털의료기기 관련 가이드라인 6종 제·개정」, 2025.5
- 연합뉴스, 「AI 의료기기 허가 급증…41% 늘었다」, 2026.4
- 식품의약품안전처, 「2025년도 혁신의료기기 45개 지정」 보도참고자료, 2026.1
- 히트뉴스, 「시장 즉시진입 의료기술 제도」, 2026.3
- 청년의사, 「AI 의료기기 임상시험은 어떻게 할까」(식약처 임상 유효성 평가 가이드라인 소개), 2017/2025 개정 맥락
- 법무법인 자료(Lexology 게재), 「생성형 AI 의료기기, 안전하게 개발하려면」, 2025.4
- 보건복지부, 「전자의무기록시스템(EMR) 인증제 개편」 보도자료, 2026
- 페블러스, 「한국 AI 기본법 전면 시행, 고영향 AI 데이터 거버넌스 가이드」, 2026.7
- 한국보건산업진흥원·대한의사협회, 「2025년 의료 AI 활용 실태조사」, 2026.2 보도 인용
- 정부 발표, 「AI 기본의료 전략」, 2026.8
진료실에서 필요한 지식을
근거 기반 iDOC-AI 가 보조합니다.
iDOC AI는 검증된 의료 데이터를 근거로 콘텐츠 정확도를 보강하는 의료 지식 RAG 서비스입니다.
