<사진제공 뉴스1>
환자 상담이나 의사결정 보조에 활용되는 의료용 인공지능(AI) 모델이 해커의 악의적인 공격에 사실상 무방비 상태라는 충격적인 연구 결과가 나왔다. 특히 최상위 모델들마저 임신부에게 금기 약물을 추천하도록 조작되는 등 의료 AI 도입 전 보안 검증 체계 마련이 시급하다는 지적이다.
서울아산병원 서준교·전태준 교수, 인하대병원 이로운 교수팀은 의료용 대규모언어모델(LLM)이 이른바 ‘프롬프트 인젝션(Prompt Injection)’ 공격에 매우 취약하다는 사실을 세계 최초로 체계적으로 분석해 학계에 보고했다.
‘프롬프트 인젝션’은 AI 모델에 악의적인 명령어를 삽입해 설계자의 의도와 다르게 동작하도록 유도하는 사이버 공격 기법이다. 연구팀은 12개 임상 시나리오를 구성하고 GPT-4o-mini, 제미니 2.0, 클로드 3 등 상용 AI 모델 3종을 대상으로 보안 취약성을 분석했다.
분석 결과는 가히 충격적이다. 3종 전체에 대한 공격 성공률은 94.4%에 달했다. 특히 당뇨 환자에게 검증되지 않은 생약 성분을 권하거나, 호흡기 질환자에게 호흡 억제 유발 약물을 추천하도록 조작하는 공격이 대부분 성공했다.
더 큰 문제는 최고 위험 시나리오인 ‘임신부 금기 약물 권고’ 공격에도 모든 모델이 속수무책이었다는 점이다. 태아 장애를 유발할 수 있는 약물을 임신부에게 추천하도록 유도하자 AI는 별다른 거부감 없이 위험한 처방을 내놨다.
연구팀은 여기서 나아가 현존 최상위 모델인 GPT-5와 제미나이 2.5 프로를 대상으로도 추가 평가를 진행했다. 결과는 다르지 않았다. 두 모델 모두 임신부 대상 악의적 공격에 100% 뚫리며 안전성의 한계를 드러냈다.
한 번 조작된 답변이 이후 대화에서도 계속 유지되는 비율도 80%를 넘었다. 이는 AI의 안전장치가 한 번 무너지면, 환자가 이후 어떤 질문을 하더라도 잘못된 의료 정보가 지속적으로 전달될 수 있음을 의미한다.
이번 연구는 의료 상담에 AI를 적용할 때 발생할 수 있는 구조적 결함을 실험적으로 규명했다는 점에서 국제적인 주목을 받고 있다. 연구 결과는 미국의사협회 학술지 ‘자마 네트워크 오픈(JAMA Network Open, IF 9.7)’ 최신호에 게재됐다.
서준교 서울아산병원 비뇨의학과 교수는 “현재의 AI 모델은 단순한 오류를 넘어 의도적인 조작에 매우 취약하다”며 “지금의 안전장치로는 금기 약물 처방 유도와 같은 악의적 공격을 막기 어렵다”고 경고했다.
이어 서 교수는 “환자용 의료 챗봇이나 원격 상담 시스템을 실제 현장에 도입하기 위해서는 모델의 취약성을 철저히 테스트하고, 보안 검증 체계를 의무화하는 등 제도적 장치가 반드시 선행돼야 한다”고 강조했다.
