식약처, 아시아 최초 ‘레드팀 챌린지’로 AI 의료제품 및 8종 이상 LLM 안전성 검증 나선다

최근 인공지능 기술은 우리 일상뿐만 아니라, 가장 민감하고 중요한 분야인 ‘의료’에도 깊숙이 자리 잡고 있습니다. AI 기반의 진단, 치료 보조, 신약 개발 등 그 활용 범위는 정말 놀랍죠. 그런데 혹시 이런 생각 해보신 적 있으신가요? 만약 이 첨단 AI 의료제품이 예상치 못한 오류를 일으키거나, 외부 공격에 취약하다면 어떻게 될까? 상상만 해도 아찔한데요. 😱 의료 분야에서의 작은 오류는 치명적인 결과를 초래할 수 있기에, AI 디지털 의료제품 안전성 확보는 그 무엇보다 중요한 과제가 되었습니다.

바로 이러한 시대적 요구에 발맞춰, 대한민국 식품의약품안전처(이하 식약처)가 아주 특별하고 의미 있는 도전에 나섰습니다. 바로 첨단 AI 디지털 의료제품의 보안성과 안전성을 최고 수준으로 끌어올릴 ‘레드팀 챌린지’인데요. 과연 이 혁신적인 시도는 어떻게 우리의 건강을 지켜낼 수 있을지, 그 상세한 내용을 함께 살펴보겠습니다.

식약처 ‘레드팀 챌린지’, 어떤 내용으로 진행될까요? 🛡️

식약처는 지난 7월 25일, 서울 웨스틴조선호텔에서 ‘첨단 AI 디지털 의료제품 레드팀 챌린지 및 기술 워크숍’ 조직위원회 회의를 개최하며 9월 본 행사의 본격적인 준비를 알렸습니다. 이 행사는 식약처의 대형 출연사업인 ‘첨단의료 AI 안전성·신뢰성 향상 기술개발’의 핵심 과제로, 실제 AI 기반 디지털 의료기기의 보안성과 안전성을 시험하고, 이를 제도화 및 산업화할 수 있는 기반을 다지는 데 중요한 역할을 할 것으로 기대됩니다.

이번 사업에는 국내 최고 수준의 산·학·연 기관들이 컨소시엄 형태로 참여하는데요. 한국전자통신연구원(ETRI)을 비롯해 분당서울대학교병원, STA테스팅컨설팅, 한국화학융합시험연구원(KTR) 등 이름만 들어도 든든한 기관들이 함께 힘을 모으고 있습니다. 그야말로 국내 AI 의료 안전의 미래를 책임질 드림팀이라고 할 수 있죠!

오는 9월 4일부터 5일까지 이틀간 노보텔 서울 동대문 호텔에서 열릴 본 행사에서는 크게 세 가지 주요 내용이 다뤄집니다. 첫째, 첨단 AI 의료기기를 대상으로 하는 보안 취약점 시험 및 대응 전략 공유입니다. 둘째는 국내외 주요 생성형 AI 기반 의료기기용 거대언어모델(LLM)들을 대상으로 한 사용자 참여형 레드팀 챌린지가 개최됩니다. 네이버, KT, 카카오, LG, 업스테이지, 딥시크, 구글, OpenAI 등 8종 이상의 LLM이 그 대상이라고 하니, 정말 기대되지 않나요? 마지막으로는 기술 워크숍을 통해 국내외 기술, 제품, 규제 동향을 공유하며 의료 AI 산업의 나아갈 길을 함께 모색할 예정입니다.

생성형 AI 의료기기, ‘레드팀’이 어떻게 지켜줄까요? ⚔️

이번 행사는 세 가지 핵심 세부 과제를 중심으로 심도 있게 진행됩니다. 먼저, ‘생성형 AI 디지털의료제품 레드팀 시험 평가 기술 개발 및 실증(3과제)’은 실제 평가 기술을 개발하고 이를 검증하는 작업입니다. 다음으로 ‘생성형 AI 디지털의료제품 레드팀 플랫폼 개발 및 실증(4과제)’을 통해 효율적인 시험 환경을 구축하게 되죠. 그리고 마지막으로 ‘첨단 AI 취약점 동향조사 및 글로벌 대응체계 마련(5과제)’은 전 세계적인 AI 보안 흐름을 읽고 선제적으로 대응하기 위한 중요한 과제입니다.

특히, 이번 ‘첨단 AI 레드팀 챌린지’의 백미는 바로 혁신적인 시험 방식에 있습니다. 100여 명 이상의 참가자들이 생성형 AI 의료기기 개발에 사용될 가능성이 높은 LLM들을 대상으로 모의 공격을 수행하는데요. 이를 통해 의료용으로 사용될 때 발생할 수 있는 잠재적 위험 요소와 취약점을 발굴하고, 실질적인 대응 방안을 제시하게 됩니다.

STA테스팅컨설팅의 권원일 대표님은 이번 레드팀 챌린지에 대해 “단순한 기술 경연을 넘어, AI 기반 의료기기의 안전성과 글로벌 경쟁력을 확보하는 시험대가 될 것”이라며, “STA는 평가기술과 레드팀 플랫폼 개발을 통해 의료 AI 산업의 새로운 기준을 제시하겠다”고 포부를 밝혔습니다. 이처럼 관련 기업들도 이번 챌린지를 통해 의료 AI 분야의 신뢰도를 높이고, 나아가 소버린 AI 안전 및 보안 평가 기술 경쟁력까지 확보하겠다는 목표를 가지고 있습니다.

참여 기회와 예상 효과는? ✨

이 흥미로운 행사에 참여하고 싶으신 분들을 위한 정보도 있습니다! 참가자 모집은 7월 말부터 8월 22일까지 온라인으로 진행되며, 8월 말 1차 간이서류 전형을 거쳐 본선 참가자가 선정될 예정입니다. 총 1,600만원 이상의 상금이 걸려 있다고 하니, 열정 있는 분들의 참여가 더욱 기대됩니다.

참가 대상은 의료 AI, 보안, 소프트웨어 시험 분야의 전문가들은 물론, AI 기술에 관심 있는 학생, 의료진, 연구자 및 개발자 등 폭넓게 문이 열려 있습니다. 의료 AI의 미래를 함께 만들어갈 기회, 놓치지 마세요!

자주 묻는 질문 ❓

첨단 AI 기술이 우리 삶을 더욱 풍요롭게 하는 만큼, 그 그림자에 가려진 ‘안전성’과 ‘신뢰성’을 확보하는 것은 너무나 중요합니다. 식약처의 이번 ‘레드팀 챌린지’는 그러한 책임감을 바탕으로 우리 미래 의료의 든든한 기반을 다지는 의미 있는 첫걸음이 될 것입니다. 이 글이 여러분의 궁금증을 조금이나마 해소해드렸기를 바랍니다!

더 궁금한 점이 있으시다면 언제든 댓글로 질문해주세요. 😊