Skip Navigation
Skip to contents

E-NEWSLETTER No.187 November

의료와 인문

◎ 인공지능 시대, 의학논문 심사 주체의 경계는 어디까지?
- 하이델베르크 ICMJE 2026 회의를 계기로 돌아본 동료 심사의 미래

유 진 홍대한의학회 간행이사

인공지능(AI)의 발전은 의학학술지의 편집 환경을 빠르게 바꾸고 있다. 불과 몇 년 전까지만 해도 AI의 역할은 영문 교정이나 번역 정도에 머물렀지만, 이제는 문헌 검색과 통계 분석을 넘어 논문의 학문적 타당성까지 평가하는 수준에 이르렀다. 최근에는 AI를 이용해 작성한 것으로 의심되는 원고들이 급증하고, 이른바 논문 공장(paper mill)의 문제까지 겹치면서 편집자와 심사자의 부담은 더욱 커지고 있다. 그렇다면 역설적으로, AI로 인해 가중되는 심사 부담을 AI로 줄일 수는 없을까? 이제 AI를 사용할 것인가 말 것인가를 논하는 것은 별 의미가 없다. 중요한 것은 어디까지, 어떤 조건에서, 누구의 책임 아래 사용할 것인가 이다.

닫힌 AI 심사 시스템의 구축
국제 의학학술지편집인 위원회(International Committee of Medical Journal Editors, ICMJE)의 현행 권고에 따르면, 저자의 명시적 허락 없이는 기밀유지가 보장되지 않는 AI 시스템에 투고 원고를 업로드해서는 안 된다. 이를 달리 해석하면 저자의 허락을 받으면 외부의 개방형 AI 시스템을 사용할 여지가 있다는 뜻이다. 그러나 저자의 동의가 곧 기밀유지의 기술적 보장을 의미하지는 않는다.

따라서 JKMS는 학술지 자체의 통제 아래 운영되는 닫힌 AI 심사 시스템(closed AI peer-review system)을 구축하기 시작했다. 그 첫걸음이 참고문헌 검증 모듈인 CiteWell이다. 이 시스템은 존재하지 않는 거짓 참고문헌을 인용했는지 적발하고(의외로 빈번히 잡힌다), 인용된 문헌이 본문의 주장을 실제로 뒷받침하는지 검증한다. 원고는 AI 학습에 이용되지 않으며 검증 후 관련 자료는 삭제하도록 설계했기 때문에 투고자는 본인 원고의 비밀 유지를 우려할 필요가 없다.

앞으로는 원고 요약 기능에 이어 초록과 본문의 일치 여부, 표와 본문의 수치 차이, 연구 방법과 결과의 논리적 정합성, 통계 분석의 적절성 등을 점검하는 기능까지 확장할 계획이다. 그러나 바로 이 지점에서 새로운 윤리적 문제가 발생한다. AI가 논문의 질을 평가하기 시작하면, 그것은 과연 단순한 심사 보조에 머무는 것일까?

세 단계의 AI 사용과 회색지대
JKMS에서는 AI 사용의 범위를 다음과 같이 세 단계로 구분하는 지침을 마련하고 있는 중이다.

1) Tier 1 (Assistive use): 문법 교정, 번역, 문장 개선 등 학문적 판단에 개입하지 않는 보조적 사용.
2) Tier 2 (Augmentative use): 참고문헌 검증, 원고 요약, 방법론 및 통계 분석 점검 등 인간 심사자의 판단을 지원하는 사용.
3) Tier 3 (Substitution for independent judgment): 논문의 학문적 가치와 타당성에 대한 독립적인 판단을 AI에 맡기거나 채택·수정·거절의 결론을 AI가 대신 내리도록 하는 사용. 당연히 이는 허용하지 않는다는 것이 기본 원칙이다.

문제는 Tier 2와 Tier 3 사이의 경계가 명확하지 않다는 데 있다. AI가 통계 분석의 오류 가능성을 지적하거나 연구설계에 비해 결론이 과장되었다고 평가하기 시작하면, 이미 인간의 학문적 판단 영역에 발을 들여놓는 셈이다. 심사자는 독립적으로 판단한다고 생각하지만 실제로는 AI가 제시한 논리의 틀에 영향을 받을 수 있다.

여기서 2018년 개봉 영화 Upgrade가 떠오른다. 주인공은 AI를 이용해 자신의 능력을 강화한다고 믿지만, 결국 자신도 모르는 사이에 통제권을 AI에 넘겨주고 만다. 동료심사도 마찬가지 위험을 안고 있지는 않을까?

중요한 것은 누가 최종 결정을 내리는가만이 아니라, 그 결정에 이르는 지적 판단 과정을 실제로 누가 주도하는가이다. 이것이 우리가 고민하는 회색지대(gray zone)이자, AI 사용의 경계선(red line)을 어디에 그어야 하는가 하는 문제다.

하이델베르크에서 던진 질문

ICMJE meeting 2026 종료 후 기념사진

2026년 10월 25일부터 27일까지 독일 하이델베르크에서 열린 ICMJE 회의에서 필자는 바로 이 문제를 토론 의제로 제안했다. 발표 제목은 'Where Should We Draw the Red Line for AI Use in Peer Review?'였다. JKMS의 닫힌 AI 시스템과 앞서 언급한 세 단계의 사용 원칙을 소개하고, 특히 Tier 2와 Tier 3의 경계선을 어디에 그어야 할지 세계 주요 의학학술지 편집인들의 의견을 구하려는 취지였다. 흥미롭게도 이번 회의에서는 New England Journal of Medicine의 Eric Rubin이 AI를 활용한 원고의 오류 검증 문제를, The Lancet의 Sabine이 AI와 논문 공장 시대의 동료심사 최소 기준에 관한 문제를 각각 제기했다. 서로 다른 의제였지만 결국 AI 시대에 동료심사의 질과 인간의 책임을 어떻게 유지할 것인가라는 공통의 고민으로 이어졌다. 각국의 편집인들 역시 저마다의 입장에서 이 문제를 깊이 고민하고 있었던 것이다.

이러한 분위기에서 필자가 제기한 AI 활용의 경계선 문제는 참석자들의 큰 관심을 불러일으켰고, 자연스럽게 열띤 토론으로 이어졌다. 각 학술지가 처한 환경과 AI 활용 경험이 다른 데다, 편집인들마다 오랜 경험을 통해 형성된 확고한 철학과 판단 기준을 가지고 있었기에 의견도 다양했다. 토론은 예상보다 길어졌지만, 결국 필자가 기대했던 공통의 경계선에 대한 합의에는 이르지 못했다. 어쩌면 처음부터 획일적인 기준을 도출하기 어려운 문제였는지도 모른다.

ICMJE meeting 2026에서 필자의 발표 (AI로 그린 상상도입니다).

그러나 그 긴 토론이 결코 소득 없었던 것은 아니다. 오히려 여러 편집인의 견해를 듣고 서로 다른 입장을 확인하는 과정에서 필자 나름의 생각을 정리할 수 있었다.

AI 활용의 허용 범위를 지나치게 엄격한 선으로 구획하기보다는, 인간의 독립적인 학문적 판단과 최종 결정의 책임을 침해하지 않는 범위에서 유연하게 활용을 인정하는 것이 바람직하지 않을까 하는 것이다.

결국 이번 하이델베르크 회의에서 모두가 동의하는 하나의 ‘레드라인’을 얻지는 못했다. 그러나 그 경계선을 어디에 그을 것인가라는 질문 자체가 앞으로도 지속적으로 논의해야 할 중요한 과제임을 확인했다. 그리고 필자에게는 경계선을 명확히 긋는 일보다 그 경계선이 지키려는 원칙을 분명히 하는 일이 더 중요하다는 깨달음이 남았다.

따라서 JKMS는 원고 요약을 넘어 방법론과 통계 분석에 대한 제한적인 검토 지원까지 Tier 2에 포함하는 방향으로 나아가려 한다. 다만 AI가 제시하는 것은 심사자가 독립적으로 확인해야 할 사항이지, 최종적인 평가나 판정이어서는 안 된다. 핵심은 AI의 기능 자체보다 인간이 지적 주도권을 유지하고 있는가에 있다.

이러한 원칙 아래 저자의 AI 사용 공개, 심사 과정에서의 AI 사용 동의, 심사자의 기밀유지와 사용 내역 신고, 편집자의 최종 책임 등을 구체화하여 올해 말 또는 내년 초까지 JKMS 고유의 AI 간행윤리 지침을 공표할 계획이다. 그렇게 함으로써 대한민국 의학학술지를 선도하는 학술지의 하나로서 먼저 원칙을 마련하고 경험을 공유하여, 국내외 학술지들이 자체 지침을 정비하는 데 기여를 하고자 한다.

처음부터 완벽한 규범을 만들 수는 없다. 그러나 천 리 길도 한 걸음부터다. 일단 실천 가능한 원칙을 세우고, 경험과 비판을 통해 끊임없이 다듬어 나가면 된다.

그러나 그 다음에는?
그럼에도 마음 한편에는 불안감이 남는다. 우리가 지금 정성껏 마련하는 AI 간행윤리 지침은 과연 언제까지 유효할 것인가?

언젠가는 AI가 인간 전문가와 구별하기 어려운 지적 능력을 갖추는 이른바 기술적 특이점(technological singularity)에 도달할지도 모른다. 그 시점이 수십 년 후일 수도 있지만, 기하급수적 기술 발전의 속도를 생각하면 예상보다 훨씬 가까울 가능성, 당장 내년일 수도 있음을 배제할 수 없다.

만일 AI가 인간보다 더 정확하고 일관된 학문적 판단을 내리게 된다면, 그때에도 인간만이 최종 판단을 내려야 한다는 원칙을 고수할 수 있을까? 지금 우리가 설정하는 경계선이 무의미해지고 간행윤리 자체를 근본적으로 다시 써야 할지도 모른다.

아직 오지 않은 미래에 대한 답을 지금 내릴 수는 없다. 다만 AI 시대의 간행윤리는 고정된 규범이 아니라 기술의 발전과 함께 끊임없이 재검토해야 할 살아 있는 원칙이라는 사실만은 분명하다.

지금은 경계선을 그어야 할 때다. 그러나 언젠가는 그 선을 다시 그어야 할 때가 올 것이라는 사실도 잊지 말아야 한다.

대한의학회(https://www.kams.or.kr)
(06653) 서울특별시 서초구 반포대로 14길 42, 6층/7층 (서초동, 하이앤드타워)