지난 2011년부터 시작한 한국과학기술단체총연합회(이하 “과총”이라 한다)의 학술지 지원을 위한 평가는 그동안 조금씩 변화하여 왔다. 과학기술분야를 공학, 이학, 농수해양학, 의약학, 종합으로 나누고, 학술지의 주요 독자층 대상에 따른 카테고리로 국내, 국제, 국제화로 나누어 학술지 발행비의 일부를 지원하였다. 이 기본 틀은 계속 유지하면서 평가기준을 개정하고자 한다. 이 지원사업은 국고를 재원으로 하는 국책사업이다. 즉 귀중한 국고를 통하여 국내에서 발행하는 학술지가 본연의 임무를 잘 수행하도록 지원함으로써 국내 학술발전에 기여하도록 하는 것이 이 사업의 목적이다.

지난 7년간의 사업을 통하여 국내 발행 학술지들은 대부분 기존 평가항목에 포함된 글로벌 표준 편집항목을 모두 충족하고 있다. 이에 새로운 평가항목을 도입할 필요성이 높아져 새로운 기준을 만들기 위한 특별위원회가 구성되었고, 개선안을 준비하여 설명회, 공청회 등을 통해 의견을 수렴하여 수정하고 있는 중이다. 새로운 평가기준은 2018년 지원사업부터 적용할 예정으로 그동안의 지적사항과 학회의 요구사항을 반영하고자 하였다. 개선안의 주요 내용은 기존 정량평가를 대폭 축소하고 정성평가를 포함하여 학문적 특수성을 반영하는 것이다. 실제 기술적으로 어려울 것이지만 평가의 객관성, 공정성, 그리고 평가의 실현가능성을 높이는 방안도 함께 고려하였다. 평가에 의해 선정된 국내학술지는 1년간, 국제학술지는 2년간, 국제화는 3년간 지속하여 지원하는 것으로 기본 원칙을 정하였다. 또한 분야가 특수하여 규모가 작지만 꼭 필요한 또는 신설된 학문분야 학술지로 아직 평가에서 선정되기 어려운 경우 우리나라 과학기술 발전에 기여하고 있다고 주관적인 평가를 받은 학술지는 전체 사업비 5% 이내에서 별도로 선정하여 지원하는 보완책을 두었다. 이는 평가위원회에서 신청을 받은 후에 심의하여 결정한다.

학술지의 지원금 신청을 받아서 그 내용을 검토하고 온라인출판비와 출판의 정확성과 완전성 향상을 위한 비용 위주로 지원하되 전체 출판비의 50% 이내에서 지원하는 원칙도 정하였다. 국내와 국제학술지는 지원신청한 학술지의 70% 이내에서 선정하여 지원한다.

이 평가를 위하여 제출하는 모든 자료는 사실에 근거하여 거짓 없이 제출하고 평가에 임한다는 믿음에 근거한다. 허위로 자료를 제출한 사실이 확인되는 경우 해당 학회는 향후 5년간 과총 지원에서 배제되는 불이익을 받는다.

1. 기본요건

먼저 지원신청을 할 수 있는 기본요건을 두어 아래 사항을 모두 충족하는 학술지만 지원신청을 할 수 있고, 과총 평가팀에서 직전 연도 일 년간 발행한 학술지 전체를 대상으로 충족여부를 확인할 예정이다.

• 1) 정시성 준수 : 학술지는 간기를 정확하게 잘 지키는 것이 중요하다. 과총 eNEST에 출판논문 파일 등록일자로 확인하며 출간일 기준 +7일까지 인정한다. 일 년간 발행하는 모든 학술지가 일자를 준수해야 하며, 정시성 없이 출판하는 학술지는 이 규정에 예외이다.
• 2) 전문가심사 제도 운영 : 학술지는 접수된 원고를 2인 이상 전문가심사 후 심사의견을 바탕으로 선정하여 출판을 진행하여야 한다. 심사전 사전검토로 반려하는 제도 운영도 포함하며 학술지가 제출하는 자료를 토대로 확인하여 평가한다. 학술지는 이 내용을 파악할 수 있는 자료를 제출한다. 제출자료는 관련 규정, 연간 접수논문 수, 심사회부 논문 수, 초청된 심사자 수(국내외 구분), 의견서 제출한 심사자 수, 출판한 논문 수를 포함한다.
• 3) 투고규정 완비 : 학술지의 투고규정이 목적과 scope, 원고의 작성과 투고, 참고문헌 양식, 출판윤리 사항, 저자점검 항목 등 편집과 관련된 내용을 충실하게 반영하고 있는지 평가한다. 학회는 투고규정과 함께 관련 규정을 모두 제출하여 종합적으로 합당한지 평가받는다.

2. 학술지 지원사업군별 해당 요건

• 1) 국내학술지 : 국내 학회 또는 연구소 등 발행 학술지로 연간 20편 이상 출판하는 학술지가 대상이다.
• 2) 국제학술지 : Web of Science 또는 Scopus에 등재된 학술지가 대상이다.
• 3) 학술지 국제화 : 영문으로 발행하는 국내 발행 학술지가 대상이다.

3. 실물평가

기본적으로 학술지가 제출한 자료를 토대로 평가위원회가 주관하여 평가한다. 학술지가 선택하도록 하지만 학술지 웹사이트에서 보이는 온라인학술지를 평가위원이 직접 보고 평가하며, 필요한 경우 인용사항이나 참고문헌의 정확성 등 자료를 직접 수집한다. 또한 학문 분야별로 정해진 배점 안에서 위원회가 구체적인 점수를 차등하여 부여할 수 있도록 하였다.

• 1) 국내학술지 : 편집과 출판의 외형에 대한 점수 50점과 인용도와 출판내용의 정확도 평가 50점을 반영하고, 여러 학회 공동발행 학술지는 가산점을 5점을 부여한다. 발행의 외형적인 요소는 학술지 발행의 기본 구성요소 10점, 온라인상 출판논문의 가시성(visibility) 10점, 국제적인 식별 또는 연결정보 10점, 논문 게재율 10점, 투고원고 수 10점이다. 인용도와 정확성은 KCI 등재지의 경우 KCI 영향력지수 또는 국제학술지 인용회수 기준 25점, 비등재지의 경우 국내 또는 국제학술지 인용 회수로 15점을 대체평가하며, 학문적 특수성에 의한 가산점 5점을 주관 평가로 부여한다. 그 외 출판 논문의 완성도 10점, 인용문헌 정확성 5점, 연구, 출판윤리 준수 5점, scope 유지 5점 등으로 평가한다.
• 2) 국제학술지 : 국내학술지와 동일하게 편집과 출판의 외형에 대한 점수 50점과 인용도와 출판내용의 정확도 평가 50점을 반영한다. 발행의 외형적인 요소는 학술지 발행의 기본 구성요소 10점, 온라인상 출판논문의 가시성(visibility)과 가독성 15점, 국제적인 식별 또는 연결정보 5점, 논문 게재율 15점, 전문가심사의 외국인 비율 5점이다. 인용도와 정확성은 Web of Science 등재지의 경우 5-JIF 영향력지수에 근거한 해당분야 순위 100분율로 25점을, Scopus 등재지의 경우 5년 SJR로 해당분야 100분율에 의한 순위로 20점을 부여한다. 다만 등재된 지 5년 이내 학술지는 5점의 가산점이 있고 아직 순위가 매겨지지 않은 경우 80% 위치로 평가한다. 그 외 출판 논문의 완성도 10점, 인용문헌 정확성 5점, 연구, 출판윤리 준수 10점 등으로 평가한다.
• 3) 학술지 국제화 : 국제학술지와 동일하게 편집과 출판의 외형에 대한 점수 50점과 인용도와 출판내용의 정확도 평가 50점을 반영한다. 외형적인 내용은 연간 발행논문 편수 기준 10점, 발행의 외형적인 요소는 학술지 발행의 기본 구성요소 10점, 온라인상 출판논문의 가시성(visibility)과 가독성 10점, 국제적인 식별 또는 연결정보 5점, 논문 게재율 15점으로 구성된다. 인용도는 Web of Science 등재 학술지에 인용된 수 기준 25점과 학문적 특수성 5점 가산점이 있고, 출판 논문의 완성도 10점, 인용문헌 정확성 10점, 연구, 출판윤리 준수 5점 등으로 평가한다. 인용논문의 정확성은 20편의 논문을 표본 추출하여 정확성을 직접 평가하여 부여한다.

이 개정안은 기존 평가기준이 편집의 외형적인 내용 위주이었다면 학술지의 최근 5년간 출판된 논문의 인용도를 반영하여 학술지의 학술적인 기여도를 평가하고 학술지의 온라인출판의 장점을 잘 활용하는 온라인 충실성을 강조하는 평가안이라고 특성을 요약할 수 있겠다. 아울러 점차 과총의 학술지 평가역량을 향상하려는 의도도 포함된다.

이러한 평가기준을 충족하기 위한 노력으로 국내 발행 학술지가 국제 기준의 표준 편집과 출판을 함으로써 국제적으로 인용을 받고 해당분야 학술 발전에 이바지하는 학술지가 되기를 기대한다. 이러한 노력으로 지금보다 더 우수한 논문을 출판하게 된다면 국내 학회가 발행하는 학술지도 당당하게 국제적인 학술지와 동일하게 연구업적 평가에서 인정받게 될 것이다. 국내 발행 학술지가 지금의 인용에서 무시와 업적평가에서 홀대를 조속하게 벗어나려면 국제 표준 편집으로 오류 없이 발행하는 것이 먼저이다.

* 이 원고는 한국과학기술단체총연합회에서 발간하는 월간 <과학과 기술> 2017년 11월호에 발간된 내용을 재출간합니다.