최근 들어 유달리 고시업무가 이슈가 되고 있다. 고시업무에 관심이 집중되는 경우는 두가지 경우이다. 전국민의 관심이 집중되는 대입과 같은 중요한 시험이거나 자격시험에서 탈락자가 많이 나올 때이다. 전문의 고시도 합격률이 100%에 근접할 때는 그 긴장감을 모르고 지낸다. 갑작스런 합격률 변동 같은 “이변”이 발생하여 수험생이 느끼는 좌절감의 무게에 진지하게 마주쳤을 때에야 수년간 무심하게 반복되는 것처럼 보이는 고시업무가 긴장감 넘치는 일이구나 하고 새삼 깨닫는 것 같다. 요즘 유행하는 ‘나는 가수다’ 같은 서바이벌 프로그램에 관심이 집중되는 이유도 긴장감이 주는 묘한 마력 때문일 것이다. 참여하는 가수는 살아남고자 혼신의 힘을 다하고, 그 절박함을 이해하며 진지하게 접근하는 평가단, 그 결과를 지켜보는 시청자의 조마조마한 마음들이 단순히 편하게 즐 기는 음악 이상의 매력을 느끼게 한다. 아마 불행히도 전문의고시에서 불합격의 고배를 마신 분들의 좌절감은 ‘나가수’ 같은 프로그램의 꼴찌나 탈락자가 느끼는 좌절감보다 훨씬 클 것이다. 왜냐하면 이러한 프로그램 참여자는 탈락하기 전에 벌써 유명세를 포함하여 많은 것을 방송을 통해 얻은 후이기 때문이다. 실제로 전문의 시험의 불합격자의 원망이나 하소연을 접해보면 참 이게 못할 ‘짓’이구나 하는 생각이 들지만 책임감도 커진다. 필자도 고시업무에 참여하는 동안 비슷한 경험을 했다. 2차 시험에서 70%에 달하는 저조한 합격률 을 기록한 다음 해인 2005년 필자가 가정의학회 고시이사를 처음 맡게 되었다. 선택작업 중에 느껴지는 무게는 그전에 어떤 일을 할 때도 느껴보지 못한 것이었다. 고시이사를 맡기 전에 10년 넘게 고시업무에 참여했던 경험이 있었지만 그전에 출제하거나 선택한 문항의 수준이 적당한가 아닌가를 고민하던 수준과는 하늘과 땅 차이였다. 어떤 문제에 진지하게 마주치게 되면 본질에 접근하기 쉽다. 시험위원으로 만들어낸 이 결과물이 정말 수험생들의 인생을 좌지우지할 만하다고 자부할 수 있는가? 그리고 신뢰할만한 시험이었던가? 라는 화두에 접하게 된다. 즉 교육평가에서 말하는 시험(측정)의 타당도와 신뢰도에 대한 고민을 하게 되었다. 시험이라면 반드시 타당하고, 객관적이고 신뢰도가 높아야 한다. 그래야 합격한 사람은 자부심을 느끼고 불합격자도 수긍할 수 있다. 시험은 오래 전부터 시행되어 왔기에 이러한 고민을 바탕으로 많은 이론적 발전과 시도가 이루어져왔다. 필기시험만으로 진료능력을 평가하는 것이 타당한가에 대한 화두는 태도와 술기를 측정할 수 있는 실기시험이 포함되어야만 보다 타당하다고 발전하였다. 이러한 이론을 바탕으로 의사국시에 실기시험이 도입되기 1년 전인 2009년 표준화환자진료시험 (Clinical performance examination: CPX)을 가정의학과 전문의고시 2차 시험에 도입하였다. 26개 학회 중 신경과, 성형외과에 이어 세번째 도입이었다. 수험생 320명을 대상으로 채점, 감독에 참여한 지도전문의 30명, 표준화환자 40명, 진행요원 20명이 투입된 대규모 CPX를 시행하였다. 2차 시험이 의협이나 의학회의 지원 없이 모든 시험의 진행을 개별 학회에서 전적으로 책임지기에 쉽지 않은 일이었다. 도입한지 3년이 지나고 2012년에는 400명의 수험생을 대상으로 치러야 한다. 전문의 고시가 전문의 자격증을 가질만한 진료능력을 제대로 평가했다는 자부심을 가지기 위해서는 반드시 확대 발전시켜야 하지만 개별 학회만의 힘으로 이를 지속하기에는 어려움이 많다. 안정적으로 뒷받침할 행정인력과 고시업무에 정통하고 열정을 가진 인력을 지속적으로 확보하기 위한 공감대와 노력은 가정의학회뿐 만 아니라 전체 전문의 고시의 미래 화두이기도 하다. 시험이 신뢰할 만한가라는 화두에 대한 답은 무엇일까? 신뢰도가 낮으면 시험을 볼 때 마다 수험생의 점수가 매번 달라진다는 것이다. 즉 시험결과가 실력이 아니라 운이라는 생각이 들게 만드는 시험이라는 이야기가 된다. 신뢰도가 낮은 시험은 합격률의 변동에 시달리게 되는 원인 중 하나이다. 채점하는 사람마다 점수가 다르다면 누구의 순위를 따라야 할까? 또한 편파판정을 극복할 수 있을까? 김연아가 아무리 실력이 뛰어났어도 피겨여왕에 등극하게 된 결정적 계기는 채점방식의 변화였다고 한다. 2006년 이전 채점방식은 총점 6점 만점 내에서 심판이 자율적 점수를 줄 수 있었다. 2002년 판정시비 사태를 거친 후 채점 세부항목과 채점기준을 정하여 점수를 주는 방식으로 변경되었다. 채점방식의 변경이 일본이나 러시아 같은 피겨계의 텃새를 뚫고 김연아가 정당한 평가를 받아 피겨여왕으로 등극할 수 있던 실질적 배경이라고 많은 전문가들이 분석하고 있다. 즉 실기시험에서는 객관화된 채점기준이 평가(시험)의 신뢰도와 객관성이 담보하는 필수조건이다. 객관식 필기시험의 신뢰도는 문항수에 비례한다. 또한 대한의학회 고시위원회가 강조하는 객관식 문항 개발의 기본원칙도 필기시험 신뢰도와 타당도를 높이기 위한 이론적 기초에서 출발한 것이니 힘들더라도 이를 지키려고 노력하는 수 밖에 없다. 연구에 따르면 4시간 시험을 본다고 했을 때 시험의 신뢰도는 객관식 필기시험이 0.9, 구술시험이 0.45, OSCE(objective structured clinical examination) 0.8이라고 한다. 유행하는 데에는 다 이유가 있듯이 아직도 전문의고시 이외에도 많은 시험에 객관식 필기시험을 가장 많이 시행하는 데에는 이런 이유가 있는 것이다. 필기시험에서 합격률 변동을 줄이면서 신뢰도를 높이는 방법 중 다른 하나는 제대로 된 문제은행의 관리이다. 자료처리를 위해 전산화가 도움이 된다는 사실을 모르는 사람이 없고 다른 분야의 자료 및 정보의 전산관리에 획기적 발전이 이루어졌지만, 전문의고시는 1년에 한번만 그것도 지속적으로 책임자가 바뀌면서 치뤄지는 행사이기에 오랫동안 전산화가 미루어져 왔다. 내과, 소아과를 필두로 학회 자체 예산으로 문제은행 전산화가 이루어졌지만 다른 학회는 재정부담으로 확대되지 못하였는데 의학회의 재정지원으로 지난 1년간 작업을 거쳐 12개 학회에 문제은행전산시스템이 구축되었다. 12개 학회 위원과 수많은 회의를 거치고, 지루한 프로그램 버그를 잡아내는 일까지 마치고 문제은행전산시스템이 2010년 12월에 드디어 완성되었다. 전산화 추진 소위원장으로 참여한 필자나 참여 위원의 노력뿐만 아니라 이전부터 고시에 참여한 많은 분들의 오랜 숙원 사업이었기에 이제 때가 되어 꽃이 피게 된 것으로 보인다. 향후 같이 노력하여 더욱 발전시켜 탐스런 과실을 수확하길 기대해본다.