시험 결과 확인도 안 돼…수험생 “이게 공정한가”

평가자 자격 불분명, 채점당 수당 지급 방식도 문제 제기

학자들 “예측력 입증 안 돼…엄밀한 연구 부족”

캐나다 의대 입시에 활용되고 있는 온라인 시험 ‘캐스퍼(Casper)’를 둘러싼 논란이 커지고 있다. 

시험 성적이 입시 평가의 최대 30%까지 반영되지만, 정작 수험생에게는 점수도, 채점 기준도 공개되지 않아 신뢰성을 둘러싼 논의가 본격화되고 있다.

캐스퍼는 원래 맥마스터대학교에서 공감 능력, 윤리적 판단 등 비인지 역량을 측정하기 위해 개발된 평가 도구다. 현재는 민간기업 어큐이티 인사이트가 운영을 맡고 있으며, 캐나다 17개 의대 중 12곳이 해당 시험을 입시에 활용하고 있다. 최근에는 간호학과, 치의학과, 교육학과 등으로 사용처가 확대되는 추세다.

시험은 컴퓨터 화면에 제시된 상황극(시나리오)을 보고 수험생이 도덕적 판단을 내린 뒤, 그 이유를 영상 또는 글로 설명하는 방식이다. 그러나 응시자에게는 점수가 전혀 공개되지 않으며, 결과는 단순히 상·중·하 4단계 중 하나로만 통보된다. 평가 기준은 물론, 누구에게 채점받았는지도 알 수 없다.

어큐이티는 캐스퍼가 단순 성적 중심 입시보다 인종 편향이 적고, 의료인의 실제 직업 역량을 더 잘 예측할 수 있다고 주장한다. 그러나 이 주장의 근거로 제시된 자료 대부분은 소규모 연구, 학생 논문, 학회 발표문으로 구성돼 있어 학술적 신뢰도가 낮다는 지적이 제기된다.

싱가포르 리콩치안 의과대학의 제니퍼 클리랜드 교수는 “연구 대상이 31명에 불과한 자료로 캐스퍼 점수와 전문성 문제를 연결 짓기엔 근거가 부족하다”며 “거의 모든 자료가 학술지 심사를 거치지 않았다”고 비판했다.  

맥마스터대학교 가정의학과의 로렌스 그리어슨 교수 역시 두 편의 장기 연구 결과에서 “캐스퍼 점수와 의료 전문직 역량, 국가시험 성과 사이에 뚜렷한 관련이 없었다”고 밝혔다.

채점 방식도 논란이다. 어큐이티는 채점자 모집 공지에서 “학력이나 경력 조건은 없다”며 “다양한 배경의 사람을 환영한다”고 명시했다. 실제로 채점 수당은 글 응답 1개당 0.65달러, 영상 응답은 1달러 수준으로, 채점 품질과 일관성에 대한 우려가 나온다.

응시 비용도 만만치 않다. 기본 응시료는 50달러이며, 각 의대에 성적을 전송할 때마다 18달러씩 추가 요금이 부과된다. 일부 수험생은 4~5차례 시험을 본 끝에 의대에 진학한 경우도 있다.

입시 반영 비율은 높지만, 시험 결과는 불투명하고 운영은 민간 기업이 맡고 있다. 공공성이 요구되는 입시 제도에 적합한 평가 도구인지에 대한 물음표가 커지고 있다. 시험의 확산 속도보다 신뢰성을 확보하려는 논의가 더 시급하다는 지적이 나온다.