[제8장]독학학위시험 어떻게 출제되는가?

독학학위검정원 교육연구사 유 인 식


<들어가는 말>

독학으로 공부를 하고, 시험만으로 학위를 취득한다는 것은 실로 어려운 과정이다. 혹자는 4년을 걸려
학사학위를 취득하는 것에 비하면 얼마나 쉬운 것인가를 강변하기도 하지만, 대학 과정의 전문 내용을
소화해 내고, 이를 시험으로 확인받아 통과하기란 결코 쉽지 않다.

일반 대학의 경우엔, 별 탈 없이 잘 출석하기만 해도 이수를 인정하고 학위를 수여하는 것이 관행이다.
그러나, 독학시험의 한 과목을 합격하기 위해서는 특정 교재도, 도움도 없이 학습해야 하며, 평가 영역으로
고시된 해당 과목의 전과정을 학습해야 한다. 또한 출제자가 어떤 학문적 취향을 갖고 출제하는지, 문제의
유형은 어떠한지, 난이도는 어느 정도인지, 그 경향을 알 수 없는 상태에서 시험지를 받아 든 수험생은
더더욱 당혹감을 느낄 수밖에 없을 것이다.

본 글에서는 수험생의 고충을 조금이라도 덜어 주고, 많은 도전자들이 합격의 열매를 따 갈 수 있도록 하기
위하여 출제 관리의 전 과정을 안내하고자 한다.


<출제 과정 개요>

독학시험의 출제 관리는 다음과 같은 과정을 거친다.

1.문항 개발 → 2.문제은행 구축 → 3.선제검토 → 4.채택편집 → 5.시험실시

→ 6.정답 확인 및 채점 → 7.합격 사정 및 발표 → 8.문항 분석


1. 먼저, 시험에 출제할 문항들을 전국의 관련 전공교수님들에게 의뢰하여 개발한다.
2. 접수된 개발 문항들은 문제 은행에 저장된다. 이 문제 은행에는 기 출제 문항, 개발되었으나 아직
사용되지 아니한 보유 문항, 그리고 새롭게 개발된 문항들이 담기게 된다.
3. 과목별 한 분의 전공교수가 참여하여 집중적으로 문항을 검토한 후, 과목별 40.50개 정도의 문항들이
선제된다.
4. 선제검토 결과로 추출된 문항들은 비공개 합숙 편집본부에서 다시 한 번 검토된다. 이 과정에서 과목별로
정해진 문항 수만큼 출제 문항이 채택되어 시험지로 편집된다.
5. 시험지 인쇄 이후, 출제 문항의 오류를 재검토하여 오류 발견 시 각 시험장으로 정정 사항을 통보한다.
6. 객관식 채점은 컴퓨터 OMR카드 리딩으로, 주관식 채점은 과목별 두 분의 채점교수가 1,2차 채점을 한
평균점수 일로 산출한다.
7. 주.객관식 채점 결과를 합산하여 합격 여부를 가려 발표한다.
8. 마지막으로, 기출 문항에 대하여 과목별 난이도, 변별도, 정답률 등을 분석하고, 추후 개선 자료로
활용한다.


<문항 개발>

문항 개발은 시험의 질과 난이도 등 출제 문항의 타당도를 높이는 가장 중요한 과정이다.
한국방송통신대학교로 독학제도 운영 업무가 이관된 이래, 본교 교수들이 출제 과정에 다수 참여하고는
있지만, 가장 적절한 문항 개발자를 찾는 노력은 전국을 대상으로 이루어진다.
문제은행에 이미 상당량의 문항이 저장되어 있기는 하지만, 법령이 개정되고, 학문의 경향.내용.학설이
달라지고 있기 때문에 출제 예정 문항의 3배수 정도를 매년 새롭게 개발하여 보충한다. 따라서, 문제은행은
[신규 개발문항 + 기 출제 문항 + 사용되지 아니한 기 보유 문항]으로 구성된다. 단, 폐지 예정인 농학, 수학,
중어중문학 분야는 새로운 문항 개발을 중단하고, 기출 문제와 기 보유 문항을 활용하고 있다.

문항 개발 교수들에게는 다음과 같이 수험생에 이미 공고된 평가 영역 및 난이도 기준, 출제 방향 등
개발 참고 자료가 통보된다. 아울러, 출제 참고용으로 방송대학교 관련 교재가 동봉된다.

- 평가 영역 및 난이도 수준 -
수험생에 미리 공고된 과목별 평가 영역 내용을 기초로 하여(참고로 2003년부터 새로이 적용되는
평가 영역은 많은 부분 방송통신대학교 교재를 기준으로 하고 있다.) 1단계(교양과정인정시험)는
대학의 교양과정을 이수한 사람이 일반적으로 갖추어야 할 학력 수준을, 2단계(전공기초과정인정시험)는
각 전공영역의 학문 연구를 위하여 각 학문계열에서 공통적으로 필요한 지식과 기술을, 3단계(전공심화과정
인정시험)는 각 전공영역에 관하여 보다 심화된 전문적 지식과 기술을, 4단계(학위취득종합시험)는 시험의
최종단계로 학위를 취득한 사람이 일반적으로 갖추어야 할 소양과 전문지식 및 기술을 종합적으로 평가하는
수준으로 한다.

예상득점률이 평균 60% 이상이 되도록, 일반 대학(교)에서 동일 과목을 수강하여 최저인정 성적(D학점)을
받은 학생이면 100점 만점에서 60점 이상을 득점할 수 있도록, 선택과목의 경우에는 타 과목에 비하여
합격률이 지나치게 높거나 낮은 과목이 없이 균형이 유지되도록 한다.

- 출제 방향 -
1단계(교양과정인정시험)
* 한국방송통신대학교에서 고시한 과목별 평가영역에 준거하여 출제하되 특정한 영역이나 분야가
지나치게 중시되거나 경시되지 않도록 한다.
* 대학 교양교재에서 공통적으로 다루고 있는 기본적이고 핵심적인 내용을 출제하되, 교양과정 범위를
넘는 전문적이거나 지엽적인 내용의 출제는 지양한다.
* 독학자들의 취업 비율이 높은 점을 감안하여, 과목의 특성상 가능한 경우에는 학문적이고 이론적인
문항뿐만 아니라 실무적인 문항도 출제한다.
* 단편적 지식의 암기로 풀 수 있는 문항의 출제는 지양하고, 이해력, 적용력, 분석력 등 폭 넓고
고차원적인 능력을 측정하는 문항을 위주로 한다.
* 이설(異說)이 많은 내용의 출제는 지양하고 보편적이고 정설화된 내용에 근거하여 출제하며,
그럴 수 없는 경우에는 해당 학자의 성명이나 학파를 명시한다.
* 객관식 문항은 4지택1형으로 하며, 주관식 문항은 과목 또는 출제 내용의 특성상 부득이 한 경우를
제외하고는 완성형이나 단구적 단답형보다 주부술부를 갖춘 문장 형태의 30자 내외의 서술적 단답형이
되도록 한다.
* 특정 문제집이나 특정 대학교재의 예제나 연습문제 또는 예상문제를 그대로 출제하는 사례가
없도록 한다.
* 문항당 답안작성 소요시간은 선택형은 1분(일반수학, 초급통계학은 1.5분), 서술적 단답형은 2.5분
(일반수학, 초급통계학은 4분) 정도가 되도록 한다.
전공과정인정시험(2.4단계)
* 한국방송통신대학교에서 고시한 각 과목 평가영역에서 출제하되, 특정한 영역에 지나치게 중시되거나
경시되지 않도록 한다.
* 전공기초과정인정시험은 각 전공영역의 학문을 연구하기 위하여 각 학문계열에서 공통적으로
필요한 지식과 기술을 평가한다.
* 전공심화과정인정시험은 각 전공영역에 관하여 보다 심화된 전문적인 지식과 기술을 평가한다.
* 학위취득종합시험은 시험의 최종 단계로서 학위를 취득한 자가 일반적으로 갖추어야 할 소양 및
전문지식과 기술을 종합적으로 평가한다.
* 객관식 문항은 4지택1형으로 하고, 주관식 문항은 전공기초과정인정시험에서는 30자 내외의
서술적 단답형, 전공심화과정인정시험에서는 80자 내외의 응답제한 논문형, 학위취득종합시험에서는
서론, 본론, 결론 등의 형식적 구분이 없는 응답제한 논문형으로서 답안의 내용을 120자 정도로 요약할
수 있는 문항으로 하되, 과목의 특성상 부득이한 경우에는 다소 융통성 있게 출제한다.

수험생에게 공고된 위와 같은 문항 출제의 기준은 이후 선제 검토 및 채택 편집의 전 과정에서 계속 고려된다.
문항 개발 교수들에게 위의 내용을 통보하였다 할지라도 실제 개발된 문항들이 위의 요건들을 충족시키지
못하는 경우가 적지 않기 때문이다.


<선제 검토 >

문제은행에 저장되어 있는 개별 문항들에 대하여 사전 검토 작업이 진행된다. 평가 영역 범위 내의 문항인지,
이중답이거나 정답에 오류가 없는지, 문항별 예상정답률은 적정하게 표시되었는지, 오탈자는 없는지,
보편화된 정설에 근거하고 있는지, 학설이나 학문 경향의 변천이 반영되었는지, 법령 개정 사항이 반영
되었는지, 문항당 응답 소요 시간은 적절한지, 문항의 형식적 표현이 적합한지 등이 주요한 검토 대상이다.
특히, 기간을 설정하여, 해당 과목 교수들이 비공개 장소에 모여 집중적으로 선제검토 작업을 한다.
선제검토 교수는 문항 개발에 참여하지 아니한 제3자로 위촉한다. 이는 객관적으로 문항 타당성을 검증하기
위함이다. 선제검토 교수들에게도 수험생에게 미리 고지한 평가 영역 및 난이도, 출제 방향을 안내하여
선제 문항들이 이에 맞추어지도록 요구한다.

이 과정에서는 문제은행에 저장된 문항들 중에서 우선 출제 예정 문항보다 20.30% 많은 40.50 문항을
선제한다. 일반적으로 선제 문항의 대부분은 신규 개발된 문항에서 선제되는 경우가 많다. 왜냐하면, 신규
문항은 최근의 학문 경향을 반영하고 있는 반면, 기 보유 문항은 전년도에 선제되지 아니한,
대체로 불량한(?) 문항인 경우가 많기 때문이다.

선제된 문항에 대하여 위에 열거한 사항들을 기준으로 개별 문항들에 대한 집중 검토를 하면서, 필요 시
문항 내용을 수정하기도 한다. 마지막으로 선제 결과 문항들을 분석하여, 전체적인 예상정답률(난이도)이
60% 이상인지, 평가 영역별로 문항이 고르게 분포되었는지, 주관식 문항의 출제의도가 분명하게 전달되어
오해의 소지가 없는지 등을 확인한다.


<채택 편집>

시험일이 임박하면, 채택 편집을 위한 비공개 합숙 작업이 진행된다. 분야별(과목별) 본원 소속 연구사 및
박사 과정 이상 학력 소지자, 표준어 및 맞춤법 교정을 위한 어학 전문가 등이 주축이 된 채택편집 본부에서는
분야별, 과목별 최종 문항을 채택하고, 채택된 문항들을 국가고시 수준에 걸맞게 교시별 시험지 편집 작업을
한다.

이 과정에서는 우선, 선제결과문항들 중에서 아래와 같이 최종 문항을 채택한다. 문항별 출제 근거 도서를
참고로 문항의 오류 여부를 확인하고, 의심이 있을 시에는 관련 교수와 협의하여 내용을 수정하기도 한다.
또한, 어학 전문가들의 조언을 받아, 수험생들이 간명하게 문제를 읽고 답을 찾을 수 있도록 윤문 작업을
한다.

그밖에도, 문항개발 교수나 선제검토 교수가 간과한 여러 가지 출제 기준.방향에의 적합성 여부를
재검증한다. 주관식 문항의 답지는 30.120자로 구성됨이 원칙이지만, 신속.간명한 채점 배려, 개발 및
선제된 문항의 한계 때문에 단답형으로 되는 경우가 있을 수 있다. 이어서, 채택된 문항들을 가지고
교시별로 시험지를 편집한다. 이 때, 정답을 논리순, 길이순 등으로 재배열하고, 문항의 배열 순서를 정한다.
아울러, ①,②,③,④ 답지별 정답 분포가 균등한지, 지나치게 연속되어 있는지 등을 확인한다.

마지막으로, 수험생의 입장에서 문제를 풀어 보고 쟁점의 소지가 없는지 확인한다.
인쇄 원안을 인쇄 본부에 넘기고 다시 시쇄본을 받아, 시험당일 전까지 최종검토를 한다. 오류가 발견되면,
각 시험장으로 정정 사항을 통보하고, 시험당일에는 상황실에서 수험생의 문의에 답할 준비를 한다.

-분야별, 과목별 채택 문항수-

구분
객관식
주관식

1,2단계 시험
(교양과정인정시험,
전공기초과정인정시험)
수학제외 전분야
26문제
7문제

수학분야
16문제
6문제

3, 4단계
(전공심화과정인정시험,
학위취득종합시험)
수학제외 전분야
24문제
4문제

수학분야
15문제
5문제


*표의 수학분야에는 1단계 개설과목 중 일반수학, 초등통계학과 2단계 경영학분야의 계량경영학.
컴퓨터과학분야의 이산수학 등의 시험과목이 포함됨.


<정답 확인 및 채점>

과목별 2명의 채점 교수들을 소집하여 채점 본부를 개설한다. 채점 교수들은 우선 객관식 정답의 오류
여부를 확인한다. 특히, 가채점을 하여 얻은 답지 반응 분석 결과, 오답에 수험생의 반응률이 높은 문항에
대하여는 심도 있게 확인한다.

주관식 채점을 위하여 부분 점수 등 채점의 기준을 협의하여 작성한다. 이어, 수험생의 인적 사항이
보이지 않도록 편철된 답안지의 주관식 채점란에 1,2차에 걸쳐 각기 점수를 부여한다.
주관식 점수는 1,2차 점수의 평균점으로 산출된다.

이후, 응시자의 과목별 점수를 합산.산출하여 합격사정을 한다. 특히, 근소한 점수차로 불합격 처리된
과목별 59.5점(60점이 과목 합격점), 총점 358.9점(최종 총점 360점이 합격점)인 응시자들에 대하여는
수작업으로 개별 채점 착오 여부를 확인하기도 한다.


<문항 분석>

시험이 종료된 후, 분야별, 과목별로 난이도, 과목별 합격률, 오답지 매력도, 변별도, 정답률 등에 대한
문항 분석을 한다. 분석 결과는 다음 해, 문항 개발 교수, 검토 교수 등 출제 참여자에게 제공되어
출제 문항의 품질을 제고하는 데에 활용된다.


<마치면서>

독학학위검정원 출제관리팀은 수험생들이 보다 수월하게 독학시험에 접근할 수 있도록 꾸준히 노력해 왔다.
그럼에도 불구하고, 많은 독학자들이 여러 가지 어려움을 호소하고 있는 실정이다.
내부적으로 이를 해결하기 위한 여러 가지 논의가 진행되고 있다. 가능한 범위에서 학습 교재를 선정·
권장하고, 그 범위 내에서 문제가 출제되도록 하여 출제의 예측가능성을 높이는 방안, 선택 과목별 난이도의
불균형을 조절하기 위하여 표준점수제를 도입하는 방안, 시험의 공정성과 투명성을 담보하기 위하여 문제를
공개하는 방안, 수험생의 이의 신청을 합리적으로 받아들일 수 있는 절차 마련 등이 그 예이다.

아직까지는 여러 가지 여건 미비로 말미암아, 뚜렷한 개선책을 찾지 못하고 있지만,
독학자들의 편의를 위하여 앞으로도 끊임없이 노력할 것이다. 본 글이 조금이라도 출제 과정을
이해하는 데에 도움이 되었기를 바라면서 이 글을 마친다



출처: Daum cafe - 학점은행제를 준비하는 모임.