Turning My Way

이러닝이 본격화 되면서... 온라인 상에서 평가를 시행하고자 하는 요구가 늘어가고 있다.
온라인평가가 본격화되기 전에, 오프라인에서 문제를 다량으로 보유하고 있는 자격증 시행기관, 오프라인 학원, 학습지 회사, 출판사 등에서 매번 출제되는 문제들을 체계적으로 관리하기 위해 [문제은행]에 관심을 가지기 시작했다.

하지만, 문제은행을 도입하는데 봉착한 몇 가지 문제점 가운데 하나가 매킨토시의 Quark을 통해 편집되어 있는 자료들을 재가공하는데 드는 물리적 시간과 비용에 대한 문제이다.
그래서 대규모의 공공기관 및 의지가 있는 대형학원 및 출판사 중심으로 문제은행을 갖추어 나가기 시작했다.

문제은행을 기반으로 한 온라인평가 솔루션을 구성하는 요소는 크게 5가지로 구분된다.

1. 문항을 저작할 수 있는 Authoring System
2. 저작된 문항을 체계적으로 관리할 수 있는 문제은행 DB
3. 저작된 문항을 Test 및 Assessment 용도로 활용하기 위해 시험지를 구성하거나 평가로
   등록하여 응시자에게 전송하는 Delivery System ; 시험지 구성이나 평가등록은 일반적으로
   Authoring System에서 통합적으로 관리가 가능하다.
4. 등록된 평가를 권한 있는 사용자가 응시할 수 있는 서비스 기능
5. 응시된 평가에 대해 자동으로 채점하거나, 주관식 서술형, 논술형, 말하기 평가와 같이
    수동으로 채점하는 채점기능 및 통계기능

물론 그 외에도 저작된 문항 및 구성된 평가 서비스에 대한 감수를 담당하는 감수도구를 필요로 하는데, 이는 문항 및 서비스의 질관리가 필수적인 대형 및 공공기관 중심으로 채택되고 있는 모듈이다.

우리는 흔히  평가를 시험문제를 내고 문제를 푸는 단순한 프로세스 및 형식으로 인지하고 있지만 평가 시스템을 도입하는데는 상당히 치밀한 고민과 고려할 요소가 많다.

우선 평가문항 저작시에 저작하고자 하는 문항의 형식과 내용을 얼마나 쉽고 유연하게 만들어낼 수 있느냐의 문제이다. 초중고 및 대학, 성인의 평가에 있어서 문자만으로 평가가 구성되지 않는다. 때로는 그림도 필요하고 표도 만들어 넣어야 하고, 그리고 수식을 입력하거나 그래프를 그리거나 하는 등의 복잡다양한 객체들을 다룰 수 있어야 한다.

그리고 온라인 평가는 워드프로세서를 통해 오프라인 용도로 만들어 내는 문항과는 성질이 다르다. 문항에서 직접적인 상호작용이 가능해야 하며, 응시자가 출제자가 원하는 정답을 입력하거나 정답을 찾아내는 활동을 할 수 있도록 기능을 제공해야 한다.

그런데, 웹표준화 및 평가에 대한 전문 아티클을 찾아봐도 일반적인 형태의 문항 또는 Display만 되는 정도의 스펙을 권고하고 있다. 아니면, 토플이나 토익의 IBT에서 보는 것처럼 굉장히 많은 상호작용성 문항을 아예 통째로 개발해 버리는 경우도 있다.
물론 플래시나 여타의 저작도구를 가지고 문제를 만들어 낼 수 있도 평가도 구성할 수 있다. 하지만 한 문제를 만들어 내는데 있어서 문제를 만드는 저작자는 출제자가 아니라 전문 스크립터 내지는 개발자의 몫인 것이다.
마치 이러닝 콘텐츠를 만드는 것처럼 출제자는 SME가 되고, 그걸 받아서 화면설계를 하고, 개발자가 디자인 및 스크립팅을 해야 한 문제가 만들어질 수 있는 것이다.
굉장히 많은 비용과 시간, 그리고 물리적 인력 투입이 되어야 가능한 것이다.

그래서 평가시스템을 고려할 때는 출제자가 의도한 문항의 형태 및 편집의 의도에 따라 얼마나 자유도를 가지고 출제자가 저작자가 되어 작업할 수 있는 저작환경에 대해서 충분히 고려해야 한다.

그리고 나서 만들어진 문항을 얼마나 체계적으로 관리하고, 문항의 재활용성이나 사용성을 높일 수 있는 시스템인지 고려해야 한다.

그리고 온라인평가의 경우 응시자들이 웹페이지를 통해 접근하기 때문에 시스템적인 안정성 또는 대단위 시험의 실시일 경우 동시접속자를 어느정도 감당해 낼 수 있는지 고려되어야 한다. 그래서 실재적인 구축 레퍼런스 내지는 활용사례를 엄밀히 검토해 보아야 한다.

국내에서도 대한상공회의소, 한국산업인력관리공단, 국가의료고시원, 중앙인사위원회, EBSi, 한국교육학술정보원 등의 문제은행을 기반으로 한 평가서비스를 진행하고 있다.
물론 위의 자격증 관련 공공기관은 온라인 기반이라기 보다는 오프라인의 인트라넷 기반에서 CBT(Computer Based Test)를 시행하고 있지만, EBSi의 경우 수능생들에게 온라인 상으로 모의고사 서비스를 제공하고 있다.
특히 수능시험을 본 당일날 수능문제지를 온라인상에서 풀어보거나 정답을 입력해 자기 점수를 확인할 수 있도록 서비스를 제공하기 때문에 수능이 치뤄진 그 날 저녁은 전국의 수능수험생들이 사이트에 접속해 폭주하고 있다고 한다.

주저리 주저리 붓가는데로 쓰고 있는데, 한 가지 마지막으로 강조하고 싶은 것은 문제은행 기반의 온라인 평가는 그 평가의 중요성을 생각한다면 웹기반의 저작환경 및 운영환경보다는 ActivX 기반의 환경으로 진행하는 것이 바람직하지 않나 한다.

운영 및 활용의 유연성 및 다양성은 아직 갈 길이 멀기 때문이다.