Turning My Way

이러닝이 본격화 되면서... 온라인 상에서 평가를 시행하고자 하는 요구가 늘어가고 있다.
온라인평가가 본격화되기 전에, 오프라인에서 문제를 다량으로 보유하고 있는 자격증 시행기관, 오프라인 학원, 학습지 회사, 출판사 등에서 매번 출제되는 문제들을 체계적으로 관리하기 위해 [문제은행]에 관심을 가지기 시작했다.

하지만, 문제은행을 도입하는데 봉착한 몇 가지 문제점 가운데 하나가 매킨토시의 Quark을 통해 편집되어 있는 자료들을 재가공하는데 드는 물리적 시간과 비용에 대한 문제이다.
그래서 대규모의 공공기관 및 의지가 있는 대형학원 및 출판사 중심으로 문제은행을 갖추어 나가기 시작했다.

문제은행을 기반으로 한 온라인평가 솔루션을 구성하는 요소는 크게 5가지로 구분된다.

1. 문항을 저작할 수 있는 Authoring System
2. 저작된 문항을 체계적으로 관리할 수 있는 문제은행 DB
3. 저작된 문항을 Test 및 Assessment 용도로 활용하기 위해 시험지를 구성하거나 평가로
   등록하여 응시자에게 전송하는 Delivery System ; 시험지 구성이나 평가등록은 일반적으로
   Authoring System에서 통합적으로 관리가 가능하다.
4. 등록된 평가를 권한 있는 사용자가 응시할 수 있는 서비스 기능
5. 응시된 평가에 대해 자동으로 채점하거나, 주관식 서술형, 논술형, 말하기 평가와 같이
    수동으로 채점하는 채점기능 및 통계기능

물론 그 외에도 저작된 문항 및 구성된 평가 서비스에 대한 감수를 담당하는 감수도구를 필요로 하는데, 이는 문항 및 서비스의 질관리가 필수적인 대형 및 공공기관 중심으로 채택되고 있는 모듈이다.

우리는 흔히  평가를 시험문제를 내고 문제를 푸는 단순한 프로세스 및 형식으로 인지하고 있지만 평가 시스템을 도입하는데는 상당히 치밀한 고민과 고려할 요소가 많다.

우선 평가문항 저작시에 저작하고자 하는 문항의 형식과 내용을 얼마나 쉽고 유연하게 만들어낼 수 있느냐의 문제이다. 초중고 및 대학, 성인의 평가에 있어서 문자만으로 평가가 구성되지 않는다. 때로는 그림도 필요하고 표도 만들어 넣어야 하고, 그리고 수식을 입력하거나 그래프를 그리거나 하는 등의 복잡다양한 객체들을 다룰 수 있어야 한다.

그리고 온라인 평가는 워드프로세서를 통해 오프라인 용도로 만들어 내는 문항과는 성질이 다르다. 문항에서 직접적인 상호작용이 가능해야 하며, 응시자가 출제자가 원하는 정답을 입력하거나 정답을 찾아내는 활동을 할 수 있도록 기능을 제공해야 한다.

그런데, 웹표준화 및 평가에 대한 전문 아티클을 찾아봐도 일반적인 형태의 문항 또는 Display만 되는 정도의 스펙을 권고하고 있다. 아니면, 토플이나 토익의 IBT에서 보는 것처럼 굉장히 많은 상호작용성 문항을 아예 통째로 개발해 버리는 경우도 있다.
물론 플래시나 여타의 저작도구를 가지고 문제를 만들어 낼 수 있도 평가도 구성할 수 있다. 하지만 한 문제를 만들어 내는데 있어서 문제를 만드는 저작자는 출제자가 아니라 전문 스크립터 내지는 개발자의 몫인 것이다.
마치 이러닝 콘텐츠를 만드는 것처럼 출제자는 SME가 되고, 그걸 받아서 화면설계를 하고, 개발자가 디자인 및 스크립팅을 해야 한 문제가 만들어질 수 있는 것이다.
굉장히 많은 비용과 시간, 그리고 물리적 인력 투입이 되어야 가능한 것이다.

그래서 평가시스템을 고려할 때는 출제자가 의도한 문항의 형태 및 편집의 의도에 따라 얼마나 자유도를 가지고 출제자가 저작자가 되어 작업할 수 있는 저작환경에 대해서 충분히 고려해야 한다.

그리고 나서 만들어진 문항을 얼마나 체계적으로 관리하고, 문항의 재활용성이나 사용성을 높일 수 있는 시스템인지 고려해야 한다.

그리고 온라인평가의 경우 응시자들이 웹페이지를 통해 접근하기 때문에 시스템적인 안정성 또는 대단위 시험의 실시일 경우 동시접속자를 어느정도 감당해 낼 수 있는지 고려되어야 한다. 그래서 실재적인 구축 레퍼런스 내지는 활용사례를 엄밀히 검토해 보아야 한다.

국내에서도 대한상공회의소, 한국산업인력관리공단, 국가의료고시원, 중앙인사위원회, EBSi, 한국교육학술정보원 등의 문제은행을 기반으로 한 평가서비스를 진행하고 있다.
물론 위의 자격증 관련 공공기관은 온라인 기반이라기 보다는 오프라인의 인트라넷 기반에서 CBT(Computer Based Test)를 시행하고 있지만, EBSi의 경우 수능생들에게 온라인 상으로 모의고사 서비스를 제공하고 있다.
특히 수능시험을 본 당일날 수능문제지를 온라인상에서 풀어보거나 정답을 입력해 자기 점수를 확인할 수 있도록 서비스를 제공하기 때문에 수능이 치뤄진 그 날 저녁은 전국의 수능수험생들이 사이트에 접속해 폭주하고 있다고 한다.

주저리 주저리 붓가는데로 쓰고 있는데, 한 가지 마지막으로 강조하고 싶은 것은 문제은행 기반의 온라인 평가는 그 평가의 중요성을 생각한다면 웹기반의 저작환경 및 운영환경보다는 ActivX 기반의 환경으로 진행하는 것이 바람직하지 않나 한다.

운영 및 활용의 유연성 및 다양성은 아직 갈 길이 멀기 때문이다.

한국은 IT강국이다. 하지만 아이러니하게도 IT관련 학과는 연간 5%씩 줄고있다.^^;;;
한국이 IT강국이라는 미명하에 대한민국 이러닝은 급속히 저변이 확대되고 있다.
유아에서 성인교육까지 이러닝 서비스를 통한 비즈니스를 전개하고 있는 곳이 갈수록 많아진다.
유아에서 지니키즈, K12에서 메가스터디, 성인교육에서 크레듀 등이 대표적인데, 그 외에 수 많은 기업이나 기관들이 너도나도 이러닝체제를 구축하기 위해 컬설팅도 받고, 업체의 제안을 받기도 한다.

이러닝 하면... LMS/LCMS를 제일 먼저 떠올린다.
시스템이 구축되고 나면, 그 때서야 콘텐츠를 고민한다. 그리고 막대한 비용에 눈 앞이 깜깜해지고, 예산을 확보하기 위해 진땀을 흘린다. 그래서 한 때 유행한 것이 콘텐츠 신디케이션 사업이리라...
나는 시스템만 가지고 있으면 여기저기서 서비스할 수 있는 콘텐츠를 모아다가 우리 것인양 서비스한다. 하지만 경쟁력은 없다. 다른 데서도 흔히 볼 수 있는 콘텐츠니까...
그래서 자체적으로 과정을 기획하고 개발하는데, 연간 몇 개 과정을 만들지 못한다. 비용과 인력의 문제때문이리라..

이러닝을 위한 시스템과 콘텐츠가 준비되면, 그 다음의 요구사항은 수많은 복잡다양한 것들이 있겠지만, 문제은행 기반의 평가시스템에 대한 요구가 발생한다.

그래서 돈을 들여 입맛에 맞는 평가시스템을 구축하고 서비스하고자 한다.
그런데 여기서도 난제에 부딪힌다. 평가는 진단과 측정을 통해 학습자 수준을 파악하고, 학습자 능력을 개량화하는데 그 본질적 목적이 있다. 시스템이 있다고 이러한 목적을 달성할 수 있는 것이 아니다. 문항 콘텐츠가 있어야 하고자 하는 평가 서비스를 할 수 있는 것이다.

그런데 대부분의 기업이나 기관들이 문항 콘텐츠를 우습게 본다. 많은 출판사나 학습지 회사들의 모습을 봐도 가관이다. 오프라인 기반의 문항이 수십만, 수백만이 있다고 하는데, 이 것을 해당 평가시스템에 맞게 디지털화하는 작업이 만만치 않음을 인식하지 못하고 시작한다.

보통 문항 콘텐츠 하나를 만드는데, 싸게는 3~5천원, 질 높은 문항은 2,3만원도 책정이 된다. 평균잡아 1만원만 하더라도, 1천문제면 1천만원의 예산이 필요하다. 그런데, 1천문제면 많아 보일지 모르지만, 초등1에서 고3까지 12개 학년으로 나눠보고, 다시 국.영,수,사,과 등의 과목, 그 밑의 단원별로 나눠보면 평가의 변별도를 높이기에는 턱도 없는 수준의 문항수임을 쉽게 간파할 수 있다.

그래서 제대로 변별도 높은 평가를 시행하기 위해 몇 십만 문항을 구축한다는 것은 가히 천문학적인 자금이 필요한 것이다.

그런데 여기서 k12를 대상으로 하는 공공기관 간의 비용적 낭비도 수시로 발생하고 있다. 에듀넷 서비스를 하는 한국교육학술정보원, 교수학습센터를 운영하는 한국교육과정평가원, 수능서비스를 하는 EBSi 등은 중복된 대상을 상대로 이러닝 학습 및 문항 콘텐츠를 제공하는 기관이다. 서로 상호 간에 문항을 공유하고 유통시키면, 문항출제의 비용부담을 n분의 1로 나눠서 효율적인 구축 운영을 할 수 있을 것이다.

하지만 이게 말로는 쉬운데, 어려운 문제가 있다.
개별 기관의 평가시스템은 분류체계, 메타데이터의 개별적 지정 뿐만 아니라 문항 데이터가 가지는 형식에 있어서도 구축업체의 포맷을 따름으로 상호간에 변환하여 사용할 수 없도록 되어 있다.
이런 문제를 야기한 것은 국가적인 문항데이터의 메타데이터, 분류체계, 문항형식 및 구조에 대한 표준화 규격체계를 가지고 있지 못하기 때문이다.

학습의 시작과 마침을 정리할 수 있는 것이 진단과 평가인데, 이러한 평가를 구성하는 문항콘텐츠의 지적자산에 대한 가치를 인정하고, 최소한 공교육 안에서라도 표준화 포맷을 통해 쉽게 공유되고 유통될 수 있는 길이 열리길 기대해 본다.