Turning My Way

이러닝이 본격화 되면서... 온라인 상에서 평가를 시행하고자 하는 요구가 늘어가고 있다.
온라인평가가 본격화되기 전에, 오프라인에서 문제를 다량으로 보유하고 있는 자격증 시행기관, 오프라인 학원, 학습지 회사, 출판사 등에서 매번 출제되는 문제들을 체계적으로 관리하기 위해 [문제은행]에 관심을 가지기 시작했다.

하지만, 문제은행을 도입하는데 봉착한 몇 가지 문제점 가운데 하나가 매킨토시의 Quark을 통해 편집되어 있는 자료들을 재가공하는데 드는 물리적 시간과 비용에 대한 문제이다.
그래서 대규모의 공공기관 및 의지가 있는 대형학원 및 출판사 중심으로 문제은행을 갖추어 나가기 시작했다.

문제은행을 기반으로 한 온라인평가 솔루션을 구성하는 요소는 크게 5가지로 구분된다.

1. 문항을 저작할 수 있는 Authoring System
2. 저작된 문항을 체계적으로 관리할 수 있는 문제은행 DB
3. 저작된 문항을 Test 및 Assessment 용도로 활용하기 위해 시험지를 구성하거나 평가로
   등록하여 응시자에게 전송하는 Delivery System ; 시험지 구성이나 평가등록은 일반적으로
   Authoring System에서 통합적으로 관리가 가능하다.
4. 등록된 평가를 권한 있는 사용자가 응시할 수 있는 서비스 기능
5. 응시된 평가에 대해 자동으로 채점하거나, 주관식 서술형, 논술형, 말하기 평가와 같이
    수동으로 채점하는 채점기능 및 통계기능

물론 그 외에도 저작된 문항 및 구성된 평가 서비스에 대한 감수를 담당하는 감수도구를 필요로 하는데, 이는 문항 및 서비스의 질관리가 필수적인 대형 및 공공기관 중심으로 채택되고 있는 모듈이다.

우리는 흔히  평가를 시험문제를 내고 문제를 푸는 단순한 프로세스 및 형식으로 인지하고 있지만 평가 시스템을 도입하는데는 상당히 치밀한 고민과 고려할 요소가 많다.

우선 평가문항 저작시에 저작하고자 하는 문항의 형식과 내용을 얼마나 쉽고 유연하게 만들어낼 수 있느냐의 문제이다. 초중고 및 대학, 성인의 평가에 있어서 문자만으로 평가가 구성되지 않는다. 때로는 그림도 필요하고 표도 만들어 넣어야 하고, 그리고 수식을 입력하거나 그래프를 그리거나 하는 등의 복잡다양한 객체들을 다룰 수 있어야 한다.

그리고 온라인 평가는 워드프로세서를 통해 오프라인 용도로 만들어 내는 문항과는 성질이 다르다. 문항에서 직접적인 상호작용이 가능해야 하며, 응시자가 출제자가 원하는 정답을 입력하거나 정답을 찾아내는 활동을 할 수 있도록 기능을 제공해야 한다.

그런데, 웹표준화 및 평가에 대한 전문 아티클을 찾아봐도 일반적인 형태의 문항 또는 Display만 되는 정도의 스펙을 권고하고 있다. 아니면, 토플이나 토익의 IBT에서 보는 것처럼 굉장히 많은 상호작용성 문항을 아예 통째로 개발해 버리는 경우도 있다.
물론 플래시나 여타의 저작도구를 가지고 문제를 만들어 낼 수 있도 평가도 구성할 수 있다. 하지만 한 문제를 만들어 내는데 있어서 문제를 만드는 저작자는 출제자가 아니라 전문 스크립터 내지는 개발자의 몫인 것이다.
마치 이러닝 콘텐츠를 만드는 것처럼 출제자는 SME가 되고, 그걸 받아서 화면설계를 하고, 개발자가 디자인 및 스크립팅을 해야 한 문제가 만들어질 수 있는 것이다.
굉장히 많은 비용과 시간, 그리고 물리적 인력 투입이 되어야 가능한 것이다.

그래서 평가시스템을 고려할 때는 출제자가 의도한 문항의 형태 및 편집의 의도에 따라 얼마나 자유도를 가지고 출제자가 저작자가 되어 작업할 수 있는 저작환경에 대해서 충분히 고려해야 한다.

그리고 나서 만들어진 문항을 얼마나 체계적으로 관리하고, 문항의 재활용성이나 사용성을 높일 수 있는 시스템인지 고려해야 한다.

그리고 온라인평가의 경우 응시자들이 웹페이지를 통해 접근하기 때문에 시스템적인 안정성 또는 대단위 시험의 실시일 경우 동시접속자를 어느정도 감당해 낼 수 있는지 고려되어야 한다. 그래서 실재적인 구축 레퍼런스 내지는 활용사례를 엄밀히 검토해 보아야 한다.

국내에서도 대한상공회의소, 한국산업인력관리공단, 국가의료고시원, 중앙인사위원회, EBSi, 한국교육학술정보원 등의 문제은행을 기반으로 한 평가서비스를 진행하고 있다.
물론 위의 자격증 관련 공공기관은 온라인 기반이라기 보다는 오프라인의 인트라넷 기반에서 CBT(Computer Based Test)를 시행하고 있지만, EBSi의 경우 수능생들에게 온라인 상으로 모의고사 서비스를 제공하고 있다.
특히 수능시험을 본 당일날 수능문제지를 온라인상에서 풀어보거나 정답을 입력해 자기 점수를 확인할 수 있도록 서비스를 제공하기 때문에 수능이 치뤄진 그 날 저녁은 전국의 수능수험생들이 사이트에 접속해 폭주하고 있다고 한다.

주저리 주저리 붓가는데로 쓰고 있는데, 한 가지 마지막으로 강조하고 싶은 것은 문제은행 기반의 온라인 평가는 그 평가의 중요성을 생각한다면 웹기반의 저작환경 및 운영환경보다는 ActivX 기반의 환경으로 진행하는 것이 바람직하지 않나 한다.

운영 및 활용의 유연성 및 다양성은 아직 갈 길이 멀기 때문이다.

한국은 IT강국이다. 하지만 아이러니하게도 IT관련 학과는 연간 5%씩 줄고있다.^^;;;
한국이 IT강국이라는 미명하에 대한민국 이러닝은 급속히 저변이 확대되고 있다.
유아에서 성인교육까지 이러닝 서비스를 통한 비즈니스를 전개하고 있는 곳이 갈수록 많아진다.
유아에서 지니키즈, K12에서 메가스터디, 성인교육에서 크레듀 등이 대표적인데, 그 외에 수 많은 기업이나 기관들이 너도나도 이러닝체제를 구축하기 위해 컬설팅도 받고, 업체의 제안을 받기도 한다.

이러닝 하면... LMS/LCMS를 제일 먼저 떠올린다.
시스템이 구축되고 나면, 그 때서야 콘텐츠를 고민한다. 그리고 막대한 비용에 눈 앞이 깜깜해지고, 예산을 확보하기 위해 진땀을 흘린다. 그래서 한 때 유행한 것이 콘텐츠 신디케이션 사업이리라...
나는 시스템만 가지고 있으면 여기저기서 서비스할 수 있는 콘텐츠를 모아다가 우리 것인양 서비스한다. 하지만 경쟁력은 없다. 다른 데서도 흔히 볼 수 있는 콘텐츠니까...
그래서 자체적으로 과정을 기획하고 개발하는데, 연간 몇 개 과정을 만들지 못한다. 비용과 인력의 문제때문이리라..

이러닝을 위한 시스템과 콘텐츠가 준비되면, 그 다음의 요구사항은 수많은 복잡다양한 것들이 있겠지만, 문제은행 기반의 평가시스템에 대한 요구가 발생한다.

그래서 돈을 들여 입맛에 맞는 평가시스템을 구축하고 서비스하고자 한다.
그런데 여기서도 난제에 부딪힌다. 평가는 진단과 측정을 통해 학습자 수준을 파악하고, 학습자 능력을 개량화하는데 그 본질적 목적이 있다. 시스템이 있다고 이러한 목적을 달성할 수 있는 것이 아니다. 문항 콘텐츠가 있어야 하고자 하는 평가 서비스를 할 수 있는 것이다.

그런데 대부분의 기업이나 기관들이 문항 콘텐츠를 우습게 본다. 많은 출판사나 학습지 회사들의 모습을 봐도 가관이다. 오프라인 기반의 문항이 수십만, 수백만이 있다고 하는데, 이 것을 해당 평가시스템에 맞게 디지털화하는 작업이 만만치 않음을 인식하지 못하고 시작한다.

보통 문항 콘텐츠 하나를 만드는데, 싸게는 3~5천원, 질 높은 문항은 2,3만원도 책정이 된다. 평균잡아 1만원만 하더라도, 1천문제면 1천만원의 예산이 필요하다. 그런데, 1천문제면 많아 보일지 모르지만, 초등1에서 고3까지 12개 학년으로 나눠보고, 다시 국.영,수,사,과 등의 과목, 그 밑의 단원별로 나눠보면 평가의 변별도를 높이기에는 턱도 없는 수준의 문항수임을 쉽게 간파할 수 있다.

그래서 제대로 변별도 높은 평가를 시행하기 위해 몇 십만 문항을 구축한다는 것은 가히 천문학적인 자금이 필요한 것이다.

그런데 여기서 k12를 대상으로 하는 공공기관 간의 비용적 낭비도 수시로 발생하고 있다. 에듀넷 서비스를 하는 한국교육학술정보원, 교수학습센터를 운영하는 한국교육과정평가원, 수능서비스를 하는 EBSi 등은 중복된 대상을 상대로 이러닝 학습 및 문항 콘텐츠를 제공하는 기관이다. 서로 상호 간에 문항을 공유하고 유통시키면, 문항출제의 비용부담을 n분의 1로 나눠서 효율적인 구축 운영을 할 수 있을 것이다.

하지만 이게 말로는 쉬운데, 어려운 문제가 있다.
개별 기관의 평가시스템은 분류체계, 메타데이터의 개별적 지정 뿐만 아니라 문항 데이터가 가지는 형식에 있어서도 구축업체의 포맷을 따름으로 상호간에 변환하여 사용할 수 없도록 되어 있다.
이런 문제를 야기한 것은 국가적인 문항데이터의 메타데이터, 분류체계, 문항형식 및 구조에 대한 표준화 규격체계를 가지고 있지 못하기 때문이다.

학습의 시작과 마침을 정리할 수 있는 것이 진단과 평가인데, 이러한 평가를 구성하는 문항콘텐츠의 지적자산에 대한 가치를 인정하고, 최소한 공교육 안에서라도 표준화 포맷을 통해 쉽게 공유되고 유통될 수 있는 길이 열리길 기대해 본다.

2007년 2월 20일 ~ 22일까지 스리랑카의 콜롬보 대학에서 Korea-Sri Lanka e-Learning Coference가 진행되었다.
설날의 연휴 마지막날 오후 4시 30분 비행기에 몸을 싣고 싱가폴을 경우하여 스리랑카 콜롬보 국제공항에 도착하였다.

지난 3월 6일 K**기관에서 37억짜리 콘텐츠 개발 사업에 대한 현장 설명회가 있었다.

우리회사 콘테츠 개발사업본부에서 추진하는 일이긴 하지만, 수월성 교육부분과 연결을 시켜야겠기에 같이 동반 참여를 했다.

사업담당 팀장의 설명을 들으면서 내 의식은 몽롱해졌다.

이러닝에 있어서 학습우수아를 대상으로 하는 수월성 교육에 대한 자료조사를 지난해에 해 본 것이 있어서 이번 사업에 도움이 될까 열심히 경청했다.

아마 2001년도 교육개발원과 K기관이 공동으로 수행했던 연구과제로 기억하는데, 그 속에서 이미 공교육에서의 이러닝에 대한 수 많은 이야기들이 나열되었었다.

이미 쟁쟁한 교육공학 교수님들의 이름을 언급하며 이러닝에 있어서 학습자 몰입이 중요하기 때문에 인지심리학적 관점에서 이래야 한다, 저래야 한다며 좋은 이야기들이 많이 써 있던 것으로 기억한다.

지난 3월 6일의 현장설명 내용도 비슷했다.

심화형 콘텐츠이기 때문에 학업성취도 95%, 특목고를 목표로 하는 학생들을 학습대상자로 해서 영재교육 학자들이 이야기하는 좋은 말들은 다 나온거 같다.
게다가 W3C의 웹표준, SCORM, U러닝 및 단말기 고려 등등 지켜야할 수 많은 좋은 이야기들은 다 나열되어졌다.

현설을 진행한 담당 팀장의 의지는 고무적이고 높이 살만하다.

하지만 또 다시 거대한 시행착오를 겪지 않을까 우려된다.

결국 생존이 달려있는 개발업체 입장에서 얼마만큼 기관의 의지를 받침할지 모르겠다.
물론 제안서에는 거창한 좋은 이야기들을 나열하여 심사위원들을 현혹하겠지만...

연구논문에 나와있는 좋은 문구들을 발췌해서 뜨거운 열정을 실어 개발업체에게 설명하는 것은 좋지만, 정말 그런 열정을 담아낼려면 파워포인트 문서가 아닌 제대로 구현되어 있는 프로토타입을 보여주는 것이 본 과제의 현실성을 높이는 것이 아닐까 한다.

사이버가정학습에서 기본과정과 보충과정에 이어 심화과정을 개발하는데 수많은 국가예산이 쓰여지고 있는데, 사이버가정학습체제에 대한 충분한 고민의 결과는 아래한글로 만들어진 정책서가 아니라 제대로된 샘플들을 각 유형별로 개발해서 정확한 가이드라인을 주는 것이 개발업체의 효율성을 높이고 학습자 만족도를 높일 수 있는 콘텐츠를 개발할 수 있는 지름길이 아닐까 생각한다.

그간 기본과정과 보충과정의 시행착오를 겪어서인지 이번에는 U러닝 시범학교를 대상으로 단계마다 파일럿 테스트를 한다고 한다. 시간과 비용에 쫓기는 개발업체는 국가 이러닝 사업을 진행하는데 있어서 파트너로 인정하고 있는건지, 돈 주고 부려먹는 꼬봉으로 보고 있는 건지 의문이다.

K!2 이러닝 콘텐츠이 개발이 이미 상당한 부분 완료된 상태에서 시행기관이 이리 어렵게 쪼고 있으니 현업에 있는 사람으로써 답답함을 금할 길이 없다.

웹사이트나 웹서비스, 그리고 이러닝 콘텐츠를 만드는데 생각하고 염두해 드어야 할 것이 참 많다.
그간 SCORM이나 AICC, QTI에 대해서는 우리나라에서도 상당히 회자가 되어 어느 정도의 개념이나 실재 적용모델을 많이 봐왔지만, 최근 "해외시장 보급용 LMS 표준규격에 관한 조사연구" 보고서를 보면서 미국에서의 508조항을 보면서 나름 의미가 있다고 생각하면서도 또 하나의 익숙함으로 포기해야 하는 어려움에 봉착하는 느낌이다.

508조항의 명확한 명칭은 미국 재활법 508조를 지칭하는 것이며 장애인이나 노인이 정보통신 서비스를 이용할 때 신체적 장애로 인해서 차별받지 않도록 하기 위한 권장지침이다.

권장사항이기 때문에 민간기업이나 사교육기관이야 지키지 않아도 법적인 구속력은 없지만, 미국의 조달품목으로 공공기관에 납품해야 하는 경우에는 필수적으로 지켜야할 의무사항이다.

실재 위에서 언급한 연구보고서에 따르면 508조항을 준수하는 미국내 LMS 제품은 조사된 52개 제품 중 총 38개로 73.1%에 달한다.

이는 미국진출을 준비하는 국내 이러닝 업체에 있어서는 크게 치명적이다.
너무 국내 정서에 길들여져 현란한 디자인과 깐깐한 CSS를 통해 구현하는데 익숙해져 있어
텍스트와 기본적인 심플한 디자인으로 구성되는 웹사이트를 참아내지 못하기 때문에
현재 만들어 놓은, 내지는 만들고 있는 이러닝 솔루션과 콘텐츠들이 미국시장 진출에 걸림돌이 되지 않을까 생각한다.

또한 MS의 총아인 ActivX를 통해 솔루션을 구현하며 국내시장을 누리고 있는 우리회사 입장에서도 난감한 상황이다. 평가솔루션과 저작도구라는 부분이 어플리케이션 영역으로 당연시하며 ActivX 기반으로 기술개발을 해왔기 때문에 웹표준과 508조항 준수에 있어서 숨이 막히는 것도 사실이다.

최근 Vista의 출현이후 그 난감함은 이루 말할 수 없다.
국내 대다수의 소프트웨어 개발업체들이 난리부르스를 추고 있는 이유도 웹표준의 동향과는 상관없이 익숙함으로 꾸준한 기술개발을 해왔기 때문이다.

이제는 IE뿐만 아니라 FireFox, 오페라 등에서의 구동환경도 염두에 두고 개발하기 위한 자구적인 노력이 필요하리라 본다. 이는 "W3C의 웹접근 준수", "Web2.0의 표준화 기준'을 이해하면서 발전시켜 나갈 수 있으리라 생각한다.

요즘 연구과제 하나를 고민하면서 유럽시장을 바라볼 때 이러한 노력은 더욱 필요하다는 생각이 머리에서 떠나질 않는다.