Learning Analytics

About Design

2018년 한국교육개발원의 지원을 받아 학습분석 기반 온라인 공동교육과정 대시보드 프로토타입 설계(PI: 조영환 교수) 연구가 수행되었습니다. 본 연구는 원거리에 있는 학교 간에도 비디오 컨퍼런싱을 통해 실시간으로 수업을 이수할 수 있도록 하는 온라인 공동교육과정을 위한 원격 수업 플랫폼 고도화 사업의 일환으로 실시되었습니다. 이를 위해 우선 플랫폼에 대한 학습자, 교수자, 관리자의 요구를 조사하였습니다. 그리고 선행문헌 검토를 통해 학습분석 기반 대시보드 설계 가이드라인을 도출하였으며, 교실온닷에 적용될 학습분석 기반 대시보드 프로토타입을 개발하였습니다. 본 연구는 기존 연구에서 탐색되어 온 텍스트 기반의 대시보드와 다르게 실시간 비디오 컨퍼런싱 상황에서 제공되는 대시보드에 대하여 조사하였다는 점에서 의의가 있습니다.

Design Method

Literature Review & Needs analysis

선행 연구와 유사 사례를 분석하여 학습분서 기반 대시보드 설계 가이드라인을 도출하였습니다. 그리고 플랫폼에 대한 기존 매뉴얼과 한국교육개발원의 내부 평가 자료를 검토하여 현재 상태를 파악하였습니다. 추가로 온라인 공동교육과정에 참여한 경험이 있는 학습자 3명과 교수자 4명, 전국단위 관리자 3명을 면담하였습니다. 이를 바탕으로 대시보드의 바람직한 상태를 확인하고 현재 상태와의 격차를 규명하여 학생, 교사, 관리자의 대시보드에 대한 요구를 도출하였습니다.

Prototype Development

문헌 조사 및 요구분석 결과를 반영하여 낮은 수준의 초기 프로토타입을 디자인하였습니다. 초기 프로토타입은 스케치와 PowerPoint를 사용해 제작되었습니다. 이후 전문가 검토와 사용성 평가 결과를 반영하여 프로토타입을 개선하였고, 최종적으로는 높은 수준의 상호작용까지 구현 가능한 목업 제작 도구인 Axure RP를 활용해 대시보드 프로토타입을 제작하였습니다.

Internal Validation & Usability Test

유관 분야 전문가 2인을 대상으로 개발된 대시보드 프로토타입의 교육적 유용성, 인터페이스, 매력성 측면에서 전문가 검토를 실시하였습니다. 자문 내용을 반영하여 프로토타입을 개선하였습니다.

현직 교사 3명과 학생 3명을 대상으로 낮은 수준의 대시보드 프로토타입에 대한 사용성 평가를 실시하였습니다. 대시보드에서 사용자들이 원하는 정보를 찾도록 하는 과제를 제시하고 수행하는 장면을 관찰하고 질문하였습니다. 사용자의 반응을 참고하여 프로토타입을 개선하였습니다.

Result

실시간 화상수업을 위한 대시보드는 크게 화상수업 플랫폼 상에 탑재되는 대시보드와 화상수업을 관리하는 LMS 상에 탑재되는 대시보드로 구분됩니다. 본 연구에서는 화상수업 대시보드는 학습자용과 교수자용 두 가지로 프로토타입으로 개발되었으며, LMS 대시보드는 학습자, 교수자, 관리자용으로 세 가지 프로토타입으로 개발되었습니다.

Student Dashboard

• 화상수업 대시보드: 수업계획, 나의 학습점검, 메시지 수업 참여도 및 기술적 오류 확인, 타임라인으로 구성하였습니다.
• LMS 대시보드: 수업 관리, 강의실 홈, 출석, 나의 학습참여, 나의 성취도, 도움 구하기 페이지를 개발하였습니다.

Teacher Dashboard

• 화상수업 대시보드: 수업계획, 학습점검, 메시지, 개별 학습자의 수업 참여도 및 기술적 오류에 대한 정보, 학생 집중도 정보, 타임라인으로 구성되었습니다.그리고 학생들이 그룹 토론 활동을 진행할 때 조별 토론 상황에 대해 확인할 수 있는 대시보드를 구상하였습니다.
• LMS 대시보드: 수업 관리, 강의실 홈, 출석, 학습참여, 학습성과, 도움주기 페이지를 개발하였습니다. 각 페이지에서는 학급 현황을 확인하거나 도움이 필요한 학생을 지원할 수 있습니다.

Administrator Dashboard

• LMS 대시보드: 수업 현황, 기술 정보, 수업 조회 페이지를 개발하였습니다. 관리하는 전체 수업의 현황을 파악하고 지원이 필요한 수업을 판별할 수 있도록 수업에 대한 전반적인 정보를 제공합니다.