Research

Learning analytics of note-taking indicators to predict learning outcomes: Using computer vision and text analysis

   For adaptive instruction, it is crucial to identify the needs of learners at the right time. Recently, a growing number of studies have investigated how to automatically analyze the learning process of students using machine learning techniques. Although learning analytics research often collected online logs, there is a lack of research on analyzing students’ offline behaviors. As a method of offline learning analytics, analyzing learners’ videos could give us insights into understanding the process of students’ learning. This study focuses on automatically detecting note-taking behaviors, which are important for knowledge construction, from the video. Note-taking behavior represents the learners' active engagement in the learning process, in that it reflects the learners’ attention level and self-regulation ability. In situations where students learn by themselves without the help of instructors, such as video-based learning, checking the note-taking behavior provides an opportunity to monitor the level of engagement of individual learners. Thus, this study aims to create a model to detect the note-taking behavior of students by analyzing the videos of their learning process. For developing the model, this study collected video data from 33 learners participating in video-based learning at a university. Then, we trained a classification model to infer the students' note-taking behaviors from the video. This study showed that computer vision techniques were useful to automatically detect note-taking behaviors from the videos. Moreover, the note-taking behaviors were helpful in predicting learning outcomes in the offline environment. Further research is necessary to provide adaptive supports for effective note-taking behaviors based on multimodal data including videos, texts, and physiological data. 

• Ham, Y., Cho, Y., H., Kim, H., Park, S. (2022) Learning analytics of note-taking indicators to predict learning outcomes: Using computer vision and text analysis. Paper presented at the 22th International Conference on Education Research. Seoul, Korea. 

디자인씽킹 기반 온라인 협력학습 지원 인공지능 챗봇 설계원리 개발

• 함윤희, 고보경, 박소미, 추영선, 이현경 (2022). 디자인씽킹 기반 온라인 협력학습 지원 인공지능 챗봇 설계원리 개발. 한국교육정보미디어학회-한국교육공학회 공동추계학술대회 포스터 발표, 서울, 한국.

Effects of Metacognitive Support on Video-based Learning: Multimodal Learning Analytics of Learning Process

   The COVID-19 pandemic has accelerated the transition to online learning using video lectures. Students who lack metacognitive capacities tend to have difficulty in acquiring an in-depth understanding from video lectures. They need metacognitive supports that encourage students to plan, monitor, regulate, and evaluate their learning activities. These metacognitive activities can be effective in preventing passive learning and promoting active and meaningful learning in video-based learning. Although a growing number of studies show the effectiveness of metacognitive supports in diverse learning contexts, there is a lack of research on how they influence the learning process, determining learning outcomes. This study aims to explore the mechanism of how metacognitive supports influence video-based learning process and outcomes using multimodal learning analytics (MLA). The MLA can reveal diverse aspects of the learning process, including psychophysiological responses. In this study, 33 students participated in video-based learning for 40 mins in a laboratory context. Sixteen students carried out video-based learning in a control condition, and seventeen students participated in a treatment condition in which they received metacognitive supports. Students' external behaviors were recorded with video and then analyzed with a coding scheme of passive and active learning. This study also analyzed psychophysiological data such as heart rate variability and skin conductance to examine cognitive load change over time. This study found the influence of metacognitive supports on cognitive load and active learning behaviors, closely related to learning outcomes in video-based learning. This study provides implications on the roles of metacognitive supports in video-based learning and the potential of MLA in educational studies. 

• Ham, Y., Cho, Y., H., Kim, H., Lee, J., Kim, H., & Lee, H. (2021). Effects of metacognitive support on video-based learning: Multimodal learning analytics of learning process. Paper presented at the 21th International Conference on Education Research. Online, Korea. 

메타인지 지원이 동영상 기반 학습에 미치는 영향: 생리심리반응을 중심으로

   최근 정보통신기술과 클라우드 기반 온라인 학습 시스템의 발달로 이러닝에 참여하는 학습자의 수와 관련 연구가 증가하고 있으며 최근에는 코로나19로 이러한 상황이 더욱 가속화되었다. 온라인 학습에서 일반적으로 사용되는 동영상 학습 콘텐츠는 멀티미디어를 활용해 효과적으로 학습자의 주의를 집중시키고 의미전달력이 뛰어나며 기술향상적 특징으로 인해 언제 어디서든 학습할 수 있다는 장점이 있다. 하지만 동영상 기반 학습은 교수자의 일방적인 강의 전달로 흐르기 쉽고 이는 동영상 기반 학습 환경에서 학습자가 쉽게 학습을 중단하는 행위로 이어질 우려가 있다. 따라서 온라인 동영상 기반 학습에서 학습자가 효과적으로 자기조절을 할 수 있도록 지원하고 그 과정을 면밀히 살펴볼 수 있는 연구가 필요하다. 

   이에 본 연구에서는 동영상 기반 학습에 메타인지 지원을 제공하고 그 효과성을 학습자의 생리심리반응을 통한 학습 과정과 학습 결과로 확인하고자 하였다. 이를 위해 성인 학습자 33명을 메타인지 지원 집단과 메타인지 미지원 집단으로 나누어 실험을 진행하였다. 연구 참여자들은 사전 설문과 사전지식 검사, 동영상 기반 학습, 사후검사의 순서대로 실험에 참여하였으며, 동영상 기반 학습 과정에서 손목밴드를 통해 심박변이도가 측정되었다. 실험 종료 후 심박변이도 데이터를 인지 부하 수치로 변환하고 이를 사전 설문, 사전 및 사후검사 자료와 통계분석을 진행하였다. 수집된 양적 자료들은 기술통계, t 검증, 회귀분석에 따라 분석되었다.

   연구 결과, 메타인지 지원은 학습 활동 중의 인지 부하 수준에 영향을 미쳤으며, 학습 결과에는 통계적으로 유의미한 수준의 영향을 미치지 못하였다. 또한, 동영상 기반 학습에서의 인지 부하가 낮을수록 높은 학습 결과를 달성하는 것이 심박변이도를 통해 확인되었다. 본 연구는 메타인지 지원이 학습 결과뿐 아니라 학습 과정에 어떠한 영향을 미치는지를 생리심리반응을 통해 확인하였다. 또한, 메타인지 지원이 동영상 기반 학습에 미치는 영향을 탐색하기 위해 생리심리반응이라는 새로운 분석방법을 시도하고 그와 같은 방법을 향후 교육 현장과 이론에 적용할 가능성을 발견했다는 점에서 의미가 있다. 

• 함윤희, 조영환, 김혜은, 이한솔 (2021). 메타인지 지원이 동영상 기반 학습에 미치는 영향: 생리심리반응을 중심으로. BK21 FOUR 혁신과 공존의 교육 학술대회 포스터 발표. 온라인, 한국. 

게임 기반 학습에서 학습 결과 예측을 위한 학습분석 사례 연구

교육용 게임에서 학습 결과를 예측할 수 있다면 적시에 필요한 학습 지원을 제공함으로써 학습 실패를 사전에 예방하고 유의미 학습을 촉진할 수 있다. 본 연구는 예측분석을 효과적으로 실시하기 위한 방안을 다각도로 탐색하기 위해 킷킷 스쿨(Kitkit School)이라는 교육용 게임에서 수집한 학생 408명의 로그데이터를 분석하였다. 서로 다른 학습분석 기법을 사용하여 학습 결과를 예측하고 그 결과를 서로 비교하였으며, 교육적 관점에서 머신러닝이 가지고 있는 장점과 제한점에 대해서 논의하였다. 본 연구의 결과에 기반하여 예측분석의 교육적 활용도를 높이기 위한 시사점을 도출하였다.  

• 함윤희, 조영환, 권가진 (2020). 게임 기반 학습에서 학습 결과 예측을 위한 학습분석 사례 연구. 한국교육정보미디어학회-한국교육공학회 공동추계학술대회 포스터 발표. 온라인, 한국. 

Development of a data curation training program for research support for librarian

• Kim, J., Shin, S., Ahn, S., Choi, S., & Ham, Y. (2019). Development of a data curation training program for research support for librarian. Poster presented at the 20th International Conference on Education Research. Seoul, Korea.