Koefisien korelasi intra-kelas (intraclass correlation coefficient, ICC) digunakan untuk menilai reliabilitas antar dua atau lebih pengamat, maupun test-retest reliability. Intinya, ICC adalah rasio antar varians antar kelompok dan varians total. Varians total berasal dari 3 sumber: (1) pasien; (2) pengamat; dan (3) random error (residual error).

Cohen's kappa coefficient (κ) is a statistic that is used to measure inter-rater reliability (and also intra-rater reliability) for qualitative (categorical) items. It is generally thought to be a more robust measure than simple percent agreement calculation, as κ takes into account the possibility of the agreement occurring by chance. There is controversy surrounding Cohen's kappa due to the difficulty in interpreting indices of agreement. Some researchers have suggested that it is conceptually simpler to evaluate disagreement between items.

Penilaian Acuan Norma (PAN) adalah penilaian yang dilakukan dengan mengacu pada norma kelompok atau nilai-nilai yang diperoleh siswa dibandingkan dengan nilai-nilai siswa lain dalam kelompok tersebut.

ITEM AND TEST ANALYSIS (ITEMAN) merupakan perangkat lunak (software) yang dibuat melalui bahasa pemrograman komputer dan dibuat khusus untuk analisis butir soal dan tes. Hasil analisis meliputi: tingkat kesukaran butir soal, daya pembeda soal, statistik sebaran jawaban, kehandalan/reliabilitas tes, kesalahan pengukuran (standar error), dan distribusi skor serta skor setiap peserta tes.

Download aplikasi dan download tutorial.

Analisis tingkat kesukaran dimaksudkan untuk mengetahui apakah soal tersebut tergolong mudah atau sukar. Tingkat kesukaran adalah bilangan yang menunjukan sukar atau mudahnya sesuatu soal (Arikunto, 1999: 207).

Uji validitas adalah uji yang digunakan untuk menunjukkan sejauh mana alat ukur yang digunakan dalam suatu mengukur apa yang diukur. Ghozali (2009) menyatakan bahwa uji validitas digunakan untuk mengukur sah, atau valid tidaknya suatu kuesioner atau soal.