people analytics

• People analytics, also known as talent analytics or HR analytics, refers to the method of analytics that can help managers and executives make decisions about their employees or workforce 

• 기업에서 신입사원 채용 및 중간 업무평가 과정에서 인간의 다각적인 면을 종합적으로 평가하기 위해서 많은 다면 및 관찰 평가가 수행되어져 왔습니다. 그러나 평가를 담당하는 면접관에게서 필연적으로 기인하는 엄격성 또는 관대성으로 인해서 평가의 공정성 측면에서 많은 문제점들이 지적되어 왔습니다. 

• 소개할 측정모형은 평가자간의 불일치성에서 나타나는 편차를 오차로 간주하는 것이 아니라 피평가자의 실제 능력을 추정하기 위한 정보로 활용해서 평가의 객관성을 보장할 수 있는 모형 입니다.

• 객관적인 측정모형이 존재함에도 불구하고 인간에 대한 평가를 거의 검증되지 않은 AI 면접관에 왜 우리 스스로 종속 시켜야 할까요?  지금부터 소개할 측정모형에서 실마리를 찾아보시기 바랍니다.

• AI 면접관을 도입할 것이 아니라 "인간의, 인간에 의한, 인간을 위한 평가'를 지향해야 합니다.

면접 또는 역량평가 상황에서 Facet 측정모형을 가지고 다음과 같은 연구문제를 해결할 수 있습니다.

1. 면접관이 신입사원을 채점할 때 면접관들 사이의 엄격성/관대성의 차이는 어떠한가? 

2. 면접관 사이에 엄격성/관대성의 차이가 존재한다면, 통계적으로 유의미할 정도의 차이를 보이고 있는 면접관은 누구인가?

3. 면접관들 간의 채점 신뢰도는 어떠한가?

4. 면접관들이 얼마나 효과적으로 신입사원들의 능력수준을 잘 변별해주고 있는가?

5. 면접항목(task)들은 효과적으로 신입사원들의 능력수준을 잘 변별해주고 있는가?

6. 신입사원들의 능력수준을 변별하는데 있어서 적합하지 못한 면접항목은 무엇인가?

7. 면접관들이 면접항목들을 얼마나 잘 인지한 상태에서 평정을 하고 있는가?

8. 특정 면접관이 특정과제에 대해서 편향되게 점수를 부여 하고 있는가? 

9.면접관들이 면접 척도(rating scales)를 신입사원을 변별 하는데 효과적으로 활용하고 있는가?

10. 면접 척도를 효과적으로 활용하고 있지 못하고 있는 면접관은 누구인가?

11. 면접관 에게서 흔히 나타날 수 있는 면접오류(엄격성 오류, 집중화 경향 오류, 후광효과)를 어떻게 진단하고 해석할 것인가? 

• 설현수(2010). 평정자간 엄격성 차이정도가 피험자 총점산출 방법에 미치는 영향: 원점수, 표준점수, Facet점수 비교. 교육평가연구, 23, 125-147.

• Facets model enables judge leniencies, examinee abilities, and item easiness to be compared with each other, and with the rating scale. 

• Over 90% missing data - no problem. 

• Facets is used for analyzing educational, medical and psychological assessments, also for staff evaluations, public speaking, artistic and sports competitions, consumer preferences and more .

• Facet Measurement

• Facets Tutorial PDFs 

• Linking Subsets with Facets program

• Rasch Measurement

• Winsteps and Facets Tutorial PDFs 

•  Institute for Objective Measurement 

• Rasch Measurement Transactions 

• Journal of Applied Measurement