25.05.21

• Main Question: 현직 기초자연과학 교원을 대상으로, 정보이론 방법론을 통하여
  임용시점에서의 지난 5년 연구결과 + 학벌 데이터를 통하여 재직기관의 명성(authority score) 과의 상관관계(or 각 값의 영향력)를 측정해보기

  • 기존까지는 박사 to 재직기관의 데이터 위주로 분석

    • 하지만 대학 교원 임용은 단순히 박사 학벌로만 설명될 수 없는 지점이 존재

    • 학부기관 명성, 박사기관명성, 그리고 연구성과를 종합하여 각 지표의 영향력 평가

  • 만약 임용시기의 연구실적과 재직기관의 명성이 높은 상관관계를 보인다면 교원 임용 배치 결과 내에서 실력주의가 주요하게 작용한것으로 해석
    
    

  • 정보이론 방법론 요약: 존재하는 교원 이력 정보에서의 MI기반, C(재직기관 명성)에 있어서 A(학부기관 명성), B(박사기관 명성), R(성과점수)의 영향력 평가

    • MI(A; C | B): 박사를 고정 시켰을 때의 학부 영향력 (계층성 증거)

main issue: 연구 성과 정량화 및 분배

• Limitation

  • 모든 박사 학위 소지자들이 학교 임용에 도전하지는 않음

  • 박사 학위 수여 기관별로 임용후보자가 되는 비율 다름 

    • e.g. 서울대 물리학 박사의 20%가 임용 도전, 80%가 산업계 진출

      • 한양대 물리학 박사의 5%가 임용 도전, 95%가 산업계 진출

  • 국립대 제외 임용 후보자(지원자) 수 공개X

• 현직 교수진을 대상으로 어떤 요건(연구성과, 학력)에 의하여 더 높은 prestige score(authority score) 학교에 재직하게 되었는지 분석

  • hub score: 배출하는 기관으로써의 명성 (SKPYKSSH...)

  • authority score: 교원을 받는 기관으로써 명성 (SKP-ist YK)

• "SKPYK -IST 대학들이 학부 or 박사 학벌을 고려하지 않고 임용하였을 때, 얻을 수 있는 이익(=임용 이후 실적)이 얼마나 더 큰가?"

  • 학벌 상관없이 연구실적이 높은 사람이 임용되는지 살펴보기?

  • SKPYK -IST 재직 교원의 높은 생산성, 이들의 생산성이 이미 높은 상황에서, 학벌에 따른 임용 여부
    (candidate를 다  알 수 없어서 얼마나 더 명성있는 직장에 갈 수 있었는지로 해석해야할 듯합니다)

  • 학벌주의로 인한 loss가 얼마나 되는지를 계산해보기

    • 예를들어 포닥+박사 후반부 총합 실적이 50 되는 교원 x (non-elite line)과 포닥+박사 후반부 총합 실적이 30 되는 교원 y (elite line)이 재직한 기관 authority score 분석하기?

      • 만약에 x가 y보다 더 높은 authority를 가진 학교에 재직(self hiring 포함) - meritocracy의 작용으로 간주

      • 만약에 y가 x보다 더 높은 authority를 가진 학교에 재직(self hiring 포함) - loss로 간주...?

      • 연구성과는  5년동안 유효한데  학부학력(aka  고3 성적)은 왜 20년동안  유효한가?
        
        

• 임용 이후 생산성이 얼마나 오래 "유지" 되는지 검증해보기

  • 예를 들어서 탑티어 대학은 은퇴까지 꾸준히 생산성이 유지되는 반면, 일반 대학들은 그렇지 않다를 수치로 보여주기?

    • 어디까지를 탑티어로 간주하면 좋을까요...? SKPYK(+ist)?? 데이터상으로는 ssh 학교 교수님들도 파랑 수치가 높은편입니다...

  • postdoc 때 성과를 base로 해서 퍼포먼스가 얼마정도까지 유지되다가 decay되는지

  • 연구중심대학 재직 교수님들의 성과가 (분야의 차이 없이) 일관되게 유지되고 있다면, 그걸 하나의 factor로 고려하기

• 분야별 주요 논문의 영향력 차이? 

  • OpenAlex에서 직접 계산한 다음에, 실제 데이터를 모아서 상관관계를 보여주기...!

  • OpenAlex classification subfield normalization 시도... 그러나 OpenAlex 자의적인 분류보다는 보편적인 JCR 지표로 대체?

1. 분배모형에 있어서 점수 할당 문제

 1-1 예를들어 hepth쪽의 Team ALICE (약 1000명) 와 같이 20명이상 대규모로 논문을 자주 출판하는 분야의 경우에는 너무 팀이 커버려서 한 교원당 돌아가는 크레딧 점수가 너무 낮아 매년 0 근처의 값으로 나왔습니다. 이 부분에 있어서는 현실적인 현직 교원 실적 산출 공식 자료등을 모아서 저자가 n명이상일 경우에는 기여도 1/m (m은 특정한 상수) 로 하기로 고정해야겠네요... 마냥 사람수만큼 나누기에는 문제가 있는듯합니다. 

 1-2 연구실 내부 랩미팅에서, 주저자(1저자 및 교신저자)를 제외한 참여저자들의 경우 순서정보가 유의미한 정보를 주는지에 대한 피드백을 받았습니다. 생각해보니 현실적으로 주저자가 아닌 저자들의 경우, 예를들어 5번째 저자와 6번째 저자가 유의미한 차이가 있지는 않은거 같아서 참여저자의 경우는 할당 점수를 기하학적으로 나눌 필요는 없을 듯합니다.

2. SKPYK, -IST 재직 교원의 임용 이후 높은 실적

빨강이 박사기간(박사취득 연도로부터 5년이라 가정)

초록이 박사취득 ~ 현직 학교 임용까지의 기간 (여기서 이직 이력이 있어도 현직 학교만 고려합니다)

파랑이 현직 학교에서의 실적을 나타낸것인데 

대체로 매년 포닥 실적 점수 >> 임용 이후 실적점수 > 박사과정 실적 점수로 나타났습니다.

여기서, 제가 기존에 brainstorming에서 제시한 것 처럼 흔히 말하는 연구중심대학 재직 교수님들은 임용 이후에도 상대적으로 높은 실적을 도출하고 있는 것으로 나타났습니다. 

사실 현장에서 논의한 것처럼 그 학교에 임용되기 위한 개별 교수님들의 실력(녹색)도 영향을 미쳤지만, 임용 이후(파랑색) 기관에서의 연구환경 및 연구중심대학에서의 많은 동료학생들의 영향이 크게 작용하지 않았나 생각하고 있습니다.

3. 분야별 논문 영향력 차이

이것도 웹페이지에 선기재한 사항인데 예를들어 반도체 담당 교수님들이 주로 쓰는 저널과, 이론물리학 교수님들이 주로 쓰는 저널의 영향력에 있어서 산출 점수(IF, JCR)가 다른것을 감안해서 단순 연구할당점수를 넘어서 비슷한 분야내에서의 순위 혹은 분야별 재조정 점수를 도입해야할듯 합니다.

• field normalize citation impact 논문

• Methods to account for citation inflation in research evaluation

분야(subfield)별 영향력 재조정 하기 (Clarivate facter base)

• Object: 교원의 연구분야별 영향력 점수 편차 상쇄하기 

  • (SJR normalization 대신) JIF Percentile 기반으로 성과 분배하기?

    • 핵물리 분야 - PRD 출판 시 79.0점을 저자수, 역할에 따라 기여도 분배

    • 반도체 분야 - Nature Electronics 출판 시 99.9점을 저자수, 역할에 따라 기여도 분배

    • 분야별 보편적인 저널 or 엄청 좋은 저널 구분 가능

• 선택지0: 웹 크롤링 하기(막혀있음)

• 선택지1: 공식적으로 API 받아오기 (Clarivate 경상국립대 도서관 api 계약 채결X)

• 선택지2: 시간많은 학생이 254개의 분류 다 export해서 정리하기

• alternative: OpenAlex classification base 주요 출판 subfield별 ranking으로 비교하기?

  • 1. condense matter or chemical material등 인접분야 처리

    • openalex clustering 기반 문제

  • 2. 메이저 분야/마이너 분야 집단 규모 차이

• 영향력 점수(현재: SJR, 차후 IF 5years) 분야별 정규화

  • 교원이 1회이상 참여한 Subfield에 대하여 Subfield별 min 0, median 1 재조정 후 기여도 분배?

    • 대부분의 저널 영향력 점수는 분포가 heavy-tailed (power-law에 가까움) → 평균 중심 정규화(c/μ)는 왜곡이 심함

    • median 기준으로 스케일링하면 중앙값 중심의 상대적 위치를 보존

      • 하지만,,, 어떤 Subfield는 전반적으로 낮은 임팩트 저널이 많고, 어떤 Subfield는 전반적으로 높은 임팩트 저널이 많은 subfield별 관습은 반영하기 힘듬

      • 메이저 분야의 median(적당한 저널)과 마이너 분야의 median이 가지는 영향력이 동등하다고 보기는 힘듬

    • IF(5 years)SCI Percentile Rank 반영하기?

  • Openalex 기반 분류 외의 저널 SCI 자체의 분류 사용하기?

    • OpenAlex concept는 기계 추론 기반으로 추정

      • 신뢰도가 높은 편은 아님

• • reference 

    • Revisiting the field normalization approaches/practices

    • Field normalization of scientometric indicators