평가 및 채점

• 평가환경이나 자동채점 시스템 문제로 평가가 완료되지 않으면 동일 제출본으로 재평가합니다

• 설계 자체의 오류, 기능평가 실패, timing violation은 재평가 사유가 아닙니다

• 정정 요청 가능 항목: 제출 버전 불일치, 점수 집계 오류, 리더보드 표시 오류, 시스템 누락 (평가위원 심사 결과는 제외)

• 정정 기한과 방법은 결과 안내 시 공지합니다

정량점수 = P³ × T² × A

• 시나리오: llama2 stories260K 모델(model dimension 16)의 llama2.c를 loop 2회 × token 2개로 실행합니다. 

  • Attention, feed-forward network, softmax, rotary position embedding 연산을 포함합니다.

• P 전력: RTL simulation의 compressed VCD, gate netlist, SDF를 PowerWurzel R2G flow에 입력한 Total Power에 동일 실행의 DRAMSim3 average power를 합산합니다. 

  • SDF delay가 적용되므로 glitch를 포함한 평균 전력이 산정됩니다.

• T 실행시간: Simulator의 execution cycle × 제출 설계의 clock period.

• A 면적: Design Compiler 면적 보고서. 추가·변경한 hardware와 on-chip memory를 모두 포함해야 합니다.

• 기능, timing 확인과 P, T, A 측정에 동일한 제출 설계와 실행 설정을 사용합니다. 

• Timing violation이 있으면 정상 평가되지 않습니다.

• 리포트 점수 (Report Score)

  • Git push 즉시 commit에 포함된 결과파일 (EDA tool report와 DRAMSim3 결과)에서 값을 읽어 산정합니다. 

  • collect_submission.sh을 활용해 수집이 필요하며, 값이 없거나 서로 다른 실행의 결과가 섞이면 산정하지 않습니다. 

  • 순위에는 사용하지 않습니다.

• 채점 점수(격일 정량 점수)

  • 공식 채점 환경에서 재실행합니다. 

  • 기능평가와 timing 검증을 통과한 결과만 채점이 진행됩니다.

  • llama2 의 전 구간을 5분할 해, 병렬 power analysis을 수행합니다. 

• 최종 채점 점수

  • 해커톤 마감 시점에 제출된 commit을 5분할 없이 전 구간 단일 분석합니다. 

  • 발표평가 8팀 선정에 사용합니다

세 점수는 같은 계산식(P³ × T² × A)을 쓰지만 방법의 차이로 서로 다를 수 있습니다.

• 최종 정량점수 동점 시 전력, 실행시간, 면적이 낮은 순으로 순위를 결정합니다

• 발표와 시연은 참가팀 소속 인원이 직접 진행하며 세부 시각은 이메일로 안내합니다. 불참 시 0점 처리됩니다

• 발표평가 점수는 평가위원별 총점의 평균으로 산정하고, 동점 시 평가위원회 협의로 결정합니다

• 선정 후 보고서·발표자료의 오탈자, 설명, 도표, 구성은 보완할 수 있으나 설계 소스와 실행 설정은 변경할 수 없습니다

• 수상팀 전원은 12.22 시스템반도체 설계 챌린지 본선에서 발표, 시연하고 최종보고서를 제출해야 합니다

• 평가환경이나 자동채점 시스템 문제로 평가가 완료되지 않으면 동일 제출본으로 재평가합니다

• 설계 자체의 오류, 기능평가 실패, timing violation은 재평가 사유가 아닙니다

• 정정 요청 가능 항목: 제출 버전 불일치, 점수 집계 오류, 리더보드 표시 오류, 시스템 누락 (평가위원 심사 결과는 제외)

• 정정 기한과 방법은 결과 안내 시 공지합니다