(1) 9/2 오리엔테이션 포함, 모든 정규강의 (이론/실습) 녹화강의로 제공

• + 격주 수요일 조별 미팅 (20분간)

(2) 의사소통 및 질문답변 플랫폼으로 슬랙(업무용 메신저) 활용합니다. 이메일로 배포된 링크를 통하여 가입하실 수 있습니다.

(3) 개발환경 구축을 위하여 Windows 10 최신 버전 (버전 2004, 빌드 19041 이상)이 필요합니다.

• 시작버튼 클릭 --> 'winver' 검색 및 실행하셔서 본인 윈도우의 버전을 확인하시고, 위 버전보다 낮으면 업데이트 진행 바랍니다. (시작버튼 클릭 --> '업데이트 확인' 실행)

(4) 저장용량 문제로 스노보드에는 최신 수업만 저장되어 있습니다. 예전 수업들은 본 웹페이지에 보관합니다.

Course overview

• 방법론 훈련을 충분히 받은 통계학전공 4학년 학생을 주 수강생으로 가정하는 과목이다. 데이터 분석의 전체 과정, 예를들어 계획, 수집, 탐색, 모델링, 결과보고를 체험한다. 교강사의 강의/실습 시간에는 주로 전공시간에 다루어지지 않은 데이터 수집 및 저장 방법들을 다룬다. 구체적으로 (1) 웹 문서의 크롤링, (2) 관계형 데이터베이스(MySQL)를 이용한 데이터 저장과 추출, (3) R Shiny를 이용한 실시간 통계분석을 소개한다. 수강생은 프로젝트를 통해 관심 분야의 데이터셋을 수집하고 통계적 방법론들을 이용하여 인사이트를 도출하거나 간단한 웹서비스를 만들어 본다.

• 본인이 수집하고 싶은 데이터셋이 있는 경우에 가장 재미있게 수강 가능. 수강신청 전에 웹 크롤링 활용 사례를 구글링하여 보고, 관심분야가 웹 크롤링으로 구현가능할지 고민하여 보기를 권함.

Overall goals

• 데이터 분석 실무역량 강화

선이수과목

• 통계학과 3-4학년 전공과목 수강경험

  • 필수 : 팀원 중 적어도 2명 이상이 다음 조건을 만족할 것: [통계학과 3-4학년 전공 + 회귀분석입문] 중 3과목 이상 수강완료

    • 증빙자료는 필요없으나 허위진술이 밝혀진 학생은 F 부여

  • 권장 : 다변량통계분석, 데이터마이닝, 시계열분석, 범주형자료분석, 통계적기계학습 중 3과목 이상 수강완료 또는 이번학기 수강

• Python (크롤링), R (R Shiny) : 반복문, 제어문, 함수작성, 클래스, 파일 입출력 등의 기초지식을 전제하고 수업이 진행됩니다.

  • 기초가 미진하다 생각하시면 복습을 권장합니다. (e.g. [코드아카데미 파이썬 기초] [R 기초 워크샵 강의자료])

원활한 실습을 위하여 PC 개발환경을 점검하시기 바랍니다.

• 최소 하드웨어 사양 : Intel Core i5급 CPU, 8GB RAM, 하드디스크 여유공간 25GB

• 권장 하드웨어 사양 : Intel Core i7급 CPU, 16GB RAM, 하드디스크 여유공간 50GB 혹은 그이상

• 운영체제 : Windows 10 / OS X 10.14 / Ubuntu 18.04 이상 (실습강의는 Win 10 기준으로 진행)

• Python (v3.7 이상), R (v4.0 이상) 설치

• 주의 : 실습환경 구축은 수강생의 책임이며, 환경 미비로 인한 과제수행의 어려움에 대하여 운영진은 별도 지원책을 마련하지 않습니다.

강의 시간 : 월, 수 3:00pm - 4:15pm

강의실 : [대면] 사회교육관 514호 // [비대면] 실시간강의는 Zoom 746-487-4094, 녹화강의는 SnowBoard 업로드

평가 : 출석 20점 + 프로젝트 70점 + 가산점 슬롯 10점

• 출석 : 호명 (대면/실시간 수업의 경우) + 녹화강의 업로드 1주일내 수강 + 온라인 퀴즈 (객관식, 비정기적) 혼합

• 프로젝트 : 교수평가 40점 + 팀내 평가 15점 + 팀간 평가 15점

• 가산점 슬롯 : 기본 0점 // 타 수강생에게 도움이 되는 행위의 양과 질에 따라 차등 부여 (e.g. 슬랙 질문답변 참여, 발표시 질문 참여)

강의 방법 (가안)

• 강의/실습 : 녹화강의 위주, 월요일에 일주일분의 학습내용을 업로드합니다.

• 프로젝트 피드백 : 각 팀은 격주마다 15분씩 교강사와 만나 프로젝트의 진행상황/애로사항/계획을 공유합니다. (수요일 수업시간대 활용)

효율적 운영을 위하여 다음 플랫폼들을 활용합니다.

• 이메일 : 중요 공지 배포 (스노우보드 및 포탈에서 본인의 이메일 설정을 다시 확인하세요.)

• 슬랙(Slack) : 실시간 커뮤니케이션 및 질문답변

  • 슬랙은 실시간 의사소통을 편하게 하는 플랫폼입니다. 여러 줄의 타이핑 및 Code formatting, 이미지 삽입, 파일 첨부가 모두 가능합니다.

  • 혼동되는 개념을 명확히 하고 싶을 때, 개념에 질문이 있을 때, 프로젝트 도중에 막힌 부분이 있을 때에는 #질문답변포럼 게시판에 질문을 남겨주세요. (물론 Office hours도 활용하실 수 있습니다.)

    • 사려깊고 건설적인 참여를 적극적으로 장려합니다. 이를 위하여 합리적인 기준 하에 가산점으로 보상합니다. 교강사는 정기적으로 질문을 체크하고 답변을 남기겠지만 학생들의 답변을 먼저 기다릴 예정입니다.

    • 이메일/DM으로 질문이 올 경우에는 민감한/기밀 질문이 아닌 한 슬랙 질문답변포럼 게시판으로 유도합니다.

• 스노우보드(Snowboard) : 과제물 수거

교강사 : 최영근 (숙명여대 통계학과 조교수)

• 연구실 : 사회교육관 503호

• e-mail : ygchoi 앳 sm 닷 ac 닷 kr

• Office hours (예약자 우선) : 추후공지

  • 예약 방법 : https://ygchoi.youcanbook.me/

  • 온/오프라인 모두 가능 (온라인 면담 희망시 본인의 Zoom ID나 전화번호를 같이 입력할 것)

TA :

주교재

• 강의노트 제공

부교재

• 크롤링 관련 (통계학과 라이브러리에 비치)

  • 파이썬으로 웹 크롤러 만들기 (2판), R. Mitchell 지음 (한선용 번역), 한빛미디어, 2019.

  • 완친파 웹크롤러 대마왕편, 가치랩스 기술연구소 지음, 한국정보인재개발원, 2019.

• 데이터베이스 관련 (생활코딩 강의)

  • 데이터베이스1 (DB 개괄, 25분): https://opentutorials.org/course/3162

  • 데이터베이스2 (SQL, 3시간 32분): https://opentutorials.org/course/3161

  • 관계형 데이터 모델링 (1시간 58분): https://opentutorials.org/module/4134

Note: 작년 프로젝트 목표는 (1) 크롤링, (2) R Shiny 기반 실시간 통계분석기능 구현이었습니다. 금년 프로젝트에서 목표 (1)은 동일하고, 목표 (2)가 세분화되어 다음 중 택일(6주차쯤 결정가능)하시게 됩니다. :

• 시제품형: (1) 크롤링 + (2a) R Shiny 기반 실시간 통계분석기능 구현 및 실시간 DB관리

• 보고서형: (1) 크롤링 + (2b) 통계분석 보고서 작성

기말 발표 슬라이드

• 아래 프로젝트들의 중간 결과물 (중간발표, 최초 프로포절) 및 코드는 여기에서 다운로드 받으세요. (숙명 구글메일로 로그인해 있어야 접근가능합니다.)

• 게임 ESD 서비스 크롤링 : Steam 기반 게임 및 유저 분석 --- 조유민

• 뉴스 기사 단어 사이의 연관성 분석 --- 익명

• 서울시 공유 자전거 따릉이 --- 남지현

• 영화 예매현황 크롤링 --- 김자영

• 오늘의 날씨는? --- 장은영

• 항공권 데이터 크롤링 --- 이소연

• K리그 삼성 블루윙즈 경기기록 분석 --- 김호정

주의사항: 금년 프로젝트 주제 선정시 위 우수과제들과 주제&사이트가 중복되어도 상관없으나, 기존 자료를 활용하는 만큼 진전된 결과물을 기대함 (e.g. 더 구체화된 연구질문, 더 방대한 크롤링 대상, 더 다양하고 과학적인 분석결과 등)

오픈카톡방 질문답변 포럼

• [캐글코리아 오픈채팅]

• [파이썬 처음처럼]

• [파이썬 (웹크롤링) 정보공유방]

• [데이터분석 QnA&네트워킹]