Python與資料分析
本課程將用於高三資訊班群與微課程開設「資料收集與分析」，使用本網頁部分內容為教材。
(一)資料收集與分析的先備知識
(A)Python與numpy使用筆記
(B)Pandas與Matplotlib的使用筆記
(C)Seaborn
(二)抓取資料
(A)從開放資料網站抓取
政府資料開放平台 https://data.gov.tw/
臺北市資料大平台 https://data.taipei/#/
台南市資料平台 https://data.tainan.gov.tw/dataset
Kaggle資料集與分析 https://www.kaggle.com/datasets
1.使用Python抓取PM2.5資料與YouBike站點資料
*使用Python進行PM2.5資料收集儲存到Mysql與資料分析
*使用Python進行YouBike2.0站點資料收集儲存到Mysql與資料分析
使用Python進行YouBike站點資料收集儲存到Mysql與資料分析
2.使用Python抓取固定格式的資料
*使用Python抓取台股證交所每日股價資料與使用pandas進行分析
*使用Python抓取台股證交所每日股價資料，儲存到Mysql
*使用Python從Mysql抓取每日股價資料與使用pandas進行分析
使用Python抓取台股證交所每日股價資料，儲存到MongoDB
使用Python從MongoDB抓取每日股價資料與使用pandas進行分析
(B)使用Scrapy抓取網頁資料
1.基本功能
*(1)使用Scrapy抓取新聞網站資料(附教學影片)
(2)使用scrapy抓取PM2.5資料儲存到Mysql(附教學影片)
2.表單登入
(2)使用Scrapy使用表單登入帳號與抓取資料，儲存到Mysql
(3)使用Scrapy使用表單登入帳號與抓取資料，儲存到MongoDB
3.Scrapy應用範例
(1)使用Scrapy抓取台股證交所每日股價資料，儲存到Mysql
(2)使用Scrapy抓取台股證交所每日股價資料，儲存到MongoDB
(3)使用Scrapy使用表單登入zerojudge抓取指定使用者的AC資料，儲存到MongoDB
(4)使用scrapy抓取ptt批踢踢Gossiping版資料儲存到Mysql
(三)分析
(1)使用FaceBook的套件fbprophet預估個股股價
(2)使用Pandas分析ptt批踢踢Gossiping版資料
1082 微課程「資料收集與分析」 學生成果
(1)武漢肺炎之確診數與死亡數分析 一敏周OO 一敏林OO
參考資料