使用scrapy抓取ptt批踢踢Gossiping版資料儲存到Mysql

Step1)使用「scrapy startproject ptt」建立ptt專案，「cd ptt」切換到ptt資料夾，使用「scrapy genspider page ptt.cc」建立spider/page.py

Step2)編輯ptt\scrapy\page.py，如下，scrapy使用start_urls的網址抓取資料，自動呼叫函式parse，將資料儲存到item物件，scrapy經由設定會將item交給pipeline處理，在pipeline撰寫程式將資料加到Mysql資料庫。

Step3)修改ptt\item.py，建立資料接收的資料欄位

Step4)修改ptt\pipelines.py，將item插入到資料庫

Step5)本專案設定檔在ptt\settings.py，新增資料庫設定，啟用ITEM_PIPELINES才會將item儲存到Mysql資料庫

參考資料

https://city.shaform.com/zh/2016/02/28/scrapy/