PythonによるWebスクレイピング講習会・サポートページ

このウェブサイトは、2015年10月13日及び19日に慶應義塾大学経済研究所主催で行われたPythonによるWebスクレイピング講習会のご案内のサポートウェブサイトです。

講習会のサポートのお知らせ(NEW!)

講習会中にいただいた質問、コメントなどをまとめ、後日、本ウェブサイトにてサポートをさせていただく予定です。情報が更新されましたら、以下の経済研究所のTwitterおよびWEBサイトにてお知らせいたします。

経済研究所Twitterアカウント(@IES_office)

Twitterアドレス
http://twitter.com/IES_office
経済研究所WEBサイト
http://ies.keio.ac.jp/


配布資料・データなど


  1. Webスクレイピングの方法(2015年10月19日配布分)
  2. データ加工・保存の方法(2015年10月13日配布分):サイズが大きいので3つに分割しています。
  •     米国特許ー発明者データ:約3.8G。SQLite3フォーマットで保存されています。
  •     Enronメールアーカイブ(リンク1,リンク2,リンク3)Windows FAT32システムではの1フォルダのファイル数は65,535個であるので、この上限を超えないように別個のフォルダに保存するのが良いでしょう。

Pythonの実行環境

  • Anaconda: Python 2.7に対応した最新版のAnacondaをダウンロードし、インストールしてください。Windows ユーザの方は、お使いのOSが32bitの場合は、32bit版インストーラ、64bit OSをお使いの方は64bit版インストーラを選択して下さい。
  • Google Chrome
  • Selenium Pythonバインディングのインストール
    • OSX/Linuxの方々はターミナルから、Windowsの方々はコマンドプロンプトから、次のようにタイプしてください:
                                pip install selenium
  • Selenium Chrome Driver
    • chromedriver_win32.zip
    • chromedriver_mac32.zip
    • Windowsの方は、Anacondaがインストールされているフォルダ内の「bin」フォルダに移動してください。
    • OSX/Linuxの方は、パスの通ったところに移動するか、ホームフォルダ直下にある「anaconda/bin」フォルダに移動して下さい。

環境設定のトラブル

  • 1:Windows 10や8にアップグレードし、AnacondaのLauncherからspyderやipython-qtconsoleが起動できない方


コマンドプロンプトから以下のコマンドを実行してみてください。

conda uninstall --offline pyasn1

  • 2:Mac OSXにAnacondaをインストールし、日本語キーボードをお使いの方

現在のAnacondaに配布されているSpyder, ipython-qtconsoleでは、バックスラッシュ「\」が「¥」で表示されてしまいます。これではPythonプログラムコードが正しく記述できないので、以下の手順で解決してください。

1. 次のウエブサイトから「Karabiner」をインストールします(無償):https://pqrs.org/osx/karabiner/index.html.ja


2. Karabinerを起動してください。デスクトップの右上のバーに、下図のように「□」のようなアイコンが表示されれば成功です。続けて「Preference」をクリックしてください。




3. Karabinerの設定画面で「▼Change Yen(¥) Key」という項目を探します。検索ボックスにバックスラッシュ「\」を入力してから探すのが効率良いと思います。探し当てたら、下図のように、「JIS Yen(¥) to Backslash(\)」という項目があるので、そこにチェックを入れます。



4. Karabinerの設定画面を閉じます。Spyderやipython-qtconsoleで正しくバックスラッシュが入力できることを確認してください。


Webスクレイピングに関するFAQ

 
  1. ブラウザ自動操縦によるWebスクレイピングを行うには、こちらの記事を御覧ください
  2. SQLite3で作成したデータベースが動かない
  3. ユーザ認証が必要なページでWebスクレイピングを行うには?