スクレイピングの開発を依頼される上での注意点について紹介します

■Seleniumのインストール

Uesugiが作成するスクレイピングプログラムはVBAからSeleniumというフレームワークを使用してブラウザをコントロールする形になります。

よって、ご利用になる際ににはSeleniumのインストールが必要となりますので、ご利用の前にインストールをお願いいたします。

Seleniumのインストール方法

■スクレイピングの不安定性について

上述のように、

VBA→Selenium→ブラウザ→対象サイト

という形で処理を実行するため、通常のVBAプログラムよりも多少不安定な部分が発生します。
特に、ブラウザを利用して対象サイトに接続するのですが、通常の利用と同様に、対象サイトのウェブサーバーとの通信が発生しますので、読み込み時の通信環境、利用PCの通信環境やスペック、サイト側のボット対策など、色々な不安定要因が考えられます。

開発の際には、開発者の方でテストは行った後にお渡ししておりますが、実際に利用されるPCでのテストは必須となりますので、テストのご協力をお願いいたします。

Uesugiの作成するスクレイピングプログラムには、不安定な環境であっても正しく情報取得やコントロールができるようにする対策が数多く行われています。
可能な限り安定稼働するものをご提供できます。

■ボット対策が行われているサイトの場合

●ログイン処理

サイトによってはボット対策が行われているものがあります。

代表的なものとしては、ログイン処理を実施した際に出現するパズルの組み立てや、類似する写真を選択するものになります。

このような処理が発生した場合、プログラム側での対処はできませんので、ユーザーがマウスで処理を完了するのを待機させる処理を入れることになります。

もしその運用が好ましくない場合、プログラム側で対処することはできかねますので、その開発は中止となります。
この場合の中止については料金は一切発生いたしません。

●接続回数・頻度の判定

サイトによっては、接続の挙動(接続回数、接続間隔など)を見て操作やアカウントに制限を加えるものがあります。
※分かり易い例はInstagramになります。
　例：いいね、を連続して数十回行うといいねできなくなる、など

このようなサイトの場合は、接続間隔やコントロール間隔をランダムに変更して回避することができますのでご相談ください。

●アクセス拒否

サイトによってはボットによるアクセスを一切拒否するものもあります。

この場合、ある程度の対策を行うことは可能ですが、回避できない場合もありますので、その際は開発中止とさせて頂きます。
この場合の中止については料金は一切発生いたしません。

■対象サイトの構成が変わった場合

スクレイピングはサイト上のHTML構造から場所を特定して情報を取得したり、コントロールを実行するので、サイト側での変更が行われると、プログラムがエラーを出したり、正しく情報取得ができなくなる場合があります。

これは対象サイト側の意思によって行われるものですので、不可避の現象となります。

Uesugiの作成するプログラムでは、可能な限りサイトの構成変更の影響を受けない形で作成するよう努力していますが、当然ながら限界はあります。

対象サイト側の変更でプログラムが利用できなくなった場合、軽微な修正であれば無料で対応いたします。
※作業時間にして、テストも含めて15分未満となる作業については「軽微な修正」とさせて頂いています

また、工数のかかる修正となる場合は、2000円(税抜)～5000円(税抜)ほどで対応できるかと思いますのでご相談ください。

開発のご依頼方法については、別途下記のページも参照してください。

ご依頼方法