[PySparkの環境構築]
PySparkの裏側ではJavaが動いているのでJavaをインストールする。
Sparkの公式ページからApache Sparkをダウンロードする。
Windowsで動かすにはwinutilsが必要なので、以下よりダウンロードする。winutilsは、Apache Spark展開後のbin配下に格納する。
https://github.com/steveloughran/winutils
環境変数を設定する。コントロールパネルから「システムとセキュリティ」を選択。「システム」をクリックし、「システムの詳細設定」を検索し、「環境変数」をクリック。
* HADOOP_HOME：C:\spark-2.4.5-bin-hadoop2.7
* PATH：$HADOOP_HOME\binを追加
spark-shellコマンドを実行し起動確認する。
[ループ処理]
PySparkでは、Pythonの標準的なfor文やwhile文を使ってループ処理を行うことができる。ただし、PySparkのデータフレーム操作は分散処理を前提としており、ループ内での操作がうまく分散されない場合がある。そのため、できるだけデータフレームのAPI（mapやfilter、groupByなど）を使用して処理を行うことが推奨される。
for 文や while 文のようなループを使うと、適切にcache や checkpoint が効果を発揮しない場合がある。
[checkpointとcacheの違い]
checkpointとcacheは、それぞれ異なる目的で使われる機能です。checkpointは信頼性や依存関係の簡素化を目指し、ストレージへの保存を通じて障害耐性を向上させます。一方、cacheはパフォーマンス向上を目的としており、繰り返し参照される中間結果をメモリに保存します。
[cache]
「, 」は付けない。
[BACK]