09.並行処理（split、partition）概要

概要

Spring Batchにおける並行処理（split、partition）についてみていきます。

並行処理とは、スレッドを複数たてて処理を同時に行うことを言います（定義が間違っていたらすみません。この記事ではこの定義で記述していきます）。

処理スピードを上げることが目的です。

しかし、よく考えなければ逆に遅くなることもあるので、注意が必要です。

また、並行処理とSpring Remoteを併用することで、並列処理も可能になります。

並列処理とは、複数のPCで分散処理をすること言います。これもこの記事での定義としておきます。

ここでは、SpringBatchが用意する2つの並行処理、split、partitionの概要のみを記述します。

実際の使用サンプルは、別の記事に記述しますのでそちらを参照してみてください。

splitによる並行処理の概要

説明の開始の前に、まずは、ステップの動作のイメージ図と、ジョブ設定の記述イメージを示します。

【Spring Batchのsplit設定イメージ】

<job id="splitJob" xmlns="http://www.springframework.org/schema/batch">

<step id="step1" next="split1" />

<split id="split1" task-executor="taskExecutor" next="step4" >

<flow>

<step id="step2" />

</flow>

<flow>

<step id="step3" />

</flow>

</split>

<step id="step4" />

</job>

splitもpartitionも、並行処理であることは同じです。

splitの特徴は、上記のように並行処理するステップを明示的に指定するところです。

上記の場合、指定したstep2とstep3は同時に実行されます。

そして両方とも完了した時点でstep4に遷移します。

またflowタグの中にはstepを複数記述することも可能です。

flowタグ内はシーケンシャル（順番）にステップが実行されます。

partitionによる並行処理の概要

こちらもまずはイメージを示します。

各インターフェースは具象クラスを持っています。javadocを参照してみてください。

動作としては、ステップの具象クラスであるPartitionStepがPartitionHandlerを呼び出します。

結局はPartitionHandlerが並行処理のほとんどを行うことになります。

【Partitionerの役割】

Partitionerは、Step Execution Contextを処理を分割する個数だけ作成します。

このExecutionContextには、データをあらかじめ設定しておくことができます。

StepはExecutionContextに設定された値により処理を変えることができるため、間接的に、partitionerが

スレッド毎に処理内容を変更する役割を果たしています。

【StepExecutionSplitterの役割】

StepExecutionを作成します。

このとき、partitionerを使用してStepExecutionContextを取得し、作成したStepExecutionに設定します。

また、既に実行したStepExecutionをJobRepositoryから取得し、リスタートするための準備をする役割も担当しています。

【PartitionHandlerの役割】

StepExecutionSplitterを使用してStepExectionを取得し、実際に指定のステップを実行します。

このとき、スレッドを作成してStepを実行していきます。

【partitionを使用する場合の補足情報】

partitionを使用する方法では、自動でStepが複製されます。

このとき、Step名も重ならないように自動で名前が付けられます。

Step名はStepExecutionSplitterが自動で付与します。

命名の例としては、"step2:partition0"、"step2:partition1"のようになります。

Created Date： 2011/02/03