開発途上国における教育開発分野のインパクト評価は、2000年代半ばから急速に増加しましたが、その中で2010年代には特に子どもの学習改善にかかる評価が増えていきました（Sabet and Brown, 2018; World Bank, 2018）。開発途上国における子どもの学習改善にかかるインパクト評価が増える中、それらを総括したものとして、Snilstveit et al.（2016）があります。インパクト評価は各評価において対象国やアプローチが様々ですが、インパクト評価を幅広く収集し、内容を確認の上、分類・総括する取組みは、システマティック・レビューと呼ばれます（White and Waddington, 2012）。子どもの学習改善のための介入の対象として、子ども達自身、保護者、教員、学校、学校運営等、様々なアクターがあり、アプローチも多様です。

　Snilstveit et al.（2016）は、介入の主な対象者とアプローチの観点から、開発途上国における子どもの学習改善にかかるインパクト評価を分類・総括したシステマティック・レビューの代表例です。Snilstveit et al.（2016）は、様々なインパクト評価のレビューをもとに、効果的な教授法を教員が用いて授業を実践できるように、現職教員研修や子ども達への教材配布、教員の授業実践への助言等を組み合わせた介入パッケージが、子どもの学習改善には有効と論じました。今回は、その一つの事例として、ウガンダにおける読み書き改善のための介入パッケージの実証を取り上げた、Kerwin and Thronton（2021）を見てみましょう。

　Kerwin and Thronton（2021）は、ウガンダ北中部に位置するLangoと呼ばれるディストリクトを調査の対象地域としました。同ディストリクトでは、Leblangoと呼ばれる現地語を用いられています。ウガンダにおいては初等1～3年生は現地語で学習し、初等4年生から英語での学習に移行します。2009年の時点では、同ディストリクトの初等2年生の約8割が学年末の時点で、現地語で用いられるアルファベットを一文字も読むことができませんでした。

　Kerwin and Thronton（2021）における介入パッケージ（プロジェクト名称のNorth Uganda Liteacy Projectの頭文字をとって「NULPパッケージ」と以下呼びます。）は、Langoディストリクトにおける初等1年生の現地語（Leblango）学習を対象とします。NULPは、音素や音素の組合せの読み方を学習し、単語の読みを学習していく方法（phonics-based approach）をもとに、パイロット活動を通じて子どもの教材開発（教科書、副教材）を行いました。続いて、開発された教材を教員研修等と組み合わせ、NULPパッケージがつくられました。当初のNULPパッケージは子ども1人あたりの普及コストが高かったことから、コスト軽量が図られたパッケージが別に作成されます。本稿では、それら2つのパッケージを区別するため、当初開発されたパッケージを「NULPパッケージ（フルコスト）」、コスト軽量化が図られたものを「NULPパッケージ（コスト軽量化）」と呼ぶこととします。まず、NULPパッケージ（フルコスト）の内容から見てみましょう。

　NULPパッケージ（フルコスト）では、子どもに対し、現地語による読み書きの教科書と副教材、書く練習のためのスレート板が提供されました。

　NULPパッケージ（フルコスト）において、介入群の教員に対する読み書きの教授法にかかる研修は、NULPのマスタートレーナーにより、計4回行われました（初回の研修を受講した翌年度の各学期の前に各1回の研修、ウガンダは3学期制）。また、介入群の教員を対象として、上記研修に加え、年間計6回のワークショップ（マスタートレーナーによるもの）が土曜日に開催されました。さらに、マスタートレーナーが介入群の教員に対する助言のため各学期に3回クラスを訪問しました。一般的に、教員訓練を担う地方教育行政官は各学期に2回クラスを訪問し、教員に対する助言を行うこととされていましたが、介入群の教員を担当する地方行政官はマスタートレーナーによるクラス訪問に同行し、教員の授業のモニタリング・助言手法を学びました（加えて、介入群の教員を担当する地方行政官には自らクラス訪問を2回行うことに必要な交通費も支給されました）。

　上記の他、NULPパッケージ（フルコスト）では、教員の授業時間の管理のため、各クラスに掛け時計が設置されました。また、教員と保護者の会合が毎学期1回開催されました。

　NULPパッケージ（フルコスト）は上記のとおり充実したものでしたが、教材や研修プログラムの開発等の初期費用を除き、同パッケージの実施には子ども1人あたり19.88米ドルを要したことから、子ども1人あたりのコストを下げるためNULPパッケージ（コスト軽量化）が作成されました。NULPパッケージ（フルコスト）とNULPパッケージ（コスト軽量化）の主な相違点は以下の3点です。

・ NULPパッケージ（コスト軽量化）では、現職教員研修はマスタートレーナーによる直接の研修ではなく、地方教育行政官を介したカスケード型の研修とする。

・ NULPパッケージ（コスト軽量化）では、学期中の教員に対するクラス訪問・助言は各学期5回（マスタートレーナーによる実施3回・地方教育行政官による実施2回）ではなく、各学期2回（地方教育行政官のみによる実施）とする。

・ NULPパッケージ（コスト軽量化）では、各クラスへの掛け時計の設置及び子どもへのスレート板配布は行わない。

上記の変更により、NULPパッケージ（コスト軽量化）においては、子ども1人あたりのコストが19.88米ドルから7.14米ドルへと、当初コストの64%相当が軽量化されました。

　Kerwin and Thronton（2021）は、ランダム化比較試験により、NULPパッケージ（フルコスト）と、NULPパッケージ（コスト軽量化）の各効果を検証します。調査対象校38校を選定し、NULPパッケージ（フルコスト）グループ（12校）、NULPパッケージ（コスト軽量化）グループ（14校）、それら介入が行われないコントロールグループ（12校）にランダムに割り当てました。調査対象校数は他の同種のランダム化比較試験に比べてかなり少なく、ランダム化比較試験により識別可能なアウトカム指標の差は、0.33標準偏差と見込まれました（仮に0.33標準偏差よりも小さな値で効果があったとしても、サンプルサイズが少ないことにより統計的に有意とは識別できません）。

　ランダム化比較試験において、子どもの読みについてはEarly Grade Reading Assessment（EGRA）と呼ばれる手法によりアセスメントが行われました。EGRAは、以下の6つのパートからなります。

① letter name knowledge（子どもにアルファベットを読ませ、正しく読めたアルファベットの数をカウントする。）

② initial sound identification（単語を聞かせてその単語の最初のアルファベットをあてさせ、正答の数をカウントする。）

③ familiar word recognition（子どもになじみのある単語を子どもに読ませ、正しく読めた数をカウントする。）

④ invented word recognition（実在しない短い単語を評価者が作成し、子どもに読ませ、正しく読めた数をカウントする。）

⑤ oral reading fluency（1分間に正しく読めた単語数をカウントする。）

⑥ reading comprehension（子どもに読ませた文章について質問を行い、正答の数をカウントする。）

また、筆記については、子どもに自分の名前を書かせ、また友達と何を行いたいかの文章を書かせました。前者の名前の筆記については文字を正しく書けているか、大文字と小文字を正しく使い分けられているかが確認されました（5点満点）。後者の作文については、書かれていることの内容や、単語の選択、文章の流暢さ等の観点で採点が行われました（各採点項目で5点満点）。さらに、それらの総合点もつけられました。

　では、Kerwin and Thronton（2021）におけるランダム化比較試験の結果をみてましょう。読みについて、NULPパッケージ（フルコスト）グループにおいては、前述の①letter name knowledge、②initial sound identification、③familiar word recognition、⑤oral reading fluency、⑥reading comprehensionにおいて統計的に有意に改善効果が確認されました。他方で、NULPパッケージ（コスト軽量化）グループでは、同パッケージ（フルコスト）よりも効果量が小さくなり、いずれにおいても統計的に有意な効果は確認されませんでした。なお、NULPパッケージ（コスト軽量化）グループでは、①letter name knowledgeを除く5パートについて、介入効果の推定値は0.1標準偏差を下回る値となりました。

　次に、筆記について、NULPパッケージ（フルコスト）グループにおいては、名前を書く問題のスコアが統計的に有意に正に向上した一方、友達と行いたいことの作文については、統計的に有意ではないものの、各採点項目にかかる介入効果の推定値は正でした。他方で、NULPパッケージ（コスト軽量化）グループでは、名前を書く問題のスコアが統計的に有意に向上した一方（効果量はNULPパッケージ（フルコスト）グループの約半分）、友達と行いたいことの作文については7つの採点項目のうち2つの項目で統計的に有意に負の効果が確認されました。

　では、なぜNULPパッケージ（フルコスト）グループとNULPパッケージ（コスト軽量化）グループの間で、上記の介入効果の相違が生じたのでしょうか。

　Kerwin and Thronton（2021）は、子ども達の読み書きのアセスメントに加え、調査対象校の第2学期に2回、第3学期に1回、調査員による授業観察を行いました。授業観察結果において、読みの指導については大きな相違がNULPパッケージ（フルコスト）グループとNULPパッケージ（コスト軽量化）グループの間には見られなかった一方、筆記については、2つのグループの間に相違が見られました。NULPパッケージ（フルコスト）グループにおいて、コントロールグループよりも、子どもが教員の板書を写す時間が少なく、代わって子どもが自分で考えて書く時間が多かった一方、NULPパッケージ（コスト軽量化）グループでは、子どもが教員の板書を写す時間の長さや、自分で考えて書く時間の長さについて、コントロールグループとの相違は見られませんでした。

　以上の結果をもとに、Kerwin and Thronton（2021）は、NULPパッケージ（フルコスト）グループとNULPパッケージ（コスト軽量化）グループの介入効果の間に相違が生じたメカニズムに関し、以下の可能性を論じています。

・ NULPパッケージ（コスト軽量化）グループにおいては、生徒へのスレート板の配布が行われなかったので、筆記の演習のための時間が十分にとられなかった（スレート板がないことで読むことの指導により教員が注意を傾注した可能性がある）。また、一般的に教員が新たな教授法を実践する際、慣れていないことから適切に実践できない可能性がある（Kerwin and Thronton（2021）は、Jカーブ効果と呼んでいます）。NULPパッケージ（コスト軽量化）グループにおいては、現職教員研修がカスケード型となり、教員のクラス訪問や助言の形式・頻度が変更されたことにより、教員が新たな教授法を十分に実践できるレベルに至らなかった。

　今回は、ウガンダにおける読み書き改善のための介入パッケージの実証に関し、Kerwin and Thronton（2021）を概観しました。Kerwin and Thronton（2021）は、介入パッケージのコストに着目し、コストを軽量化した介入パッケージを作成し、介入効果を比較し、介入パッケージにおける要素間の相互補完性（complementarity）について考察しました。

　教育開発援助における介入パッケージは、多くの場合、普及を前提として開発されます。一般的に、普及のためにはコストを縮減する必要がある一方、効果を高めるためには介入を厚くする必要があります。従って、費用と効果は、多くの場合、トレードオフの関係にあると言えますが、介入パッケージにおいて採用する教授法の選択や、介入要素間の関係等、介入パッケージの開発における可能性は幅広く、トレードオフの関係とは必ずしも言い切れないでしょう。費用を低くおさえながら高い効果をあげる方策はないか、あるいは同じ費用で効果を高めることはできないか等といった探索・試行錯誤の取組みは、教育開発援助における重要なプロセスの一つと思われます。

参考文献

Kerwin, Jason T., and Rebecca L. Thornton. 2021. “Making the Grade: The Sensitivity of Education Program Effectiveness to Input Choices and Outcome Measures.” The Review of Economics and Statistics, May 2021, 103(2): 251–264.
https://doi.org/10.1162/rest_a_00911　

Snilstveit, Birte, Jennifer Stevenson, Radhika Menon, Daniel Phillips, Emma Gallagher, Maisie Geleen, Hannah Jobse, Tanja Schmidt and Emmanuel Jimenez. 2016. The Impact of education programmes on learning and school participation in low- and middle- income countries. London: International Initiative for Impact Evaluation.
https://www.3ieimpact.org/evidence-hub/publications/systematic-review-summaries/impact-education-programmes-learning-school-participation-low-and-middle-income-countries　

White, Howard and Hugh Waddington. 2012. “Why do we care about evidence synthesis? An introduction to the special issue on systematic reviews.” Journal of Development Effectiveness, 4 (3): 351-358.
https://doi.org/10.1080/19439342.2012.711343

World Bank. 2018. World Development Report 2018: Learning to Realize Education’s Promise. Washington DC: World Bank.
https://www.worldbank.org/en/publication/wdr2018