AR支援ネットワーク通信 (17) 「まとめの段階-その１」 横浜国立大学名誉教授 佐野正之

■はじめに

ARS@MUの研修会では１１月以降は「まとめ」の段階に入り、メンバーに個人的なアドバイスを与えることを中心に進めました。今回と次回はそこで出された質問の主なものに答え、その後、発表の仕方に関するアドバイスをします。

[質問―１] 調査を客観的にするためには、数量的なデータが必要だと言われています。そのため、事前と事後のテストをパラレルに行うことになっていますが、同じテストを使用すれば、記憶の影響で事後テストが良い結果になるかもしれないし、また、学習が進んでいるのだから成績が良くなって当然で、ARの効果だとは断定できないと思うのですが。事後テストと事前テストの関連を教えてください。

＜回答＞

結果をまとめて報告する時には、教師の印象や生徒の感想などの質的な証拠ばかりでなく、点数など数量的な資料があると、説得力が増すのは事実です。そのため、通常は事前調査で調べた生徒の実態が、AR後にどう変化したか数値で示します。例として「語彙力を伸ばす」を目的にしたARで、事前調査では英検の過去問を利用したとします。

すると、この場合の疑問は「事前調査と同じ語彙問題で、事後テストをしてもよいか」ということです。答えは「Yes」です。ただし、条件があります。事前と事後の間に少なくとも３ケ月が経過しており、かつ、正解を示していない場合です。期間が短ければ、問題への慣れや、正解が記憶に残っていることを防ぐためです。しかし、この原則が万能ではありません。たとえば、長文読解なら正解は示していなくとも、一度目を通した英文は早く理解ができるし、自由英作文も、一度扱ったテーマは容易に書きやすいからです。こうした場合は、同じレベルの別の問題を与えて調べるべきでしょう。

もう一つの疑問、「調査で出た結果をARの効果と判断してよいか」については、調査結果をそのまま、ARの成果だとは言い切れません。その前に解釈が必要です。事前と事後の成績比較は「調査結果」であり、それを解釈して「結論」を出す必要があるのです。

では、データを解釈するには、どうするのでしょうか。基本的には、「もし、このARを実施しないで、従来の授業を進めていたら、どの程度伸びが期待できたか。その数値と比較して、事後テストの結果はどうか？」という視点で考えます。もちろん、ARをしなかった場合の成績は実際は出てはいないので、たとえば、４月からARを始める７月までの伸び率と、９月から今日までの伸び率を比較して判断材料にします。また、前年度や他クラスと比較して資料を得ることもできます。

さらに重要な点は、数量的なデータだけに依存しないことです。理由は、数値はたまたまこの調査方法（たとえば、筆記テスト）で表れたARの結果の一部に過ぎないからです。成果全体を判定するには、日頃の授業記録や、小テストや自己評価、アンケート結果、生徒のつぶやきなどを総合して判断します。生徒のノートや作品、外部者の授業観察の際のコメントなども貴重な資料となります。これらを総合して効果を判定します。要は、数量的な結果も、ARの成果の一部と考えればよいのです。

これと関連して、事前と事後のテストをパラレルに実施することが難しい場合もあります。例えば、スピーキング力の調査などでは、生徒の能力が把握しきれない段階では、適切な基準の設定が難しいからです。そのような場合は、さしあたり、録音やコピーなどで資料だけを残しておきます。そして、まとめの段階で評価基準を定めて、それで事前と事後の変化を測定することもあります。たとえば、「教科書のトピックをもとに、ALTとのinterviewで会話を持続する力を伸ばす」ARの場合なら、事後調査の定期テストのinterview testの結果を、fluency（話した語彙数、turn の数など）、accuracy（単語の発音や文法・語彙の正確さ）、complexity （複文を使用しているかいなか）などで分析し、そこでの数値と開始時の数値を比較して、能力の伸びを捕らえることができます。

[質問―２] データの分析ではクラス全体を扱わなければならないのでしょうか。また、期末テストではなく、外部テストを利用したほうが信頼度が高まるのでしょうか。

＜回答＞

まず、最初の問題ですが、「クラスの改善」が目標なら、クラスの全員のデータを対象にします。しかし、「指導法の効果を調べる」のが目標なら、集めた資料から何を使うかを判断することが必要があります。無作為に数名を選んだり、「上位５名」「下位５名」を選択して調べて比較することもあるでしょう。分析対象の決定は、「このARは何を目標としているのか」というリーサーチ・クエスチョンとの関連で決定するのです。

2番目の外部テストの使用ですが、これには注意が必要です。先の例では、「語彙力を伸ばす」時の調査に英語検定のテストや語彙サイズテストを利用すると説明しましたが、補足の説明が必要です。たとえば、中学校の1年生で単語が書けない生徒が多いので、「単語を書く力を伸ばす」というリサーチをしたとします。この場合、当然、教師は教科書に出てきた単語を用いて発音練習や書く練習を多くします。その結果、事後調査では教科書に出てきたものに関しては、書ける単語は増えるでしょう。ところが、教師のほうが不安に襲われます。「書く力を客観的に調査するなら、外部テストを利用しなければならない」と思い始めるのです。そこで、英語検定の語彙で調査すると、練習した単語は書けるが、全体的には書けない。そこで、「書く力は伸びなかった」と結論づけてしまうことがあります。これでは、教師の当初の狙いからはずれ、誤った結論になってしまいます。

繰り返しになりますが、アクション・リサーチは一般的な真実を発見するためのリサーチではなく、今、目の前にいる生徒と自分が関っている授業改善のための調査なのです。ですから、リサーチの成果を総括するときには、リサーチ・クエスチョンで設定した目標の達成を判断するためのデータは必要ですが、それ以上に「客観的」であろうとすると、誤ったリサーチになってしまうのです。

(配信日 2009/03/01)