Publications‎ > ‎Practical Papers‎ > ‎

056 testmon

『指導と評価』2004年8月号
「テスト問題の作り方(英語)」

靜 哲人(しずか・てつひと)
関西大学助教授

はじめに

 テスト問題は、主観的なものと客観的なものに分けることができる。得点が採点者の主観に影響される余地があればそのテスト問題は主観的であり、その余地がなければ客観的である。このふたつのタイプを比べると、主観テストは採点が大変であり、客観テストは作成が大変である。大変というよりも、優れた客観テストを書くには、専門的知識と職人的技能が不可欠なのである。この理由により本稿ではもっぱら客観テストにしぼって問題作成方法を論ずる。

多肢選択問題

 客観テストでもっとも広く使用されているものは多肢選択形式である。もっとも広く使用されているのはこの形式が汎用性が一番高いからだ。わが国では次のような形式をとることがほとんどである。

Which of the following will make a test more reliable?

A. To make the items more difficult
B. To increase the number of items
C. To shorten the adminisration time

最初のWhich...で始まる部分は、この問題が何に関する問いかけであるかを規定する役割があり、ステム(stem)と呼ぶ。続く3つの選択肢は1つの正解と2つの誤りから構成されている。誤っている選択肢のことをとくに錯乱肢(distractor)と呼ぶ。
 ステムとして次のように未完成文を用いることもできる。

If we want to make a test more reliable, we should
A. make the items more difficult
B. increase the number of items
C. shorten the adminisration time

 作成に慣れてくるとこの未完成文ステムのほうが応用範囲が広いので、本稿ではこの形式をもっぱら用いることにする。(ちなみに上の問題の正解はBである。「信頼性」(
reliability) はテスト論の専門概念なので、詳しくは靜著『英語テスト作成の達人マニュアル』(大修館)や靜訳『英語テストはこう作る』(研究社)等を参照されたい。)



多肢選択問題作成の手順

 多肢選択問題は原則として次の順序で作成するとよいものができやすい。

①テスティングポイントを決める
②ステムと正答選択肢を書く
③錯乱肢を書く

 以下、ひとつひとつみてゆく。例題は後に掲載する文章を本文として作成する。(正解は*で示す。)

① テスティングポイントを決める
 問う価値のある部分を問題にすることが何よりも大切である。能力のある読み手がこのテキストを読んだ後に記憶に残る情報はなにか、と自問してみよう。枝葉末節を問うと、「枝葉末節を気にしながら読め」というメッセージを生徒に発することになるので気をつけたい。
 枝葉末節ではなく幹に関する問題であったとしても、それだけでは不十分である。「木を見て森を見ず」(not see the forest for the trees)という表現がある。可能な限り「森」にかかわるような問題を作成することが、木と同時に森も見るような生徒を育てることになる。
 リーディングテストにおける森的アイテムとは、明示的には述べられていないことに関する事柄や、全体のまとめにかかわるような事柄、当該パラグラフの文章全体の中での位置づけなどに関わるものだ。

たとえばパラグラフ1に関する次のアイテムは木的である。、

What the author feels is "not coherent" is the fact that
A* Japanese names and Western names are treated differently
B Japanese people put their family names before their given names
C Japanese people's names appear in different forms from language to language

次のようなアイテムは森的である。

The first paragraph 
A describes the historical background for a problem
B* introduces a problem and proposes a solution
C explains the historical background for a problem with its solution

② ステムと正答選択肢を書く。

未完成文型のステムは、正答選択肢を続ければ完成した文になる。①で決めたテスティングポイントに関して完成した文を書くのがこの作業である。この時のポイントは、

●正答選択肢の中で本文そのままの表現を用いない

ことである。ある程度パラフレーズをしないと、意味がわからなくとも機械的な単語の照らし合わせ(mechanical matching)によって正解が導かれてしまう。パラグラフ2に関して、

Japanese people started flipping their names because they

というステムをたて、これに続く正解として
wanted to catch up with the West

としてしまっては catch up with の意味がわからなくとも正解が出てしまう。たとえば
were impressed with things Western in general

などと言い換える必要がある。

③ 錯乱肢を書く

 錯乱肢とは「知識・理解度の不足している受験者を迷わせるための選択肢」である。よって、正しく理解している者まで迷わせるようなものであってはならないし、そうでない者には十分もっともらしく(plausible)みえなくてはならない。
 普段から生徒の状況を観察し、知識・理解の不十分な者の陥りやすい誤解のパタンをよく把握しておき、それらにもとづいた錯乱肢を書くことが大切である。
 さてそれでは錯乱肢はいくつ必要であろうか。現在の標準テストではほとんどが、正答1+錯乱肢3の4選択肢形式をとっている。しかし今日までの実証研究の結果をみてみるとほぼすべてが実は正答1+錯乱肢2の3選択肢形式の有効性を示しているのである(Haladyna & Downing 1994など)。見かけ上は4つの選択肢があるように見えてもそのうちの1つはほとんど誰にも選ばれず、実質上は存在しないのと同じということが多いのだ。つまり

●選択肢は3つで十分

なのである。
 「でたらめにやっても33%は当たってしまう」というのがよく聞かれる懸念だが、次の理由でその心配は無用である。

(1)2選択肢でも5選択肢でも、十分な数の問題があれば、能力の低い者の正答数は能力の高い者の正答数より小さくなる。
(2)時間が十分にある状況では、でたらめな選択をする者は非常に少ない。
(3)見かけ上の正答数が高くなるのが不満なら、33%分の得点を全員から減点する、という方法もある。(不要な操作であるが。

 よって筆者は3選択肢形式を強く薦める。選択肢は量より質である。誰も選びそうもない4つ目の選択肢を書くよりも、それぞれ魅力のある錯乱肢を2つ書くほうがよい。そしてこれまで4つ目の選択肢を書くのに費やしていた時間と労力を、あらたな問題を書くのにまわすのである。テストの信頼性のためにはなによりも問題の数を増やすことが重要だ。総選択肢数が120だとするなら、4選択肢問題を30作るより、3選択肢問題を40作ったほうが信頼性は高くなる。
 つぎに、本文がノンフィクションの場合には

●背景知識で正解できる選択肢を書かない

よう注意が必要だ。ステムと選択肢を見ただけでどれが正解がわかってしまう、という問題は思いのほか多い。最もよいのは、アイテムが完成した後に、同僚に本文を伏せてアイテムだけを提示し、正解が特定できないか確認してもらうことである。次の問題は本文を読まずに正解できてしまう。

In most Japanese English newspapers, Japanese people's given names are

A always printed as initials
B written after their family names
C* put before their family names

 また、正答選択肢は、正答であることを確実にしようとするあまり、往々にして錯乱肢よりも長くなりがちである。たとえば

The author believes that, if flipping is stopped,
A* there may be some misunderstandings at first because Westerners may take Japanese family names as their given names. 
B Westerners will have a chance to explain Western ways
C it will be a good chance for Japanese people to learn about Western culture

これではすぐAが正解と分かってしまう。because以下を削除するとちょうどよい。このように

●選択肢の長さは可能な限りそろえる

ことが必要だ。どうしても無理なら、すべて長さを変えるなどする。
 では次のアイテムの問題点は何だろうか

The author seems to imply that
A stopping the name flipping may result in the Japanese language becoming more international
B stopping the name flipping may help Westerners realize that some people do not have last names
C* stopping the name flipping may lead to widening Westerners' cultural horizons

 選択肢の冒頭にstopping the name flipping may という同じ文言が繰り返され、受験生の時間と紙資源を無駄にしているのがまずい。重複する文言はステムにまわし、

The author seems to imply that stopping the name flipping may

のようにする必要がある。つまり、

●選択肢中に同一文言を極力使わない

ことだ。共通な部分はすべてステムに集め、選択肢は異なる部分だけで構成できると理想的で、取り組みやすい問題となる。

おわりに

 作成に手間をかければかけるほど、自分の作った問題はわが子のようにかわいくなる。しかし「親バカ」ほど危険なものはない。実施前に必ず同僚などに試行してもらい、フィードバックを謙虚に受け止めて修正に役立てることが大切だ。
Today, in most English newspapers, Japanese people's names are written in Western style, their given names put before their family names. On the other hand, Western people's names are not written in Japanese style even when written in Japanese. For instance, "Tiger Woods" never appears as "ウッズ・タイガー" in Japanese papers. This is clearly not coherent. I suggest that our strange practice of name flipping should be abolished immediately.
The flipping seems to have its roots in the Japanese mentality in the Meiji Era. In 1853, the U. S. Navy came to Uraga and opened feudal Japan to the world. After that, the Japanese started doing many things in Western ways to catch up with the West. Writing their names Western style when dealing with Westerners, which began in the 1870's, was one of such attempts.
Other nations in the Eastern Asia, however, were never quite so happy as the Japanese to adopt Western ways. In many other Asian countries, people's names appear in English newspapers in their original style. Think about South Korea's president Roh Moo-hyun. Roh is his family name and Moo-hyun is his given name. His name is never printed as Moo-hyun Roh.
Flipping should be stopped in Japan as well. If Westerners are confused, that will be an excellent opportunity for us to tell them a little bit about our culture. The majority of Westerners seem to take it for granted that people's "first" names are always their given names and their "last" names are automatically their family names. However, isn't a Japanese person's "first" name his or her family name because it comes first?

引用文献
Haladyna, T. M. and Downing, S. M. 1993: How many option is enough for a multiple-choice test items? Educational and Psychological Measurement 53, 999-1010.
Comments