多肢選択型テスト項目作成ガイドライン

Haladyna, T. M., Downing, S. M., & Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied measurement in education, 15(3), 309–333. をベースに、少し改変しています。

随時修正していきます。

【内容について】

悪い例:文法の知識を測定したいのか、単語のニュアンスの知識を測定したいのか、何を主に評価したいのかがわかりにくい。

Q1. Choose the sentence that is grammatically correct and means "He felt sick." 

A. He has felt sick yesterday. (文法誤り) 

B. He felt sick yesterday. (文法正しい、意味合致) 

C. He has felt unwell since yesterday. (文法正しい、意味少し違う) 

D. He felt unwell yesterday. (文法正しい、意味少し違う)


悪い例: 本文の内容にあまり関係なく、さらには極一部の記述を記憶しているかだけを評価する

Q1. In the story, what was the name of the main character's neighbor's cat? 

A. Tama 

B. Mike 

C. Lucy 

D. Spot


悪い例:教科書の特定のページの会話を覚えているかどうかを評価する。

Q1. In the dialogue in your textbook (page 45), what did Lisa order?

A. Hamburger

B. Pizza

C. Salad

D. Curry Rice


悪い例:Q2を解くためにはQ1の正解を知っている必要があ

Q1. What is the longest river in the world? 

A. Amazon 

B. Nile 

C. Mississippi 

D. Yangtze 


Q2: The river mentioned in Question 1 flows through which continent? 

A. South America 

B. Africa 

C. North America 

D. Asia


悪い例:一般的な英語学習者の知識を遥かに超えた具体的すぎる知識を測定している。


Q1. Which subatomic particle mediates the weak nuclear force? 

A. Photon 

B. Gluon 

C. W and Z bosons 

D. Graviton


悪い例:テストとしては正解が存在しない、アンケートのような好みを聞く項目を出題する。

Q1. Which school uniform design looks the most stylish?

A. Sailor-style uniform 

B. Blazer and skirt/trousers uniform 

C. Gakuran uniform 

D. No uniform 


悪い例:問題文の前半は乗客数に関する長い記述だが、最後に全く関係ない運転手の帽子の色を尋ねている。

Q1. Imagine you are a bus driver. At the first stop, 10 people get on. At the second stop, 5 people get off and 3 people get on. At the third stop, 8 people get off and 2 people get on. What color is the bus driver's hat? 

A. Blue 

B. Brown 

C. Green 

D. Cannot be determined from the information.



悪い例:中学や高校生向けに前置詞の知識を問う問題に、不必要に難しい語彙を使用する。

Q1. Select the appropriate preposition: "The intrepid explorer traversed ______ the treacherous jungle." 

A. on 

B. in 

C. through 

D. at


形式について】

9. 単純な質問形式、穴埋め形式、最適解を選ばせる形式、二者択一形式、正誤問題(TF)、複数正誤問題(MTF)、選択肢同士を線で結ぶマッチング問題、図や文章を参照する必要がある文脈依存型問題を使用し、1つの文章に対して複数の項目をつけることはよい。ただし、複合多肢選択式は避ける。

悪い例:複合選択肢

Q1. Instructions: Read the sentences about animals below. Choose the option that shows which sentences are correct (true).


Sentences:

A cat says "wan wan" in English. 

An elephant is bigger than a mouse. 

A bird can swim in the sea. 


Options:

A. Only sentence 1 is correct. 

B. Only sentence 2 is correct. 

C. Only sentences 1 and 2 are correct. 

D. Only sentences 2 and 3 are correct. 

E. All sentences (1, 2, and 3) are correct. 



【スタイルについて】

悪い例:問題文に不必要に冗長な説明が含まれている。

Q1. In the vast realm of English vocabulary, words often have opposites, known as antonyms. Considering the adjective "difficult," which signifies something requiring considerable effort or skill to accomplish, understand, or deal with, select the word from the options below that conveys the contrary meaning. 

A. hard 

B. simple 

C. different 

D. long


【問題文について】

14. 問題文の指示が明確であることを確認する。

悪い例:問題文がGrammarだけでは、文法に関するどのような問題で、何を選択すれば良いかが不明である。

Q1. Grammar. 

A. She study English every day. 

B. He plays soccer well. 

C. They went to the park yesterday. 

D. We are watching TV now.


悪い例:問題文の単語(今回はThe heart)に続くセンテンスを選ぶというのはわかるが、指示文としては省略されている。

Q1. The heart: 

A. Is primarily involved in digestion. 

B. Has the main job of pumping blood. 

C. Is essential for breathing. 

D. Controls all our thoughts and actions.


悪い例:背景情報の部分が長すぎるうえに問題を解くためには不要である。

Q1. The vast, blue ocean, covering over 70% of our planet's surface, is home to an incredible diversity of life. Among these creatures, some breathe air, while others extract oxygen directly from the water using specialized organs. Considering an animal that resides exclusively in this marine environment and possesses gills for respiration, which of the following fits this description? 

A. Bird 

B. Dog 

C. Fish 

D. Monkey


悪い例:notが通常フォントのため肯定の問いと勘違いしやすい。

Which of these is not a primary color? 

A. Red 

B. Yellow 

C. Green 

D. Blue


悪い例:わかりにくい否定 (EXCEPT) が含まれている。

All of the following are primary colors EXCEPT: 

A. Red 

B. Yellow 

C. Green 

D. Blue


【選択肢について】

18. できるだけ多くの効果的な選択肢を作成する。数は3つで十分。

 悪い例:明らかに意味のカテゴリーが違う単語 (delicious) が選択肢に含められており錯乱肢として機能していない。

Q1. Choose the word that means the same as "diligent".

A. hardworking 

B. intelligent 

C. lazy

D. delicious


悪い例:正解になり得る選択肢が複数ある。

Q1. Which word can mean "clever"? 

A. smart 

B. intelligent 

C. bright 

D. wise


悪い例: テストの多くの問題で、正解がBに集中している。


悪い例 : 選択肢の順番に、昇順や頭文字のアルファベット順、本文に出現する順など、規則性がない。

Q1. How many prefectures are there in Japan? 

A. 50 

B. 47 

C. 38 

D. 43


悪い例:ある選択肢が、他の選択肢の意味に含まれている。

Q1. What time do you usually get up? 

A. Around 6:00 AM 

B. Before 7:00 AM 

C. At 6:30 AM 

D. In the morning


悪い例:選択肢の文法構造が異なっている。

Q1. What is your plan for the weekend? 

A. To visit my grandparents. (不定詞句) 

B. I will probably study. (文) 

C. Sleeping late. (動名詞) 

D. Maybe a movie. (名詞句) 


悪い例:明らかに語数が異なる選択肢があるため、正解かどうかを推測するヒントが選択肢で異なる。

Q1. According to the text, why is Mt. Fuji important? 

A. It's tall.

B. It's beautiful. 

C. It is a significant cultural and spiritual symbol for the Japanese people, often depicted in art and literature. 

D. Many people climb it.


悪い例:完全に正解であると言い切ることが難しい。

Q1. Which word best describes the weather today? 

A. Sunny 

B. Rainy 

C. Cloudy 

D. None of the above 


悪い例:選択肢のうち2つが当てはまった時点で「上記のすべて」が正解になってしまう。

Q1. Which of the following are fruits? 

A. Apple 

B. Banana 

C. Orange 

D. All of the above 


悪い例:問題文が肯定文なのに、選択肢に否定表現がある。

Q1. To maintain good health, which of the following is generally recommended? 

A. Eating vegetables. 

B. Not exercising regularly. 

C. Getting enough sleep. 

D. Not drinking too much sugary soda.


a. always、never、completely、absolutelyなどの具体的な修飾語

b. 問題文内の単語と同一または類似する選択肢

c. 文法的な不一致

d. 目立つ正解の選択肢

e. テスト受験者に正しい選択を示唆する他の選択肢 (ペアなど)

f. 露骨に馬鹿げた選択肢


悪い例:文脈からして明らかな誤答、文脈に無関係な選択肢が含まれている。

The heavy rain had a negative ______ on the crops. 

A. affect 

B. effect

C. elephant 

D. eat


悪い例:学習者が知らないような選択肢を使用する。

My brother ______ soccer every weekend. 

A. playeth 

B. plays 

C. player 

D. playable