2016年10月のメッセージ

評価者を評価するのは誰？

先月に続いて、研究助成の応募書類を審査中です。先月はそれぞれの審査委員が一次審査をしていましたが、その結果が届いて二次審査に入りました。一次審査で私は、流行のキーワードを散りばめた派手な宣伝は読み飛ばして、その後に残るコアなメッセージを評価をしました。他の審査委員とはあまり意見が合わなかったようです。しかし、評価が人によって異なるのは当然のことです。厳密に評価基準を決めて数値的に評価しようという試みも多くありますが、評価基準が異なれば評価結果も変わります。審査基準としてたとえば、独創性5点、関連論文引用件数5点、経費の適切さ5点、計画の妥当性5点で計20点満点と設定したとします。そうすると審査委員の間に、あまり大きな点差は生まれません。しかしこの４項目だけを選んでその重みをすべて５点にすることは、正しい基準でしょうか？たとえば、過去の関連論文は皆無だけれども、とても説得力があって斬新で成果が期待できるといった提案は､先に述べた２０点評価では点が取れずに採択されません。評価基準を変えれば、採否は変わるのです。私は、審査委員ごとに判断基準が違った方が良いと思います。そうすることによって審査基準に多様性が生まれます。その結果、採択される提案も多様化することでしょう。しかし、事務局は審査基準を厳密に細かくしたがります。その結果、突拍子もない優れた個性のある提案が採択から漏れてしまいます。

基準を厳密に設けるのは、日本人が平等・公平性をとても大切にするからです。その行き過ぎが、大学入試です。AO入試や推薦入学、後期試験など、様々な試みがなされてきてはいるものの、依然として日本の大学入試はセンター入試と各大学の筆記試験が主です。筆記試験の採点では受験票に載っている受験生の氏名も顔写真も卒業高校も何も見てはいけません。それらを知ると採点者が受験生を平等に審査しないかもしれないと心配するのです。しかし、企業の入社採用試験では、受験生の一人一人の顔を見て、履歴書を見て、しっかりと話を聞いて、そして合否を決めます。合否判定は、面接をする人事担当者によって異なるはずですが、それでも応募者の「ひと」としての情報をできるだけ判断材料に使うことでしょう。

オクスフォード大学の入学判定は、画一的筆記入試ではなくそれぞれのカレッジのそれぞれのフェローが行います。顔を見て履歴書も見て面接します。日本の大学受験では許されないやり方です。しかし、大学入試も研究助成も全員を合格させないという時点において、すでに平等・公平性が失われているのです。

もし優れた人材を不合格にしてしまったら、誰が責任をとるのでしょうか？しかも一回だけではなく何度も繰り返しているとしたら、審査した人たちが責任をとるべきでしょう。審査基準（ガイドライン）に従えば責任を取らずにすむかもしれません。しかしそれでは、責任でもって自分の判断で優れた人材を選びぬいたことにはなりません。

科研費の審査に不満を持っておられる研究者が大勢おられます。自分の分野は採択率が悪いとか、有名大学でないと採択されないといった不満をよく聞きます。しかし、実は科研費審査は極めて公正です。分野間の採択率は同じですし、地方大学や私学、女性などのマイノリティーは同じスコアならむしろ優遇されます。そしてもっと大切なことは、科研費審査をする人が厳しく審査をされていることです。審査結果は数値だけではなくその理由を詳しく説明することが求められていますし、他の審査員と著しく違った結果があると（多数が正しいとは限らないので、違いは大いにあっても構いません）、その妥当性をチェックされます。評価者が評価されているので、科研費審査は公正だと思います。

一方、評価者や審査委員が評価や審査をされないケースは大変危険です。研究助成ではこれはまず起こらないのですが、国のプロジェクトの場合は怪しいケースがあり得ます。とても真剣に教育に取り組んでいる高校が、国のあるプログラムの助成の申請をして残念ながら採択されなかったとしましょう。これは国が設置した評価委員会の判定の結果です。しかし、評価委員会の委員は書類を見るだけで、実際の高校の日常活動を一日すらじっくりと見ることなく、その高校の生徒さんたちにじっくりと話を聞くことすらしないままで、判定したかもしれません。評価委員会はその責務を果たしているとは言えず、失格です。旅費がないとの理由で役所が評価委員の方々を現地（地方）に行かせることをしなかったら、役所が無責任でありプログラム推進するには失格と言うことになるでしょう。

大学の研究所や拠点などの組織の評価も、分厚い書類を各評価委員に配って先に述べたような評価基準に基づいてスコアをつけて、１件たった２０分程度のヒヤリングで決めようとするかもしれません。これでは責任ある評価はとてもできません。私は海外の研究所からも定期的に評価を求められますが、３日かけて実験室をつぶさに見て回り学生やポスドクとも個別に話をして、そして判断を求められます。評価が研究所の存続や研究室の存続に関わるなら、これぐらい丁寧にしないと評価とは言えません。

評価とは「人」や組織をランク付けすることです。そんな重大なことを書面だけを見て、短い時間で判断することはとても危険です。プログラムを作った人たち、評価基準を作った人たち、そして評価をする人たちを評価する仕組みが必要です。そして、それもパターン化してはならないのです。多様性を認めることが必要です。

国の様々なプログラムは、その是非を評価する人がいません。プログラム実施者を評価する人たちはいても、評価者を評価する人がいません。評価者を評価する人がいないなら、評価はむしろしない方がいいように思います。

ゆとり教育というプログラムは間違いだったのか成功だったのか、これまでのセンター入試は間違いだったのか成功だったのか、教養部解体や大学院重点化は間違いだったのか成功だったのか、独立行政法人制度は成功だったのか間違いだったのか、それらは厳しく評価されるべきでしょう。それをせずに次々と新しい施策をつくってはだめです。これらの施策によって、教育の現場はさんざん評価されてきたのです。それをつくった側も評価されなければ、教育の正しい未来は見つからないと思います。

大学で不正が起きると調査委員会が設けられ、関係者が調査を受けます。その調査委員の人たちを調査することも大切です。そして、調査委員の選び方も評価されるべきでしょう。

豊洲の盛り土をしないことを決めたりオリンピック経費を数倍に増大させた人たち、それをウォッチすべき委員会や議会の方々、知らないふりをした役所の方々、この組織にはこの人たちを評価する仕組みがありませんでした。個人の問題というよりは、評価を受けることなく責任を取ることなく２，３年ごとに部署を変わるという役所の仕組みが問題でした。役所の仕組みを評価するのは、都民・国民に選ばれた都知事や国会議員といった政治家の方々です。この面倒な評価をやろうとしている政治家たる都知事は立派です。彼女らを安易に批判する人たちは、評価制度を理解できていません。彼女らを選んでその仕事を委託したのは、都民・国民です。評価システムがどうできあがるかを、皆でしっかり見極めることが大切でしょう。

さて、先月来の助成金の審査に戻って、

もし歴史に残る研究成果を挙げたければ、流行の研究や技術など全く無視をして、孤立奮闘でオリジナルな研究をされるのがいいと思います。しかし助成金がほしければ、流行のテーマを組み合わせて派手に大げさに書く方がいいかもしれません。どっちを選びますか？

＜前月のメッセージ＜ ＞次月のメッセージ＞