評価委員
アンケート結果

MIRU2022では、論文評価システムをCMTに変更してbiddingを導入したり、ジュニア評価委員を導入したり、幾つか新しい試みを実施しました。評価者に対して実施したアンケート結果を公開します。

At MIRU2022, we made some new attempts; we changed the paper evaluation system to CMT and introduced bidding and junior evaluators. Here is results of the questionnaire to evaluators.

論文評価のためのインストラクションが不十分と感じられた方に質問です。どのように改善すると良いでしょうか？ / This is a question for those who feel that the instructions for evaluating papers are inadequate. How can it be improved?

（6 件の回答 / 6 answers）

• 「論文の完成度には必ずしもこだわらず」と説明があったが，どこまで許容するか線引きが難しく，これを理由に評価を落とすのはインストラクションに反するように思われた．しかし，完成度が低く説明を理解するのにも苦労する論文があったので，もう少し判断基準が明確に示されると良いと感じた．

• 一項目でも高評価があれば口頭発表候補という基準だとほとんど候補になってしまうのではないかと感じました。だいたいの論文はアイデアは悪くないので、実験が研究モチベーションと紐づいていない（単にベンチマークを回しただけ）という場合の評価に悩みました。

• 落とすための査読ではないのでもう少し皆さん言葉遣いがpoliteかつencouragingになれば．．と思います

• ICMLなどの国際会議のように、言葉の言い回しの例など詳しいインストラクションがあると、はじめてのジュニア評価者には優しいと思いました

• どんな評価の仕方やコメントを書けば良いのかの例を知りたかった。書いていて、これで良いのかわからなかった。

• どのような言葉遣いや表現を気をつけるべきかの具体的なインストラクションがあると嬉しかったです。 私はICMLの査読しか担当したことはありませんが、ICMLのインストラクションはしっかりしていてわかりやすかったです。

MIRUの評価システムの改善点やコメントがあれば、お聞かせください。 / Please let us know if you have any comments or suggestions for improvements to the MIRU evaluation system

（18 件の回答 / 18 answers）

• システムの担当論文一覧に著者情報も表示されると良い．

• 初めてMIRUの評価委員をやりましたが、スコアの基準が分からずどう判定すればいいか困りました。ジュニア評価委員であったため割当が2本だったので、相対的に評価することもできず独断による判定となってしまったように思います。 今年に入ってから査読を頼まれる機会が増えてきましたが、他の会議や雑誌ではインストラクションもないことが多かったので、ジュニア評価委員のような制度は経験を積むために今後も継続してほしいと思いました。

• 実質は査読 (reviewing) なのに論文評価 (evaluation) と言い換えているのは違和感がある。国際会議へのステップアップとして考えるなら尚のこと一般的な査読であるべきなのでは？

• ジュニア評価委員制度を導入していただいたおかげで，査読者の気持ちを少し知ることができました．次回以降も是非参加させていただきたいです．

• 特にありません。

• 他の方の査読内容を見ることができ、大変勉強になりました

• 現状で問題ないかと思います．

• 高評価項目が1つでもあれば口頭発表候補というと何かしら新規性があればほぼ対象となってしまうのではないでしょうか？ACの方が負担でなければ現行でもよいですが、もう少し基準を高めても良いと思いました。

• 評価項目が「独創性」に偏っていると感じます。独創性のみであると、よく知られているが困難な課題に対する研究は「独創性が低い」ことになってしまうため、「挑戦的」かどうかを加えたらMIRUのコンセプトをより活かす評価軸になるのではないかと思います。

• ジュニア評価委員のシステムで査読を経験したことは、とてもためになりました。

• cmtへのリンクがメール本文にもあるとなお良かった

• 目論見通り，他の人の査読が見れるのはかなり有益なのではと思います． biddingあるのに「専門外ですが」と言う書き出しで裏付けのないメチャクチャなコメントされてる方がいてそこだけはちょっとどうなのか..とだけ思いました

• 今回初めてMIRUの査読評価に参加しましたが、ジュニア評価委員制度は正式な評価委員になるほどではない人が評価側に回る制度として良いと感じました。 評価項目について、論文の出来を評価する上で「この論文・研究をより良くするためのアドバイスを記入して下さい。」と「なお、レベルの高くない研究に対して、詳しく研究指導する必要はありません。」の両指示が衝突するケースに遭遇しやや混乱がありました（例えば、書きぶりや原稿の構成に改善点がある場合など）。 また、同項目において著者公開でweaknessを述べる場所がない点には賛成ですが、一方ACに論文の出来を通知する際に著者へのアドバイスという形式では書ききれない部分があったように思います。著者非開示でよいと思うので、評価の根拠を記入するために簡潔にweaknessを指摘する欄が別途あってもよいと感じました。

• 正直興味深い投稿でも致命的な点が欠落している場合があり、その場合は口頭発表には不適だと判断されるはずなので、一つ以上でもいい評価があれば口頭発表というのは言い回しを変えた方がいいかもしれません

• 著者側としてもMIRUの評価を何度も経験したが、日本語での投稿で、辛口でありながらも手抜きのない本気のコメントがもらえる機会としてMIRUは貴重である。改善点があるとしたら、レビュワーを論文ごとに3名つけられるとなお良いと思う。2名のみの場合、査読者の当たり外れ（評価がとりわけ辛めのReviewerに割当たる）の影響が、オーラル選定の結果に強く出やすいように感じる。

• bidding制を導入されたこともあり，ご依頼いただいた数や，専門分野は非常に適切であり，おかげで楽しみながら原稿を読み，評価コメントを書かせていただくことができました．次年度もこの形式ならば，お引き受けできると思いました．

• よく考えられていると思いました。

• 評価基準において、一つでも良い方に傾いていたら口頭発表に適していると判断してくださいとありましたが、アイデアがおもしろくても根本の問題について欠陥がある場合は口頭発表に不適になると考えています（例えば、なぜその手法を提案したのかの背景説明が不足しているなど）。 なので、ジュニア評価者などに向けては具体例などの評価基準について教示していただけると良いと思いました。