こんにちは。今日も歩きながら、最近ちょっと苦労していることを話してみようと思います。テーマは、論文の査読フィードバックについて。実はここ3週間ほど、あることにかかりきりになっていて、そこから「フィードバックってこうあるべきじゃないか」というアイデアが浮かんできたので、ゆるく話してみますね。

修正指摘が多すぎて3週間

きっかけは、投稿していた論文が「大幅修正・再投稿（メジャーリビジョンズ）」という結果で返ってきたことです。私の場合、論文が一発で通ったことはほぼなくて、大体メジャーリビジョンズで返ってくるんですよね。なので、それ自体はいつものことなんです。

ただ、今回これまでと違ったのは、指摘ポイントの数でした。とにかく多い。これを1個1個打ち返していくのがすごく大変で、気がつけばもう3週間かかっています。

で、この作業をやりながら考えたんです。私自身も査読を頼まれる側になることがあるので、「自分が査読者として書くときは、どう書くのが親切なんだろう？」と。そこで思い至ったのが、Must have（絶対に修正しないとダメ）の指摘とNice to have（修正した方が良い）の指摘は、明確に分けて返してあげた方がいい、ということでした。

Must have と Nice to have

Must have の指摘というのは、例えばこういうものです。「この書き方だと、データから言えることを大幅に超えてしまっているから、変えてくれないと掲載は認められない」とか、「データも結果も面白いんだけど、このストーリー展開ではロジックが通らないから、そこは直さないとダメ」とか。これはもう、絶対に変えなきゃいけない。論文の妥当性の根幹に関わる話です。

一方で、Nice to have の指摘も結構あるんですよね。「この統計の数字もあった方が良いからレポートしてください」みたいな話です。報告したら嬉しい人もいるかもしれないけど、大半の読者にとっては無くてもあまり困らない。論文の論旨にも影響はない。でも、それを提出するためには、もう一度計算し直して、表やグラフを修正する必要があって、意外に大変だったりする。

こうなってくると、書いている側としてはトレードオフが発生します。修正すれば論文の質が下がることはないので「あったらいいな」とは思う。だけど、そのために投下しなければならない時間も結構あって、それをやるなら次の調査に時間を使いたい、という気持ちも出てくるわけです。

そして、研究はコミュニティ全体でやっている営みですから、個人のトレードオフはそのままコミュニティ全体のトレードオフにもなりうるんじゃないかと思うんです。

真面目な人ほど、効率を奪ってしまう

ここからが、今日一番話したかったところです。

細かく大量の指摘をしてくる査読者って、意地悪な人ではないんですよね。むしろ逆で、一番ちゃんと読んでくれた誠実な人なんです。気づかなかったことを知らせてくれるのは、本当にありがたい。

だけど、色分けのないフィードバックを受け取った側は、「これ全部打ち返さないとアクセプトしてもらえない」と当然思うので、全部直すことになります。文章仕事によくある話ですが、1箇所直すと連動して他の部分も直さなきゃいけなくなって、結構な修正作業になる。下手をすると「もう1本論文が書けるよ」というくらいの時間がかかってしまう。

つまりここには、ちょっと逆説的な構造があると思うんです。査読者が真面目にやればやるほど、実はコミュニティ全体の効率性を奪っていくかもしれない、という。誰も悪くない。むしろ全員が誠実に振る舞っている。それなのに、全体としては研究コミュニティの貴重な時間が失われていく。悪意ゼロで発生する問題だし、指摘は間違っていないからこそ、誰にも止められないんですよね。

「指摘を減らす」ではなく「書式」を変える

じゃあ、どうすればいいのか。

細かい指摘は誠実さの表れなのだから、「指摘を減らせ」というのは方向として間違っている。指摘には教育効果もあって、「こういうところをちゃんと見なきゃいけないんだな」と著者が学ぶ機会にもなりますから。

だから、変えるべきは量ではなくて色分け、つまりフィードバックの書式だと思うんです。

Must have は「妥当な形に変えないとリジェクトになります」という話。Nice to have は「直した方がいいけれど、仮に直さなかったとしても私の判断には影響を及ぼしません」という話。この一言があるだけで、著者は自分の時間の使い方を自分で判断できるようになる。本人にとっても親切だし、コミュニティ全体としても、個人個人が有効な時間の使い方をできるようになるはずです。

ただし、Nice to have が10個も20個も積み重なると、論文としての体裁のクオリティはトータルで判断されるので、「全部直しません」だとさすがに多くの人にとって読みにくい論文になってしまうかもしれない。だから優先順位の高いものは直す。でも、その判断を著者に委ねられる、というのが色分けの価値だと思うんです。

というわけで、私は今度査読を引き受けるときから、そういう風に書こうと思っています。世界を変える話ではなくて、まず自分のフィードバックの書き方を変える。誠実さがコミュニティの効率を奪わないような、小さな工夫をしてみようと思います。これ、一般企業の職場のフィードバックでも同じ話があてはまるんじゃないかと思うんですよね。「Must と Nice の色分け」、意外に効くんじゃないでしょうか。

もしこの記事を読んで「うちの業界でもあるある」とか「こんな工夫をしてるよ」みたいな話があったら、ぜひSNSでシェアして、コメントで教えてください。

最後まで読んでくださり、ありがとうございます。また次回の「歩きながら考える」でお会いしましょう！