loosely woven
More is less
最近、AIで書かれた論文をたくさん読むようになった。僕自身、AIで論文を書くことも増え、それによって論文はだいぶ書きやすくなった。その一方で、AIに論文を書かせすぎると、とても疲れる作業が待っている。それはレビューである。
AIが書いた文章は読みやすいというのは、ChatGPTが出た時に思ったことだが、AIが自律性を持って論文を書く場合、書かれた文章はとても読みにくい。これは特定のAIモデルに限ったことではなく、どのモデルでも読みにくい文章が出てくる。
なぜ大変なのかを考えてみた。僕の仮説はこうである。AIは書かれた文章を細かく理解できるので、「情報はたくさんあればあるほど良い」と考えているように見える。しかし人間には、一度に頭に入れられる情報量に限りがある（認知のボトルネック）。情報が多すぎると注意が散って、理解が阻害される。つまり人間にとっては、More is less であるが、AIにとってはMore is moreである。この違いから色々認知のズレが起きて読みにくい文章がでてくる。以下、これが現れる典型的な例を二つ挙げる。
一つ目は、数字の細かさである。AIが書く論文には、数字が文章中に本当に細かく書かれている。数字を一つ一つ取り上げて、「だからこうである」と説明する。図や表も密で、とてもカラフルである。
僕はこのような書き方をこれまでしてこなかった。なぜなら、論文は書いている途中で新しい実験が必要になったり、表や図が全く新しくなったりする。そのたびに本文を全て直さなければならないし、誤りなく表の数値を本文に移すこともとても労力がかかるからだ。また、読者が必ずしも細かい結果に注意を払っているとも考えられなかったので、僕はこれまで基本的に文章中での細かい結果の記述は控え、テキストでは鍵となるトレンド、そしてそれを説明する文といった情報の統合に重きを置いて書いてきた。こちらの方が文章は少なくて済むし、全体像がぼやけず、また著者の観点から見てもメンテナンスがしやすかったからである。
二つ目は、材料を最初に全部出すことである。数式の導出が分かりやすい。AIに数式を導出させると、大抵このような型にはまっている。まず記号を最初に一気に定義してしまう。「Xがこうで、Yがこうで、Zがこう」。その後に、その全て定義された記号を使って式をどんどん書いていく。これは非常に読みにくい。なぜなら人間は、その全ての記号を1つずつ記憶してからでないと式が理解できないからである。理解しやすい形というのは、情報を小出しにしていって一つ一つ積み上げるスタイルが良いと僕は思っている。AIはどちらかというと、最初に全て材料を出して、その後に全体の写真を一気に焼き付けるという方法を好むようだ。
同じ構造が、結果（Results）の章にも見られる。AIに論文を書かせると、まず実験の設定とデータについての章を作り、後の実験にわたる全ての設定をそこに書き込む。しかし、まだ見ていない実験の設定は、読んでも頭に入らない。
どちらも、AIが全ての情報を細かく理解できる一方で、人間の認知のボトルネックを考慮していないことから来ているのではないかと僕は考えている。
なので僕は以下の点をAIに伝えるようにしている。
- 新しく出す情報は、その前の情報から理解できるようにする。
- 細かい数字は文の中には書かず、表や図で全ての結果が説明できるようにする。
- 細かい話は付録につけ、大事な点に絞って本文に書く。
一方で、定義されていない言葉が散りばめられていたり、学術界の用語ではなくソフトウェアエンジニアの用語が使われていたりする問題は、実際に論文を読んで一つ一つ細かく指示を出す必要があり、一発でうまくいく方法を僕はまだ見つけていない。実際に読んで何が分かりにくいのか、何が不明瞭なのかをいちいち伝えるか、自分で直してしまう必要がある。
これらをやると、情報を減らしたぶん文章は多少読みやすくなる。ただ、結局大部分を自分が書いているようにも感じてしまうので、AIライティングの使い方については今後も研究していきたい。