ChatGPTの英文校正能力について
最近大きな話題になっているChatGPTですが、質問や作文などのほか、英語で書かれた文章について校正を行わせることが出来ます。今回は、ChatGPTについて、英文校正でのパフォーマンスを検証してみました。
AIに入力するテキストには、筆者とその知人が過去に執筆した英語論文やアブストラクトを用いました。これらの原稿は、アメリカ・ヨーロッパの英語ネイティブに英文校正に出しており、AIの出力と人間エディターの校正を比較しました。また、ChatGPTとの比較対象として、Grammarlyを使用しています。Grammarly、ChatGPTともに無料版のものとなります。
関連ページ
Grammarlyの校正は優秀だが修正数が少ない
まず、Grammarlyですが、修正候補としてサジェストする内容は、人間エディターと重なる部分が非常に多くなっています。タイポ、助詞、テンス、定冠詞・不定冠詞の修正、また、文構造を把握して不要なコンマを除去するなど、正確で適切な出力内容が多く見られました。入力するテキストは専門的な内容になりますが、他のAIに時折見られる、明らかにおかしな修正内容や、変な振る舞いがありませんでした。
ただ、Grammarlyの問題としては、修正が加えられる部分が非常に少ないという点です。例えば検証に使ったアブストラクトの一つ（310語）の修正数は、以下の様になっています。
- 人間のエディター：26箇所
- Grammarly: 7箇所（そのうち、６箇所が人間の校正と合致）
- ChatGPT: 22箇所（そのうち、10箇所が人間の校正と合致）
Grammarlyのサジェストは、人間の修正と重なる部分が多いのですが、人間に比べて1/3以下の修正数となっています。恐らく、アルゴリズム的に、ミスである確率が高いものに限って、修正を出力しているのだと思いますが、それによって修正が行われずに放置されてしまっている誤りが多く見られます。
英語の得意な人が最終チェックとして使用する分には良いのですが、英語論文を書きなれていない人が使うと、英語の誤りが大量に残ったままとなってしまいます。
ChatGPTの校正も優秀だが、専用設計AIに及ばない場面も
一方、ChatGPTも、基本的な修正については優秀で、人間のエディターと重なる部分が多く見られます。例えば、
- 文頭のfor＋v-ing+目的語+カンマを、to不定詞に置き換え
- 冗長で新たな意味を付け加えない部分の削除（“It is well know that”）
- タイポの修正（demonstrateded → demonstrated）
- 文字化けしていた”μm”を、テキストの他の部分から推測し、文字化け部分を置き換え
- あるパラグラフに含まれている複数の過去形の動詞を、現在形に正しく修正
- 複数名詞に対応して"was"→"were"に修正（これに関して、人間のエディターは見逃していた）
ただ、専門的な論文で長文が多く含まれるという状況では、定冠詞・不定冠詞の有無や使い分けに難があり、人間のエディターとは異なる変更を行うケースが多々見られました。
また、ChatGPTは、修正候補を出すことに慎重なGrammarlyとは対象的に、多くの修正候補を提示しようとする傾向が見られます。ここで問題なのは、提示された多くの候補が正しい訳ではなく、それによって新たなエラーを引き起こしているケースが見られることです。たとえば、
- コンマを除去すると意味が変わってしまう文で、コンマを除去している
- 期間を表す語句で、en dash をハイフンに置き換えてしまっている(10–20 → 10-20 )
- コンテキストから十分な情報が得られないにも関わらず、前置詞を勝手に変更（”in” → “on”）してしまう
- 数文まるごと、パラグラフごと削除してしまうケースがある
人間のエディターでも、問題のある文（可読性が低い・既に述べた内容の繰り返しで冗長など）を削除することはありますが、その場合、コメントが付けられ、削除理由が説明されます。ChatGPTの場合、削除理由を尋ねても、「削除してない」などのトンチンカンな回答が出てしまい、何が問題で削除されたのかが分からない状況となっています。
AIが誤って削除？
さらに、ChatGPTには、文章を大きく書き替えようとする傾向が見られます。文法に限った校正をするために、“Please correct the grammatical errors in the abstract below.”と入力したにも関わらず、文意を変えてしまうレベルで修正を行う傾向が見られました。文法レベルでの修正をしたい場合には、“Please only correct grammatical errors.”など、かなり限定した修正を行うよう、AIに強く指示しておく必要があります。（ただ、ここまで言っても、文意を書き換える変更が出てしまいます。）
こうした原文の意図を損なう可能性のある修正については、人間エディターであればコメントで著者に確認を促すことが多いです。ChatGPTの出力ではこうしたコメントは行われないため、出力された内容が意図しないものになっていないかを逐一確認する作業が必要となります。
文法レベルの校正でのChatGPT評価
学術的な文章で、文法レベルでの修正に限った場合のパフォーマンスとしては、以下の評価が妥当な所かと思います。（5点満点での評価）
Grammarly (4.5) > ChatGPT (4.3) > QuillBot (4.2) > Linguix (4) ＝ Trinka (4)
Grammarlyを4.5としているのは、やはり提示される修正案の正確性が高く、校正で新たな誤りが加えられる可能性が低いことが大きいです。ChatGPTにも優秀な文法修正能力があるものの、学術分野・文法レベルという条件では、Grammarlyほどの正確性は見られませんでした。
（他のAIの特性や評価については、「AI校正の比較」に記載しています。）
ただ、専門用語が散りばめられていないような、専門外でも読みやすい文章については、ChatGPTの正確性がGrammarlyと同等以上となる場合がありました。ChatGPTに関するある論文では、非ネイティブの書いた英文を用いて検証しているのですが、人間が出力内容を評価したケースでは、誤りの見落としが最も少なく、間違った修正も少ないとの結果が出ています。
（⇒ ChatGPTに関する研究論文）
また、英文をより自然にしたい場合には、語彙の選択や文構造にまで変更を加えることができるChatGPTのほうが、向いているかもしれません。
論文執筆時のChatGPT有効活用法
ChatGPTには、文法レベルでの英文校正のほか、その特性を生かした有効的な使い方があります。
１．文やパラグラフを別の表現で書き換える
他のAIプログラムでは、パラフレーズができなかったり、回数に制限が掛かっていますが、ChatGPTでは、それらの制限なく、使用することができます。（ただし、無料版では、一度に入出力されるテキストの合計が英単語で約1500語までとなっています。）また、どの程度の言い換えを行うか、どのようなスタイルにするのか、自分の好みに合わせて指示することが可能です。
不朽の名作がギャル語で蘇る
２．文章を要約させる
文章要約はQuillBotにも可能ですが、同じことをChatGPTに行わせる事が可能です。また、細かく指示ができるので、「1000語の文章を、箇条書き3つに要約してください。１つの箇条書きは100文字までとします。」などの制限をつけて、生成することもできます。
３．表現したい内容をいくつかの短文にし、それをもとに文章を生成する。
書きたい内容があっても、どのように書こうか迷っている時には、表現したい内容をChatGPTに渡し、それらから文章を生成してもらうこともできます。「250語以内で」などの指示を出せば、それを満たす文章が作られます。
４．参考文献のスタイル変更
適当な参考文献をChatGPTのプロンプトに入力し、「以下の参考文献を、APA 7th Styleに適合するよう書き直してください。」としたところ、予想外に良い結果が得られました。
数回の試行で見られた結果は以下の通りです。
- 著者名の書き方を、Surname+イニシャルの並び方に統一している。
- APAのスタイルに合わせて、著者名の後ろに論文の発行年を移動させている。
- 略語で記載されていたジャーナル名を、正しくフルネームに直している。
- ページ番号が、P.100-3と言った記述であったのを、100-103と訂正している。
- 英語ではない言語の参考文献（ドイツ語？）で、本のタイトルの誤りを正しく修正している。
- チャット画面に入出力されるテキストはイタリック体に出来ないので、イタリック体にする部分を””で囲んでくれとお願いすると、必要な部分を囲んで出力してくれる。
- タイポについても正しく修正してくれる。
APAやMLAなどのスタイルであれば、AIに修正させたものを、ネットのスタイルガイド片手に再チェックすることで、ジャーナル投稿に必要十分となる時代が来たのかもしれません。
ただし、以下のようなトンデモ修正もありました。
- 著者名, et al.となっていた部分で、AIが省略されていた著者名を全て補い、書き直している。ただし、補った著者名は全て間違っており、そのような著者グループで発表された論文はなかった。
ChatGPTの問題点
１．入力・生成したデータがOpenAIに使用される可能性がある
無料版（有料版のAPIを使用したChatGPTサービス以外）については、入出力された内容が、ChatGPTの開発、パフォーマンス向上のために使用される場合があります。
OpenAI利用規約： https://openai.com/policies/terms-of-use
お前のものは俺のもの
OpenAIによるデータの使用を拒否するには、Settingメニューを開き、”Chat History &Training”をオフにする必要があります。こうすることで、新たな会話の内容はChatGPTのモデル向上と訓練のために使用されなくなります。（ただし、会話の生成から完全な消去まで、３０日間はデータが保持されます。）
Settingメニューから、チャット履歴の保存とOpenAIによるデータ利用を無効化できる
しかし、他の巨大IT企業でも不適切な個人情報の取り扱いが度々スクープされており、機密情報等について安易にChatGPTに渡さないことを心がける必要があるかと思います。
・テスラ元従業員、顧客の車が記録した動画共有していたと証言 (2023年4月7日)
https://www.bloomberg.co.jp/news/articles/2023-04-07/RSPBU5DWX2PT01
２．生成したデータは誰のもの？
OpenAIの利用規約によれば、ChatGPTによって生成した内容は、その内容に関するすべての権利がユーザーに譲渡され、販売、出版等の商業目的を含む何れの目的で使用する事ができます。
出力データはユーザーのものになるが、、、
ただし、出力されたデータは、ネット上で取得可能な大量のデータから学習されており、権利者のいる既存の文章を組み合わせて生成されている可能性もあります。
そのため、出力された文章を安易に研究論文に使用した場合、それによって研究者としてのキャリアに傷が付く可能性があることを認識しておくことが必要です。出力されたテキストは、あくまで参考としての使用にとどめ、それを元に自分で文書を書きましょう。