AI生成コンテンツ探知ツールの比較
2023年に入り、ChatGPTを始めとするAIソフトが様々な場面で活用されるようになってきました。AIは社会に大きな変革をもたらすと期待されていますが、一方で、AIが生成したコンテンツの著作権問題や、AIによってブーストされた「ペーパーミル」（科学論文を製造して販売する業者）による偽論文の急増、学生が課題をすべてAIに投げてしまうケースなど、様々な問題も生じています。
このページでは、AIが生成したコンテンツを探知することができるソフトについて、そのパフォーマンスを検証してみました。
著者のポジションを販売するペーパーミルのウェブサイト（Paper Mills Research report from COPE & STMより）
関連ページ
検証結果のまとめ
１．ChatGPTで100%生成したテキストは探知することができる。
今回の検証では、ChatGPTによって完全に生成された文章を探知することができています。多くのジャーナルや国際会議などは、AI探知ソフトの使用が編集プロセスに組み込まれてきていると思いますので、疑義を向けられるような使い方は避けたほうが良いでしょう。
また、企業の採用部門、入学エッセイの採点者、学生を指導する大学教官など様々なところにも、こうした流れは広がっていくと思われます。文章の作成をChatGPT任せにした場合、それによって大きな不利益を被る可能性があることを認識しておくべきでしょう。
２．パラフレーズなど、ChatGPTに大きな変更を行なわせた場合、AI生成の可能性があると判定されるケースがある。
オリジナルの文章をChatGPTにパラフレーズさせるなど、大きな変更を行なわせた場合、AI生成の可能性があると判定されるケースが出ています。パラフレーズされたものをそのまま使うのではなく、さらに自分で推敲して変更を加たほうが良いかと思います。
３．ある時点で有用な探知ソフトが、AIのバージョンアップにより、役に立たなくなる場合がある。
Nature関連誌に掲載された論文では、あるAIコンテンツ探知ソフトが非常に有用で、ChatGPT生成の偽アブストラクトを発見することが出来ていました。実験から数ヶ月が経ち、ChatGPTに何回かのバージョンアップが加えられた現在では、全く探知出来なくなっています。現時点で有用とされるソフトを調べて使うことが必要となります。
４．AI探知ソフトを使用する場合には、一つのソフトを単体で使うのではなく、別のソフトを組み合わせて使うほうが効果的
AI生成コンテンツの判定では、偽陽性と偽陰性が常に発生します。単独のソフトに頼るのではなく、複数のソフトを使用したほうが良いでしょう。
AI生成コンテンツ探知ツールの検証方法
今回の検証では、ChatGPTに生成・校正させた文章をAI探知ソフト（無料版のもの）に入力し、どの程度の検知能力があるかを調べました。各AI探知ソフトに入力するテキストは、次の手順で生成を行っています。
まず、高インパクトファクターである国際ジャーナル5誌（JAMA、NEJM、BMJ、Lancet、Nature Medicine）の最近出版された号から、論文タイトルとそのアブストラクトを、一編ずつ収集しました。ここから、AI探知ソフトに入力するテキストを以下のように生成します。AIテキストの生成には、無料版ChatGPT（ChatGPT May 12 Version）を使用しています。
１． AIが100%生成したテキストを作るため、論文タイトルをChatGPTに入力し、そのタイトルから新たなアブストラクトを生成させます（「生成した要旨」）。
ChatGPTへの命令文: Please write a scientific abstract for the article [title: xxx].
２．論文のオリジナルのアブストラクトをChatGPTに入力し、アブストラクトをパラフレーズさせます。（「パラフレーズした要旨」）
ChatGPTへの命令文: Please paraphrase the abstract below.
３．論文のオリジナルのアブストラクトをChatGPTに入力し、アブストラクトに軽い校正を行なわせます。（「軽い校正をした要旨」）
ChatGPTへの命令文: Please proofrad the abstract below.
４．上記国際ジャーナルから収集したオリジナルのアブストラクト。ChatGPTで手を加えず、オリジナルのまま使用します。（「オリジナルの要旨」）
ChatGPTがテキスト変更に関与した度合いは、番号順に低くなっていき、１. 「生成した要旨」（100%）→ ４. 「オリジナルの要旨」(0%)となります。
「生成した要旨」、「パラフレーズした要旨」、「軽い校正をした要旨」、「オリジナルの要旨」を、AI探知ソフトに入力し、その結果をまとめたものが、以下の通りとなります。探知成績の良かったものから、順に掲載しています。
検証の制約
今回の検証では、ChatGPTに生成・校正させたテキストを使用しています。もし別のAIに文章の生成を行なわせた場合、探知ソフトによっては、全く異なる結果となる可能性があります。
（ChatGPTで100%生成したテキストをQuillBotにパラフレーズさせた場合、AI判定値が劇的に下がるケースが確認されています。）
各ソフトウェアのテスト結果
Hive Moderation - AI-Generated Content Detection
https://hivemoderation.com/ai-generated-content-detection| 生成した要旨 |
|---|
| パラフレーズした要旨 |
| 軽い校正をした要旨 |
| オリジナルの要旨 |
| JAMA | NEJM | BMJ | Lancet | Nature Medicine |
| 99.9% | 99.9% | 99.9% | 99.9% | 99.9% |
| 0.2% | 0% | 88.9% | 70.3% | 0% |
| 6.8% | 0% | 0% | 0% | 0% |
| 0% | 0% | 0% | 0% | 0% |
Hive ModerationのAI探知ソフトでは、入力テキストがAI生成である可能性がパーセンテージ値で表示されます。完全に生成したコンテンツの値は高く、AIによる関与度が下がるほど値が低くなっています。今回使用したAIテキスト探知ツールの中では、最も優秀な探知成績を残しています。
OpenAI - AI Text Classifier
https://platform.openai.com/ai-text-classifier| 生成した要旨 |
|---|
| パラフレーズした要旨 |
| 軽い校正をした要旨 |
| オリジナルの要旨 |
| JAMA | NEJM | BMJ | Lancet | Nature Medicine |
| unclear if it is | unclear if it is | unclear if it is | unclear if it is | unclear if it is |
| unlikely | unlikely | unclear if it is | unlikely | unlikely |
| unlikely | unlikely | unlikely | unlikely | unlikely |
| unlikely | unlikely | unlikely | unlikely | unlikely |
AI Text Classifierは、OpenAI製のAI生成テキスト探知ツールとなります。入力テキストがAI生成であるかについて、非常に可能性が低い（very unlikely）、可能性が低い（unlikely）、不明である（unclear if it is）、可能性がある（possibly）、AIで生成された可能性が高い（likely）、の5段階で評価が行われます。
完全に生成した要旨への判定も「不明である（unclear if it is）」と控えめな判断ですが、要旨5本ともすべてこの評価となっています。一方で、オリジナルの要旨や軽い校正を行ったものは、全て可能性が低い（unlikely）と判定されています。
※8/18 追記：
AI Text Classifierは探知精度が低いという理由で、7月20日をもって提供が終了しています。
ChatGPT生成文書の探知は優秀なレベルだと思うのだが、、、
Paraphrasingtool.ai - AI Content Detector
https://paraphrasingtool.ai/ai-content-detector/| 生成した要旨 |
|---|
| パラフレーズした要旨 |
| 軽い校正をした要旨 |
| オリジナルの要旨 |
| JAMA | NEJM | BMJ | Lancet | Nature Medicine |
| It's likely that a human wrote this text | It's likely that a human wrote this text | It's likely that AI wrote this text | It's likely that a human wrote this text | It's likely that a human wrote this text |
| Text may contain AI-written sentences | Text may contain AI-written sentences | It's likely that a human wrote this text | It's likely that a human wrote this text | It's likely that a human wrote this text |
| Text may contain AI-written sentences | Text may contain AI-written sentences | It's likely that a human wrote this text | It's likely that a human wrote this text | It's likely that a human wrote this text |
| It's likely that a human wrote this text | It's likely that a human wrote this text | It's likely that a human wrote this text | It's likely that a human wrote this text | It's likely that a human wrote this text |
AI Content Detectorでは、人間の書いたテキストであるか、AIが生成した可能性があるかどうかが、文章で表示されます。オリジナルの要旨は全て人間の書いたものと判定できていますが、AIが生成した要旨は、1本のみがAI生成の可能性があると評価されています。また、「パラフレーズした要旨」「軽い校正をした要旨」については、5本中2本が、AIの生成した文が含まれる可能性があると判定されています。
これ以降は、あまり思わしくない結果となったAI探知ソフトとなります。
Content at Scale - AI DETECTOR
https://contentatscale.ai/ai-content-detector/| 生成した要旨 |
|---|
| パラフレーズした要旨 |
| 軽い校正をした要旨 |
| オリジナルの要旨 |
| JAMA | NEJM | BMJ | Lancet | Nature Medicine |
| 67% | 51% | 76% | 94% | 83% |
| 74% | 77% | 93% | 93% | 100% |
| 49% | 86% | 95% | 75% | 100% |
| 96% | 46% | 95% | 89% | 100% |
表中の数値は、入力テキストが人間に書かれた可能性を示しています（%が高くなれば、より人間に生成されたものと考えられる）。「生成した要旨」では50-70%台が3本、「パラフレーズした要旨」では70%台が2本と、AIが関与した可能性を示していますが、「軽い校正をした要旨」「オリジナルの要旨」では、それよりも低い40%台が一つずつ出てしまっています。もし本ソフトを使用する場合には、他の探知ソフトと組み合わせることが必須となるかと思います。
WRITER
https://writer.com/ai-content-detector/| 生成した要旨 |
|---|
| パラフレーズした要旨 |
| 軽い校正をした要旨 |
| オリジナルの要旨 |
| JAMA | NEJM | BMJ | Lancet | Nature Medicine |
| 59% | 100% | 100% | 100% | 100% |
| 79% | 99% | 97% | 99% | 100% |
| 100% | 92% | 100% | 97% | 100% |
| 100% | 97% | 100% | 99% | 100% |
表中の数値は、人間によって生成された可能性を示しています。値が高くなれば、より人間に書かれた可能性が高いと判定されます。全体的に人間が書いた可能性が高いと評価される傾向にあり、生成した要旨でも5本のうち4本が100%判定となっています。探知性能は上述したソフトと比べて良くないため、現状としては、あまり利用する価値は無いかと思います。
GPT-2 Output Detector
https://openai-openai-detector--g5s42.hf.space/| 生成した要旨 |
|---|
| パラフレーズした要旨 |
| 軽い校正をした要旨 |
| オリジナルの要旨 |
| JAMA | NEJM | BMJ | Lancet | Nature Medicine |
| 15.72% AI | 0.02% AI | 0.02% AI | 0.02% AI | 0.02% AI |
| - | - | - | - | - |
| - | - | - | - | - |
| - | - | - | - | - |
GPT-2 Output Detectorは、2023年4月にNatureの関連誌であるnpj Digital Medicineで出版された論文、“Comparing scientific abstracts generated by ChatGPT to real abstracts with detectors and blinded human reviewers” で、AI生成テキストの探知に使用されたソフトウェアです。この研究の中で、同ソフトウェアは、AI生成テキストの探知に良好な結果を残しています。
https://www.nature.com/articles/s41746-023-00819-6
研究の中でAIテキストの生成に使われたChatGPTは “Version Dec 15”となっており、現在のものは、それから幾度ものアップデートが加えられています。そのため、現行の“Version May 12”で生成したテキストについては、ほとんど探知ができない状態となってしまっています。また、デモとしてウェブ上で提供されているアプリは実行速度が非常に遅く、「生成した要旨」以外のものは、いつまで経っても判定が出ない惨状となっています。2023年6月の時点では、使用する意味は全くありません。
Sapling - AI Detector
https://sapling.ai/ai-content-detector| 生成した要旨 |
|---|
| パラフレーズした要旨 |
| 軽い校正をした要旨 |
| オリジナルの要旨 |
| JAMA | NEJM | BMJ | Lancet | Nature Medicine |
| Fake: 15.4% | Fake: 24.9% | Fake: 0.0% | Fake: 0.0% | Fake: 22.7% |
| Fake: 0.0% | Fake: 0.3% | Fake: 22.8% | Fake: 0.0% | Fake: 0.0% |
| Fake: 0.0% | Fake: 30.2% | Fake: 22.0% | Fake: 0.0% | Fake: 0.0% |
| Fake: 0.0% | Fake: 0.0% | Fake: 0.0% | Fake: 0.0% | Fake: 0.0% |
オリジナルの要旨では、AI生成の可能性スコア（Fake）が全て0%となっているものの、完全に生成した要旨では何れもFake値が低く、そのうち2本については0%と判定されてしまっています。
また、AI生成の可能性がある文をハイライトしてくれる機能がありますが、完全オリジナルの要旨でも、多くのハイライトが付けられてしまうなど、イマイチな結果となっています。
ZeroGPT
https://www.zerogpt.com/| 生成した要旨 |
|---|
| パラフレーズした要旨 |
| 軽い校正をした要旨 |
| オリジナルの要旨 |
| JAMA | NEJM | BMJ | Lancet | Nature Medicine |
| 66.92% | 60.44% | 56.38% | 17.23% | 12.89% |
| 51.87% | 82.42% | 33.97% | 9.33% | 0% |
| 69.37% | 95.05% | 37.83% | 11.07% | 0% |
| 33.52% | 93.95% | 0% | 0% | 0% |
パーセンテージ値が高いほど、AI生成の可能性が高いと判断されます。生成した要旨、パラフレーズした要旨などの各カテゴリー内で、AI判定値に大きなばらつきが見られます。完全に生成した要旨では2本が10%台、オリジナルの要旨でも、AI生成93.5%と判定されるものが出ています。また、「生成した要旨」「パラフレーズした要旨」「軽い校正をした要旨」をカテゴリー別に比較した場合でも、AI関与度に伴う差があまり出ていません。現状としては、AIコンテンツ探知に使うのはあまり有用ではないかと思います。
Writefull GPT Detector
https://x.writefull.com/gpt-detector| 生成した要旨 |
|---|
| パラフレーズした要旨 |
| 軽い校正をした要旨 |
| オリジナルの要旨 |
| JAMA | NEJM | BMJ | Lancet | Nature Medicine |
| 13% | 1% | 1% | 1% | 1% |
| 1% | 1% | 5% | 4% | 1% |
| 1% | 5% | 1% | 1% | 1% |
| 1% | 3% | 1% | 1% | 1% |
表中の%値が高いほど、ChatGPTによって書かれた可能性が高いと判定されます。生成した要旨一本が、13%と判定された以外は、全て5%以下となっています。ChatGPT3、ChatGPT4を専門にチェックすると銘打っていますが、結果は散々なもので、利用する価値は全く無いかと思います。